Zusammenfassung
- Das Verantwortungsparadox besteht nicht darin, ob AWS mehr als eine Region anbietet. Es bietet sie an. Der Test ist, ob ein Kunde diese Vielfalt während eines Vorfalls beim Anbieter nutzen kann, ohne zuerst auf degradierte Kontrollebenen, Identitätspfade, DNS-Management-APIs, Überwachungssysteme oder Supportkanäle angewiesen zu sein. Eine zweite Region, die existiert, aber nicht bereitgestellt, authentifiziert, beobachtbar oder ohne eine Live-Konfigurationsänderung zugänglich ist, ist ein Inventar, keine operative Resilienz.
- Am 19. und 20. Oktober 2025 führte eine versteckte Wettlaufsbedingung im automatisierten DNS-Verwaltungssystem von DynamoDB zum Verlust aller IP-Adressen des öffentlichen regionalen Endpunkts in US-Est-1. Drei unabhängig voneinander in drei Verfügbarkeitszonen arbeitende DNS-Enactors konnten den Ausfall nicht eindämmen, da sie eine regionale Plansequenz und eine Bereinigungslogik gemeinsam nutzten. Die Automatisierung geriet in einen inkonsistenten Zustand und erforderte manuelle Reparatur.
- Die Wiederherstellung der DynamoDB-Endpunktauflösung nach etwa drei Stunden stellte die Region nicht wieder her. Das EC2-Hostverwaltungssystem hatte Leases verloren und war in einen Überlastungskollaps geraten; die Netzwerkzustandspropagierung hatte einen Rückstand aufgebaut; die Health Checks des Network Load Balancers hatten die gesunde Kapazität entfernt, deren Konfiguration noch nicht eingetroffen war; und abhängige Dienste drosselten, schlugen fehl oder leerten Warteschlangen für viele weitere Stunden. AWS beschrieb drei Hauptperioden mit Kundenauswirkungen, wobei die Wiederherstellung einiger Redshift-Systeme bis zum 21. Oktober andauerte.
- Das Ereignis bedeutete nicht, dass jede Maschine in US-Est-1 ausgefallen ist. Bestehende EC2-Instanzen blieben gesund, und einige statisch bereitgestellte Datenebenen arbeiteten weiter. Der Ausfall beeinträchtigte vielmehr die Fähigkeit, DynamoDB zu finden, neue Kapazitäten zu starten oder zu vernetzen, Ereignisse zu verarbeiten, bestimmte Anfragen zu authentifizieren, fehlerhafte Komponenten zu ersetzen und die Support- und Contact-Center-Funktionen zu nutzen. Diese Unterscheidung erklärt sowohl, warum einige Kunden überlebten, als auch, warum konventionelle Auto-Scaling-Designs später unter der Tageslast versagten.
- Die Aufzeichnungen des öffentlichen Sektors veranschaulichen die Kontinuitätsauswirkungen, ohne die Behauptung eines universellen Regierungsausfalls zu stützen. Die NOAA gab an, dass praktisch alle NESDIS-Produkte betroffen und verzögert, nicht aber verloren gingen. Das USPTO meldete intermittierende Unterbrechungen des Patent Centers und verwies Einreicher auf andere Methoden. Eine wissenschaftliche Plattform der NASA warnte, dass die Zuteilung von Notebooks ablaufen könnte. Jeder Fall zeigt eine andere Kontinuitätsanforderung: zeitsensible Produkte zu bewahren, rechtliche Einreichungswege zu erhalten oder den Zugang zu alternativen Rechenressourcen zu sichern.
- AWS kontrolliert die Interna der verwalteten Dienste, die Architektur der globalen Dienste, die Wiederherstellungsalgorithmen, die Statusveröffentlichung und die Korrekturnachweise. Kunden und nachgelagerte Softwareanbieter kontrollieren die Platzierung von Workloads, die Vorabbereitstellung, die Abhängigkeitskartierung, die degradierten Modi, die unabhängige Überwachung und die Kontinuitätsverfahren. Öffentliche Stellen kontrollieren auch die Missionsklassifizierung, die Beschaffungsanforderungen und den nicht-digitalen Rückfall. Geteilte Verantwortung ist keine gleiche Verantwortung: Sie folgt demjenigen, der die ausgefallene Fähigkeit vor dem Ereignis ändern konnte.
Ein regionales Produkt mit einem nicht-regionalen Problem
Das Verkaufsargument der Cloud basiert auf auswählbaren Fehlerdomänen. Ein Kunde kann eine Anwendung über Verfügbarkeitszonen innerhalb einer Region verteilen, Daten in eine andere Region replizieren und für eine warme oder aktive Kopie anderswo bezahlen. Theoretisch macht dies Resilienz zu einer käuflichen Eigenschaft. In der Praxis wird der Kauf erst real, wenn der Kunde ihn ausüben kann, während die primäre Umgebung degradiert ist.
Hier beginnt das Paradoxon der Kontrollebene. Ein bereits laufender Server kann weiterarbeiten, während die API, die zu seiner Beschreibung oder zum Ersetzen verwendet wird, nicht verfügbar ist. Ein DNS-Eintrag kann weiterhin antworten, während die API zu seiner Änderung ausgefallen ist. Ein Replikat in einer anderen Region kann gesund sein, während die Anwendung weiterhin jede Anfrage an den ausgefallenen regionalen Endpunkt sendet. Ein Support-Dienst kann in eine andere Region failovern und dennoch Benutzer abweisen, weil eine Abhängigkeit von Kontometadaten eine autoritär erscheinende, aber ungültige Antwort zurückgibt.
AWS' eigene Richtlinien zur Fehlerisolierung für globale Dienste sind dazu ungewöhnlich explizit. In der standardmäßigen kommerziellen Partition werden IAM, AWS Organizations, Account Management, Route 53 Public DNS, CloudFront und mehrere verwandte Kontrollebenen in einer einzigen Region gehostet, oft US-Est-1. Ihre Datenebenen können global verteilt sein, und diese Trennung kann den etablierten Dienst bewahren.
Aber die Richtlinien sagen den Kunden, sich während der Wiederherstellung nicht auf diese Kontrollebenen zu verlassen, und listen Operationen in ansonsten regionalen Diensten auf, die dennoch von Route 53 oder anderen einzelregionalen Steuerfunktionen abhängen.
Die richtige Verantwortungsfrage ist also nicht: "Hat der Kunde eine zweite Region gekauft?" Es ist:Konnte der Kunde die zweite Region erreichen, beobachten, autorisieren, routen und betreiben, indem er bereits aktive Pfade nutzte, die keine degradierte Autorität erforderten?
Dieser Test ist strenger als Architekturdiagramme. Er fragt, ob die Kapazität vorab bereitgestellt war; ob die Daten ausreichend aktuell waren; ob die Anmeldeinformationen und Vertrauensrichtlinien funktionierten; ob die Failover-Steuerung eine Aktion der Datenebene war; ob das Personal über unabhängige Kommunikation verfügte; ob die Statusnachweise von außerhalb des Anbieters stammten; und ob der öffentliche Dienst hinter dem System den Übergang tolerieren konnte. Er fragt auch, ob AWS seine eigenen Wiederherstellungs- und Kundeninformationssysteme außerhalb des Ausfalls hielt, den es zu erklären versuchte.
Oktober 2025 lieferte eine detaillierte Antwort. Einige Teile funktionierten genau so, wie die Theorie der statischen Stabilität vorhersagt. Bestehende EC2-Instanzen blieben verfügbar. Die Replikate globaler DynamoDB-Tabellen in anderen Regionen konnten direkt kontaktiert werden. Andere Teile offenbarten den Preis versteckter Steuerabhängigkeiten: Der regionale Datenbankendpunkt verschwand, Host-Leases liefen ab, Kapazität konnte nicht gestartet werden, neuen Instanzen fehlte der Netzwerkzustand, Health Checks entfernten die nutzbare Load-Balancer-Kapazität, und der Supportzugriff wurde trotz regionalen Failovers blockiert.
Die Uhr von Oktober 2025 enthielt drei Ausfälle
AWS' Zusammenfassung nach dem Ereignis datiert das Ereignis von 23:48 Uhr Pazifikzeit am 19. Oktober bis 14:20 Uhr am 20. Oktober und trennt drei Perioden: DynamoDB-API-Fehler, EC2-Start- und Konnektivitätsfehler sowie Network-Load-Balancer-Verbindungsfehler. Dies ist präziser, als dem Ereignis einen Anfang und ein Ende zuzuschreiben. Verschiedene Dienste, Kontrollpfade und Kundenrückstände erholten sich mit unterschiedlichen Geschwindigkeiten.
| Pazifikzeit | Ereignis | Bedeutung der Verantwortung |
|---|---|---|
| 19. Okt., 23:48 | Ein alter DNS-Plan wird nach einem neueren Plan angewendet; die Bereinigung löscht den nun aktiven alten Plan und entfernt alle IP-Adressen des regionalen DynamoDB-Endpunkts. | Die redundanten Arbeiter teilen einen Planungsplanungsfehler und erzeugen eine ungültige regionale Antwort. Die Automatisierung kann sich nicht selbst reparieren. |
| 20. Okt., 00:38 | Die Ingenieure identifizieren den DNS-Zustand von DynamoDB als Quelle. | Erkennung und Diagnose sind relativ schnell, aber die Identifikation stellt den autoritativen Zustand nicht wieder her. |
| 1:15 | Vorübergehende Maßnahmen ermöglichen es einigen internen Diensten, DynamoDB zu erreichen und wichtige interne Werkzeuge wiederherzustellen. | Die Wiederherstellung erfordert zuerst, die Fähigkeit des Anbieters zu reparieren, sich selbst zu betreiben. |
| 2:25 | Die DNS-Informationen werden wiederhergestellt; die zwischengespeicherten Antworten laufen bis etwa 2:40 ab. | Der Auslöser wird nach etwa drei Stunden behoben, aber der abhängige Zustand hat sich bereits verschlechtert. |
| 2:32 | Die Replikate globaler DynamoDB-Tabellen werden als aktuell gemeldet. | Die regionsübergreifenden Replikate haben als verfügbares Ziel überlebt, obwohl die Replikationsverzögerung und das Client-Routing noch verwaltet werden mussten. |
| 4:14 | Nach mehreren Minderungsversuchen beschränken die Ingenieure die eingehende Arbeit und starten selektiv die EC2-DropletWorkflow-Manager-Hosts neu. | Die Host-Verwaltungsflotte ist in einen Überlastungskollaps geraten, und AWS gibt an, dass kein etabliertes operatives Wiederherstellungsverfahren diesen Zustand abdeckte. |
| 5:28 | EC2-Host-Leases werden wiederhergestellt und einige Starts gelingen unter Drosselung. | Die Kapazität kehrt allmählich zurück; ein API-Erfolg bedeutet noch nicht eine nutzbare Netzwerkinstanz. |
| 5:30 und später | Einige Network Load Balancer haben Verbindungsfehler. | Eine spätere Wiederherstellungsphase erzeugt eine neue Auswirkung auf die Datenebene für zuvor gesunde Endpunkte. |
| 6:21 | EC2 Network Manager entwickelt Verzögerungen bei der Verarbeitung des verzögerten Netzwerkzustands. | Die Wiederherstellungswarteschlange wird nach der Verbesserung der Hostverwaltung zu einem separaten Engpass. |
| 6:52 | Die Überwachung erkennt abwechselnde Fehlschläge der NLB-Health Checks. | Neue Instanzen ohne vollständigen Netzwerkzustand erscheinen ungesund, daher entfernt die Schutzautomatisierung die Kapazität. |
| 9:36 | AWS deaktiviert das automatische Failover der NLB-Health Checks. | Die Betreiber setzen vorübergehend einen Sicherheitsmechanismus außer Kraft, da seine Annahmen im Wiederherstellungszustand falsch sind. |
| 10:36 | Die Netzwerkkonfigurationspropagierung normalisiert sich wieder. | Neu gestartete Instanzen können wieder vollständig verbunden werden, aber die Einschränkungen bleiben bestehen. |
| 11:23 | Die Ingenieure beginnen, die EC2-Anfrageeinschränkungen zu lockern. | Die Wiederherstellung wird durch Zulassung gesteuert, um eine erneute Überlastung zu vermeiden. |
| 13:50 | EC2-APIs und -Starts werden als normal gemeldet. | Die Kontrollebene erholt sich mehr als elf Stunden nach dem ersten Ausfall des regionalen Endpunkts. |
| 14:09 | Das automatische NLB-DNS-Failover wird wieder aktiviert. | Das normale Schutzsystem kehrt erst zurück, wenn seine Eingaben wieder zuverlässig sind. |
| 14:20 | Der detaillierte AWS-Bericht markiert das Ende des Hauptereignisses. | Dies ist ein Meilenstein des Anbieters, kein Beweis, dass jeder Service-Rückstand oder Kundenbetrieb abgeglichen ist. |
| 15:01 | Das öffentliche Amazon-Update zeigt an, dass alle AWS-Dienste zum normalen Betrieb zurückgekehrt sind. | Ein späterer öffentlicher Meilenstein spiegelt eine breitere Wiederherstellung der Dienste wider. |
| 21. Okt., 4:05 | Die Betreiber schließen die Wiederherstellung von Redshift-Clustern ab, die in Ersetzungsprozessen feststeckten. | Einige abhängige Ressourcen bleiben über das Hauptereignisfenster hinaus degradiert. |
Externe Messungen helfen, die Grenze des Anbieterberichts zu testen. Die Ausfallanalyse von Cisco ThousandEyes beobachtete frühen Paketverlust am AWS-Rand bei Ashburn, gefolgt von Anwendungs-Timeouts und 503-Antworten, als der Ausfall die Wiederherstellungsphasen durchlief. Diese Beobachtungen können keine proprietären Interna offenbaren, aber sie unterstützen die Schlussfolgerung, dass die Netzwerkerreichbarkeit und die Anwendungsverfügbarkeit zu unterschiedlichen Zeiten wiederhergestellt wurden.
Die öffentlichen Ereignisverläufe von AWS bleiben als zeitgenössisches Kommunikationsregister nützlich. Sie sollten nicht als vollständiger forensischer Bericht behandelt werden. Ein Statusverlauf berichtet, was der Anbieter zu einem bestimmten Zeitpunkt wusste und zu veröffentlichen beschloss; der Bericht nach dem Ereignis fügt Mechanismen und spätere Abgleiche hinzu.
Die Zeitleiste zeigt auch, warum "DNS wurde repariert" eine unzureichende Wiederherstellungsaussage ist. Die DNS-Reparatur stellte eine Route zu DynamoDB wieder her. Sie stellte nicht die Leases wieder her, die abgelaufen waren, die Netzwerk-Updates, die sich angesammelt hatten, die Instanzen, die nicht erstellt wurden, die Ereignislieferungen, die gedrosselt wurden, die Contact-Center-Sitzungen, die fehlschlugen, oder die Kundenprozesse, die abgelaufen waren. Die Wiederherstellungsdauer war die Summe der abhängigen Zustandsübergänge, nicht die Dauer des ersten Fehlers.
Der Auslöser war DNS; die Wurzel war eine geteilte Autorität über den Zustand
Der auslösende Mechanismus war präzise. DynamoDB unterhält Hunderttausende von DNS-Einträgen für eine große regionale Flotte von Load-Balancern. Ein DNS-Planer erstellt Pläne, die Endpunkte, Load-Balancer und Gewichtungen beschreiben. Die DNS-Enactors, die unabhängig in drei Verfügbarkeitszonen arbeiten, wenden diese Pläne über Route 53 an. Bevor sie handeln, überprüft ein Enactor, dass sein Plan neuer ist als der bereits angewendete.
Ein Enactor wurde außergewöhnlich langsam und wiederholte die Updates an mehreren Endpunkten. Während er vorankam, erzeugte der Planer neuere Pläne und ein anderer Enactor wandte einen davon schnell an. Der neueste Enactor begann dann, alte Pläne zu bereinigen. In diesem Moment erreichte der verzögerte Enactor den primären regionalen DynamoDB-Endpunkt und wandte seinen älteren Plan an. Seine Frischeprüfung hatte viel früher stattgefunden und war nun veraltet. Die Bereinigung löschte den alten Plan, der gerade aktiv geworden war.
Alle Endpunkt-IP-Adressen verschwanden, und der Automatisierungszustand wurde so inkonsistent, dass spätere Pläne nicht angewendet werden konnten.
"Ein DNS-Fehler" beschreibt den für den Kunden sichtbaren Auslöser. Es erklärt nicht den Kontrollfehler. Die tieferen Bedingungen waren:
- die Frische wurde einmal zu Beginn einer Multi-Endpunkt-Operation überprüft, anstatt atomar bei jedem entscheidenden Schreibvorgang;
- ein älterer Plan konnte eine neuere Generation nach einer längeren Verzögerung überschreiben;
- die Bereinigung konnte einen Plan löschen, ohne zu beweisen, dass er nicht mehr aktiv war;
- unabhängige Arbeiter in getrennten Zonen teilten dieselben Planungs- und Löschannahmen;
- ein regionaler Plan vereinfachte die Verwaltung für mehrere Endpunkttypen und erhöhte die mit dem Plan verbundene Autorität;
- der ungültige Zustand lag außerhalb der Selbstheilungshülle der Automatisierung und benötigte einen Menschen zur Wiederherstellung.
Diese Unterscheidung ist wichtig, da das Hinzufügen eines vierten Enactors nicht unbedingt einen Protokollfehler beheben würde, der von allen Enactors geteilt wird. Die Verfügbarkeitszonen trennten Prozesse und Infrastruktur; sie schufen keine unabhängige Korrektur. Die Redundanz vervielfachte die Akteure, die denselben gefährlichen Übergang ausführten.
Die Korrekturverpflichtungen von AWS folgen dieser Diagnose. Das Unternehmen hat die Automatisierung des Planers und des Enactors weltweit bis zu Änderungen deaktiviert, sich verpflichtet, die Race zu beheben und die Anwendung falscher Pläne zu verhindern, eine Geschwindigkeitsbegrenzung für die Kapazität vorgeschlagen, die ein NLB beim Failover einer Verfügbarkeitszone entfernen kann, EC2-Wiederherstellungstests hinzugefügt und eine warteschlangenbewusste Drosselung für die Netzwerkzustandspropagierung versprochen.
Dies sind stärkere Maßnahmen als eine bloße Kapazitätserweiterung, da sie die Autorität und die Wiederherstellungsgeschwindigkeit einschränken.
Dies sind dennoch Verpflichtungen in einem vom Anbieter verfassten Bericht. Die hier geprüften öffentlichen Aufzeichnungen enthalten kein unabhängig geprüftes Abschlussregister, das das Bereitstellungsdatum, die Testabdeckung, fehlgeschlagene Testfälle, verbleibende Ausnahmen und die anhaltende Leistung jeder Aktion zeigt. Das Vertrauen in den kausalen Bericht kann hoch sein, während das Vertrauen in die aktuelle Wirksamkeit der Korrektur geringer bleibt.
Ein gesunder Server war kein wiederherstellbarer Dienst
AWS hat zu Recht betont, dass vor dem Ereignis gestartete EC2-Instanzen gesund blieben. Diese Tatsache verhindert, dass die Analyse in die ungenaue Behauptung abgleitet, US-Est-1 sei physisch offline. Sie legt auch genau das Risiko offen, das die Kunden kauften.
AWS definiert Kontrollebenen als die Systeme, die Ressourcen erstellen, beschreiben, aktualisieren, löschen und auflisten, während Datenebenen die Hauptarbeit des Dienstes verrichten. Seine Richtlinien zu Kontrollebenen und Datenebenen erklären, warum das Starten von EC2 eine komplexe Orchestrierung ist, die Hosts, Netzwerkschnittstellen, Speicher, Anmeldeinformationen und Sicherheitskonfiguration umfasst. Die laufende Instanz ist einfacher. Sie kann eine Zeit überleben, in der diese Orchestrierung keine neue erstellen kann.
Dies ist die statische Stabilität in praktischer Form. Ein Dienst überlebt, weil er sich nicht ändern muss. Die Schwäche tritt auf, wenn die Nachfrage steigt, ein Host ausfällt, ein Deployment Kapazität ersetzt, ein Zertifikat oder Geheimnis erneuert werden muss, ein Container endet oder ein Betreiber ein Failover versucht. Dann ruft der angeblich stabile Dienst die Kontrollebene im am wenigsten nachsichtigen Moment.
Der Post-Incident-Review von Buildkite veranschaulicht den verzögerten Ausfall. Das Kundenerlebnis war zunächst stabil. Als der US-Geschäftsverkehr anstieg, verhinderten EC2-Startfehler das automatische Scaling, Shards erschöpften ihre unterschiedlichen Kapazitätsspielräume, und Latenz und Fehler nahmen Stunden nach Beginn des AWS-Vorfalls zu. Buildkite bewahrte die Kapazität, indem es Deployments pausierte, und verlagerte dann die Last auf einen ansonsten ungenutzten Shard. Der entscheidende Resilienzaktiv war die bereits laufende Reserve-Rechenkapazität, nicht die Existenz einer Auto-Scaling-Richtlinie.
Postman dokumentierte eine zweite Form der Kopplung. Sein Ausfallbericht zeigt, dass kritische Abläufe beeinträchtigt waren, seine auf AWS gehostete Statusseite die Kommunikation verzögerte und die automatisierte Erstellung interner Incident-Kanäle von einer betroffenen Infrastruktur abhing. Postman akzeptierte seinen eigenen Verantwortungsanteil und beschrieb die Arbeit an graziler Degradation, Multi-Region-Kapazität, redundanter Kommunikation und schließlich aktiv-aktivem Betrieb zwischen Regionen und Anbietern. Dies ist die korrekte Aufteilung: AWS besitzt den vorgelagerten Fehler;
Postman besitzt die Entscheidung, Kommunikation und Kundenkoordination davon erben zu lassen.
Das Oktober-Ereignis unterteilt Kundenarchitekturen daher in Kategorien, die nützlicher sind als 'Einzelregion' und 'Mehrfachregion':
- Laufend, aber von Änderungen abhängig.Der bestehende Dienst läuft weiter, bis Skalierung, Ersatz, Deployment oder Erneuerung von Anmeldeinformationen eine Kontrollaktivität erfordert.
- Multi-Zone, aber abhängig von regionaler Kontrolle.Physische Zonenausfälle sind abgedeckt, während gemeinsame regionale Endpunkte, Kontrollebenen und Wiederherstellungssysteme gemeinsam bleiben.
- Multi-Region, aber von Aktivierung abhängig.Daten und Vorlagen existieren anderswo, aber das Failover erfordert Bereitstellung, IAM-Änderungen, Route-53-Änderungen oder nicht verfügbare Betreiber.
- Statisch stabile Multi-Region.Kapazität, Datenpfade, Identitäten, Health Checks und Routing-Kontrollen sind bereits verfügbar, mit Failover unter Verwendung vorpositionierter Datenebenenmechanismen.
- Multi-Anbieter oder manuell fortlaufend.Eine kritische Teilmenge kann außerhalb von AWS betrieben werden, oder die öffentliche Funktion wird über einen begrenzten nicht-digitalen Prozess fortgesetzt, wenn der Cloud-Betrieb nicht wirtschaftlich ist.
Nur die vierte und fünfte Kategorie beantworten direkt das Paradoxon der Kontrollebene. Die anderen können immer noch rationale Entscheidungen für Workloads mit geringeren Auswirkungen sein, sollten aber nicht als gleichwertige Resilienz dargestellt werden.
Die Wiederherstellungsautomatisierung wurde zum zweiten Vorfall
Sobald das DynamoDB-DNS wiederhergestellt war, versuchte der EC2-DropletWorkflow-Manager, die Leases mit den von ihm verwalteten physischen Hosts wiederherzustellen. Während des Endpunktausfalls waren diese Leases abgelaufen. Ein Host ohne aktiven Lease konnte keine neue Instanz sicher annehmen. Die Versuche der Flotte dauerten so lange, dass die Arbeit ablief und erneut in die Warteschlange gestellt wurde. AWS gibt an, dass das System in einen Überlastungskollaps geriet und kein etabliertes Verfahren für diesen Wiederherstellungszustand hatte.
Dies ist ein wichtiges Eingeständnis. Die anfängliche Race war ein seltener Planungsfehler. Die verlängerte EC2-Degradation rührte von einer vorhersehbaren Klasse von Wiederherstellungslast her: viele abgelaufene Objekte, die gleichzeitig aktuell werden wollen. Der genaue Umfang mag außergewöhnlich gewesen sein, aber Warteschlangen, Timeouts, Wiederholungen und Leases sind gewöhnliche Mechanismen verteilter Systeme. Ein Wiederherstellungsdesign muss in der Flottengröße getestet werden, die es wiederherstellen soll, nicht nur für den Dauerbetrieb oder den schrittweisen Host-Verlust.
Die nächste Phase machte die Abhängigkeit für den laufenden Verkehr sichtbar. Network Manager musste einen Rückstand an Konfiguration für neue oder geänderte Instanzen propagieren. Einige neue Instanzen existierten, bevor ihr Netzwerkzustand vollständig war. NLB-Health Checks sahen Fehlschläge, wechselten zwischen gesund und ungesund und entfernten Knoten und Ziele aus dem DNS. Das Kontrollsystem selbst wurde ausgelastet, und das automatische Failover der Verfügbarkeitszone entfernte die Kapazität der Multi-Zonen-Load-Balancer. AWS deaktivierte den automatischen Schutz um 9:36 Uhr, um zu verhindern, dass er auf irreführende Beweise reagiert.
Keine einzelne Komponente verhielt sich isoliert irrational. Die Lease-Verwaltung wies nicht besessene Hosts ab. Network Manager stellte die Konfiguration in die Warteschlange. Die Health Checks entfernten unerreichbare Ziele. Das Failover der Verfügbarkeitszone entfernte die degradierte Kapazität. Die Kaskade entstand, weil jeder Mechanismus die partielle Wiederherstellung als gewöhnlichen lokalen Fehler interpretierte.
Die Verantwortung liegt im systemübergreifenden Design: Der Wiederherstellungszustand muss ausreichend gut dargestellt werden, damit ein Sicherheitscheck ein anderes System nicht dafür bestraft, vorübergehend unvollständig zu sein.
Die nachgelagerten Auswirkungen waren dienstspezifisch. Lambda drosselte asynchrone und warteschlangengesteuerte Arbeit, um synchrone Aufrufe zu schützen. ECS, EKS und Fargate erlitten Start- und Skalierungsfehler. Amazon Connect sah fehlgeschlagene eingehende und ausgehende Anrufe, Besetztzeichen, Stille, Fehler bei Audio- und Anrufrouting-Nachrichten, Verbindungsprobleme des Contact-Center-Personals und verzögerte Berichte. STS erlebte zwei Perioden erhöhter Fehler. Redshift hatte sowohl eine regionale Abhängigkeit als auch einen Fehler, der eine IAM-Gruppenauflösungsanfrage von allen Regionen an US-Est-1 sendete;
lokale Datenbankbenutzer waren von diesem bestimmten regionsübergreifenden Fehler nicht betroffen.
Dieses Detail zu Redshift ist besonders aufschlussreich. Eine Ressource kann physisch außerhalb von US-Est-1 liegen und dennoch aufgrund einer Implementierungsentscheidung einen Endpunkt dort aufrufen. Die geografische Bereitstellung und die Geografie der Abhängigkeiten sind nicht identisch. Kunden benötigen die zweite Karte, aber nur der Anbieter kann autoritativ jede interne, dienstübergreifende Abhängigkeit offenlegen.
Status und Support sind Teil des Sicherheitssystems
Bei einem Cloud-Vorfall müssen Kunden entscheiden, ob sie ihren eigenen Fehler, eine kontospezifische Einschränkung, ein regionales Ereignis oder eine globale Abhängigkeit sehen. Sie müssen wissen, ob sie failovern, Deployments einfrieren, die Last reduzieren, Warteschlangen erhalten oder manuelle Kontinuität aufrufen sollen. Statusinformationen sind daher eine operative Kontrolle, keine nachträgliche Öffentlichkeitsarbeit.
Im Oktober 2025 failoverte das AWS-Support-Center zwar in eine andere Region. Dennoch gab ein Kontometadaten-Subsystem Antworten zurück, die legitime Benutzer daran hinderten, Tickets einzusehen oder zu aktualisieren. AWS hatte einen Workaround für fehlgeschlagene Antworten entworfen; die Abhängigkeit gab jedoch ungültige Antworten zurück. Von 23:48 bis 2:40 Uhr konnten Kunden keine Support-Tickets über die Konsole oder API erstellen, einsehen oder aktualisieren.
Dies ist ein klassisches Problem des semantischen Fehlers. Eine Abhängigkeit kann nicht verfügbar, langsam, fehlerhaft, veraltet oder zuversichtlich falsch sein. Eine Failover-Logik, die nur einen Timeout behandelt, ist nicht unabhängig von einem System, das eine falsche Autorität zurückgibt. Die Support-Kontinuität muss die Bedeutung des Kontostatus validieren, einen begrenzten Last-Known-Good-Pfad erhalten und für schwerwiegende Anbieterereignisse eine separat authentifizierte Route bieten.
Die Aufzeichnungen zeigen sowohl Verbesserung als auch Wiederholung. Während des AWS-Service-Ereignisses vom 7. Dezember 2021 beeinträchtigte die Überlastung zwischen dem Haupt- und dem internen Netzwerk von AWS die Überwachung, die Bereitstellungswerkzeuge, die Kontrollebenen, das Support-Contact-Center und das Failover des Service-Health-Dashboards in eine Ausweichregion. AWS versprach eine neue aktive Multi-Region-Support-Architektur. Das Support-Center von 2025 failoverte wie geplant in eine andere Region, was ein Beweis für architektonischen Fortschritt ist.
Seine Metadatenabhängigkeit hinderte den Dienst dennoch daran, seinen Zweck zu erfüllen.
Kunden müssen auch den öffentlichen AWS-Status von personalisierten Nachweisen unterscheiden. Die aktuelle Dokumentation des AWS-Status-Dashboards gibt an, dass die öffentliche, nicht angemeldete Seite öffentliche Service-Ereignisse zeigt, während verbundene Ansichten kontospezifische Ereignisse und Ressourcen bereitstellen. AWS empfiehlt programmatische Überwachung über EventBridge. Seine Richtlinien für öffentliche und kontospezifische Statusereignisse empfehlen eine Backup-Regel, damit Ereignisse an eine alternative Region geliefert werden können.
Die regionalen Richtlinien für AWS-Ereignisregeln geben an, dass globale Statusereignisse wie IAM-Benachrichtigungen eine Regel in US-Est-1 erfordern, ein weiterer Grund zu testen, anstatt Unabhängigkeit anzunehmen.
Keine Organisation sollte sich auf einen einzigen Kanal verlassen. Ein vertretbares Arrangement kombiniert den öffentlichen Status des Anbieters, kontospezifische Ereignisse, die in mehr als einer Region zugestellt werden, synthetische Sonden eines anderen Anbieters oder eines lokalen Netzwerks, geschäftliche Metriken auf Anwendungsebene und eine Incident-Seite mit unabhängigem Hosting und Identität. Kontaktlisten, Brückendetails und Entscheidungsschwellen sollten ohne das normale Cloud-Konto abrufbar sein.
Die Auswirkungen auf öffentliche Dienste waren ein Kontinuitätsproblem, kein Webseitenzähler
Die Oktober-Störung erreichte öffentliche Systeme auf eine Weise, die einfache Ausfallsummen irreführend macht. Die besten Beweise sind dienstspezifisch.
Die National Oceanic and Atmospheric Administration (NOAA) meldete, dass ihre Cloud-Einrichtungen der National Centers for Environmental Information gegen 06:57 UTC begannen, Warnungen über geringe Erfassung zu erhalten. Eine operative NOAA/NESDIS-Nachricht gab an, dass praktisch alle NESDIS-Produkte betroffen waren und die Daten eher verzögert als verloren schienen. Dies ist eine materiell andere Konsequenz als eine dauerhafte Datenvernichtung.
Sie kann dennoch schwerwiegend sein: Umweltprodukte sind zeitkritisch, und eine Verzögerung von sechs Stunden kann die verfügbare Zeit zur Nutzung der Beobachtungen in Vorhersagen, Planung oder nachgelagerter Analyse verkürzen.
Das US-Patent- und Markenamt (USPTO) gab an, dass sein Patent Center intermittierende Unterbrechungen hatte, und verwies Benutzer, die keine Einreichungen vornehmen konnten, auf andere Einreichungsmethoden. Diese Mitteilung demonstriert ein ausgereiftes Kontinuitätsprinzip: Die rechtliche oder administrative Funktion ist die Einreichung, nicht die Verfügbarkeit einer Webanwendung. Eine alternative Route bewahrt die Funktion, selbst wenn die primäre Schnittstelle degradiert ist. Die Aufzeichnungen belegen nicht, wie viele Benutzer die Alternative genutzt haben, ob jede Einreichung ihre Frist einhielt oder warum der Vorfall nicht vor dem 23.
Oktober als gelöst markiert wurde; diese Fragen sollten offen bleiben.
Die wissenschaftliche Plattform Fornax der NASA warnte, dass das Starten eines Notebook-Servers während der Zuweisung von Rechenressourcen ablaufen könnte. Dies entspricht direkt dem EC2-Kontrollebenenfehler. Wissenschaftliche Daten oder bestehende Notebooks müssen nicht verschwunden sein, damit die Forschung stoppt; die Unfähigkeit, eine Arbeitsumgebung zuzuweisen, reicht aus.
Diese Aufzeichnungen beweisen nicht, dass alle staatlichen Dienste, die AWS nutzen, betroffen waren, dass Notrufe aufgrund dieses Ereignisses fehlschlugen oder dass ein Ergebnis der öffentlichen Sicherheit eintrat. Sie zeigen, warum die Beschaffung über den reinen Speicherort der Daten hinausschauen muss. Ein öffentlicher Dienst kann für die Produktgenerierung, Einreichung, Analyse, Kommunikation oder die zur Untersuchung von Daten erforderliche Rechenleistung von der Cloud abhängen.
Das CISA-Dokument vom August 2024 zu Abhängigkeiten der öffentlichen Sicherheitskommunikation warnt, dass nichtstaatliche Infrastruktur ein korreliertes Kontinuitätsrisiko darstellen kann, und empfiehlt explizite Redundanz, Ausfallverfahren, Backups, Personal und Supportanforderungen. Der CISA-Leitfaden zu Infrastrukturabhängigkeiten fragt, ob ein redundanter Anbieter auch von anderen Systemen geteilt wird und wie lange ein Workaround aufrechterhalten werden kann. Diese Fragen treffen genau auf die Cloud-Architektur zu.
Eine öffentliche Stelle sollte die Kontinuität auf Missionsebene einstufen:
- Welches Ergebnis muss noch erzielt werden, wenn die Cloud-Kontrolle für drei, fünfzehn oder achtundvierzig Stunden nicht verfügbar ist?
- Welche Arbeit kann auf der bereits laufenden Kapazität fortgesetzt werden, und welcher Nachfragespielraum besteht?
- Welche Aufzeichnungen können verzögert werden, und welche rechtlichen oder sicherheitstechnischen Fristen erfordern einen alternativen Weg?
- Kann sich das Personal ohne den betroffenen Anbieter authentifizieren, kommunizieren und öffentliche Bekanntmachungen veröffentlichen?
- Ist eine zweite Region tatsächlich aktiv, oder muss die Organisation sie über die ausgefallene Kontrollebene bereitstellen?
- Kann ein manueller Prozess Arbeit annehmen, eine zeitgestempelte Quittung erstellen und später ohne Integritätsverlust abgleichen?
- Stellt der Vertrag technische Nachweise und Supportwege bereit, nicht nur Gutschriften nach dem Ereignis?
Die NIST-Richtlinien zur Notfallplanung bleiben relevant, da sie sich auf geschäftliche Auswirkungen, Wiederherstellungsprioritäten, alternative Verarbeitung und getestete Pläne konzentrieren. Die Technologie hat sich geändert; die Pflicht, die öffentliche Funktion zu erhalten, hat sich nicht geändert.
US-Est-1 hat eine Geschichte, keinen wiederkehrenden Fehler
Es wäre irreführend, jedes Ereignis in Nord-Virginia als denselben Kontrollebenenfehler zu beschreiben. Die Mechanismen unterscheiden sich. Der Wert der Geschichte ist, dass verschiedene Auslöser wiederholt gemeinsame Fragen zu Umfang, interner Abhängigkeit, Wiederherstellungsgeschwindigkeit und Kundensichtbarkeit aufgeworfen haben.
| Ereignis | Auslöser und Mechanismus | Abhängigkeitssignal | Offengelegte Maßnahme des Anbieters |
|---|---|---|---|
| Juni 2012 | Ein Stromereignis betraf eine Verfügbarkeitszone; die EC2- und EBS-Kontrollebenen in der gesamten Region wurden ebenfalls beeinträchtigt. | Kunden, die versuchten, die Kapazität der Zone zu ersetzen, konnten während eines Teils des Ereignisses keine Ressourcen an anderer Stelle in der Region starten oder anhängen. | AWS beschrieb den Start- und Wiederherstellungsengpass und Änderungen des Stromtransferverhaltens. |
| Februar 2017 | Ein autorisierter S3-Betreiber gab einen falschen Befehl ein, der mehr Indizes und Platzierungskapazität als beabsichtigt löschte. | Die S3-APIs und die von S3 abhängigen AWS-Dienste fielen aus; das Status-Dashboard verlor ebenfalls Informationen, da seine Administrationskonsole von S3 abhing. | AWS fügte Befehlsicherungen hinzu, reduzierte den Explosionsradius und trennte die Administrationsabhängigkeiten vom Status. |
| November 2020 | Eine bescheidene Erhöhung der Kinesis-Frontend-Kapazität führte dazu, dass jeder Server eine Betriebssystem-Thread-Grenze überschritt. | Cognito, CloudWatch, Auto-Scaling-Signale, Lambda, EventBridge, ECS und EKS erbten den Dienstfehler; das normale Statusveröffentlichungswerkzeug hing von Cognito ab. | AWS verpflichtete sich, das Frontend zu zellularisieren, Alarme und Kaltstart zu verbessern, Dienste zu partitionieren und regelmäßig mit einem manuellen Statuswerkzeug zu üben. |
| Dezember 2021 | Das automatische Scaling löste eine Welle von Client-Verbindungen aus, die die Geräte zwischen dem internen und dem Hauptnetzwerk von AWS überwältigte; ein latentes Backoff-Problem hielt die Überlastung aufrecht. | Überwachung, internes DNS, Autorisierung, Deployment, EC2-Kontrollen, Support und Status-Failover teilten den eingeschränkten Pfad. | AWS deaktivierte die auslösende Aktivität, fügte Netzwerkschutz hinzu, korrigierte das Client-Verhalten und versprach eine aktive Multi-Region-Support-Architektur. |
| Oktober 2025 | Ein Wettlauf von DNS-Plänen löschte den regionalen DynamoDB-Endpunkt und ließ die Automatisierung unfähig zur Selbstreparatur. | Die Abhängigkeit von DynamoDB verursachte den EC2-Lease-Kollaps, den Netzwerkrückstand, die NLB-Health-Check-Instabilität, die Dienstrosselung, die Supportblockade und die regionsübergreifende IAM-Auswirkung auf Redshift. | AWS deaktivierte die Automatisierung weltweit, verpflichtete sich zur Behebung der Race und der Plansicherheit, zu NLB-Geschwindigkeitsbegrenzungen, EC2-Wiederherstellungstests und warteschlangenbewusster Drosselung. |
Die Service-Zusammenfassung von 2012 ist eine frühe Aussage des Paradoxons: Kontrollebenen sind besonders wichtig während eines Ausfalls, weil Kunden dann versuchen, Ressourcen zu erstellen oder zu verschieben. Der S3-Bericht von 2017 zeigte einen operativen Befehl mit mehr Autorität als beabsichtigt und Neustartzeiten, die im neueren Maßstab der Region nicht erfahren worden waren. Der Kinesis-Bericht von 2020 trennte explizit den Auslöser von der Grundursache und beschrieb dann einen mehrstündigen kontrollierten Flottenneustart und eine Abhängigkeit des Statuswerkzeugs.
Der Bericht von 2021 legte die reduzierte Sichtbarkeit des Anbieters und die Verschlechterung des Deployments offen.
Das wiederkehrende Muster ist weder die Fahrlässigkeit eines namentlich genannten Betreibers noch ein Beweis dafür, dass AWS nicht gelernt hat. Es ist, dass der Maßstab die Bedeutung eines sicheren Betriebs verändert; redundante Komponenten können einen logischen Fehler teilen; die Wiederherstellungsnachfrage kann größer sein als die Dauerbetriebsnachfrage; und Incident-Werkzeuge können das Schicksal der Produktion teilen. Jede Post-Event-Maßnahme sollte daher gegen den nächsten Mechanismus getestet werden, nicht nur gegen den letzten genauen Auslöser.
Es gibt Beweise für Lernen. Das Support-Center von 2025 hatte ein regionales Failover, wo die Architektur von 2021 die Ticket-Erstellung nicht geschützt hatte. DynamoDB verwendete drei unabhängige DNS-Enactors. EC2 bewahrte bestehende Instanzen. Die Replikate globaler Tabellen blieben anderswo adressierbar. AWS veröffentlichte einen ungewöhnlich detaillierten kausalen Bericht. Die verbleibende Frage ist, ob diese Kontrollen sicher versagen, wenn sie einen langsamen, veralteten oder ungültigen Zustand erhalten, anstatt einen sauberen Ausfall.
Was in Bezug auf Resilienz tatsächlich gekauft werden kann
Der aktuelle Zuverlässigkeitspfeiler von AWS sagt den Kunden, sie sollen Wiederherstellungsziele definieren, die Notfallwiederherstellung testen, Übungstage durchführen, statische Stabilität verwenden und sich während der Wiederherstellung auf Datenebenen verlassen. Die spezifischen Richtlinien REL11-BP04 identifizieren häufige Anti-Patterns: Ändern von DNS-Einträgen während eines Vorfalls, Dimensionierung der Kontrollebenenkapazität, weil Failover-Ressourcen unterdimensioniert waren, oder Abhängigkeit von einer Kette von Verwaltungs-APIs.
Diese Richtlinien sind technisch solide. Sie definieren auch die Rechnung. Statische Stabilität bedeutet, für Ressourcen zu bezahlen, bevor sie benötigt werden, Deployments einzuschränken, die Reservekapazität entfernen würden, Identitäten und Daten in einer anderen Region bereitzuhalten und eine Routing-Kontrolle zu betreiben, deren Datenebene bereits verteilt ist. Ein Kunde, der nur für Backups bezahlt, hat Datenschutz gekauft, keine sofortige Servicekontinuität. Ein Kunde mit einer Warmbereitschaft hat einen schnelleren Wiederaufbau gekauft, keine Immunität gegen Kontrollebenenausfälle.
Ein Kunde mit einer aktiven Bereitschaft hat Kapazität mit einer Skalierungsabhängigkeit gekauft, es sei denn, die Bereitschaft kann die versprochene Last wie bereitgestellt tragen.
Die AWS-Notfallwiederherstellungsoptionen beschreiben Backup und Restore, Warmbereitschaft, aktive Bereitschaft und Aktiv-Aktiv-Modelle. Sie raten auch, für maximale Resilienz nur Datenebenenoperationen zu verwenden. Die Implikation sollte in die Business Cases geschrieben werden: Niedrigere Kosten kaufen in der Regel mehr Kontrollebenenarbeit zum Zeitpunkt des Fehlers. Der Workload-Eigentümer muss entscheiden, ob dieser Tausch akzeptabel ist, und die Führung muss die Antwort finanzieren, die der von ihr genehmigten Auswirkungstoleranz entspricht.
Multi-Region ist kein automatisches Urteil. Die Replikate globaler DynamoDB-Tabellen außerhalb von US-Est-1 waren während des Ereignisses von 2025 verfügbar, aber die Anwendungen benötigten immer noch einen getesteten Pfad zu ihnen, akzeptables Konsistenzverhalten, ausreichende Kapazität und eine Möglichkeit, das wiederhergestellte Replikat abzugleichen. Identitätsrichtlinien, KMS-Schlüssel, Geheimnisse, Zertifikate, Container-Images, Warteschlangen, Beobachtbarkeit und Drittanbieter-APIs erfordern alle dieselbe Überprüfung.
Ein Diagramm mit zwei Datenbanksymbolen beweist nicht, dass eine vollständige Geschäftstransaktion an beiden Orten abgeschlossen werden kann.
Multi-Cloud ist ebenfalls kein automatisches Urteil. Die Neuerstellung jedes verwalteten Dienstes bei einem zweiten Anbieter kann Dateninkonsistenzen, operative Fehler, höhere Kosten und eine Plattform einführen, die nur in Notfällen genutzt wird. Der letzte GAO-Bericht zur föderalen Cloud-Beschaffung stellte fest, dass Behörden, die mehrere Anbieter nutzen, ebenfalls mit Interoperabilitäts-, Personal-, Tooling- und Management-Herausforderungen konfrontiert waren.
Der Bericht hält die nützlichere Formulierung fest, die das Verteidigungsministerium anbot: Konzentrationsrisiko managen und architektonisches Bewusstsein sowie eine Ausstiegsstrategie für kritische Workloads aufrechterhalten, anstatt jede anbieterspezifische Fähigkeit als inhärent schlecht zu betrachten.
Die praktische Antwort ist selektive Unabhängigkeit. Halten Sie den zeitkritischsten Pfad statisch stabil zwischen Regionen. Bewahren Sie einen kleinen Read-Only- oder Input-Modus, wenn der vollständige Dienst zu teuer ist. Verwenden Sie offene Datenformate und getestete Exporte für Funktionen, die einen anderen Anbieter erfordern könnten. Halten Sie einen manuellen oder Offline-Prozess aufrecht, wo rechtliche und öffentliche Verpflichtungen dies erlauben. Geben Sie nicht das gleiche Resilienzbudget für eine öffentliche Informationsseite, eine Leistungszahlungsanweisung, interne Analysearbeit und eine Sicherheitsdispositionsfunktion aus;
ihre Konsequenzen unterscheiden sich.
Die Verantwortung folgt der Fähigkeit, die das Ergebnis hätte ändern können
Die 'geteilte Verantwortung' kann zu Nebel werden, wenn sie verwendet wird, um jeden Fehler gleichmäßig aufzuteilen. Das eigene Resilienzmodell von AWS weist die Resilienz der Cloud-Infrastruktur und der verwalteten Dienste AWS zu, während Kunden die Konfiguration, Platzierung, Replikation, Sicherung und Architektur des Workloads wählen. Die Aufteilung ist nur nützlich, wenn sie in konkrete Kontrollfähigkeiten übersetzt wird.
| Fähigkeit | Hauptinhaber der Kontrolle | Verantwortungstest nach Oktober 2025 |
|---|---|---|
| Genauigkeit des DNS-Plans DynamoDB | AWS | Kann eine alte Generation jemals eine neue ersetzen, kann die Bereinigung den aktiven Zustand löschen und kann sich die Automatisierung ohne Bediener erholen? |
| Logische Unabhängigkeit zwischen Zonen | AWS | Haben redundante Arbeiter unabhängige Fehlerannahmen oder nur unabhängige Hosts? |
| Wiederherstellung von EC2-Host-Leases | AWS | Wurde der Verlust von Leases der gesamten Flotte mit Warteschlangenlimits, Zugangskontrolle und dokumentiertem Verfahren getestet? |
| Kontrolle des Netzwerkzustandsrückstands | AWS | Passt sich die Rate der eingehenden Arbeit an die Warteschlangentiefe an, bevor Timeouts und Wiederholungen einen Kollaps erzeugen? |
| Health Check und Failover-Geschwindigkeit NLB | AWS | Kann die Gesundheitsautomatisierung eine unvollständige Wiederherstellung von ungesunder Kapazität unterscheiden, und ist die Löschrate begrenzt? |
| Interne Service-Abhängigkeiten | AWS | Welche regionalen und globalen Operationen rufen US-Est-1 auf, und erhalten Kunden genügend Informationen, um darum herum zu entwerfen? |
| Kontinuität von AWS-Status und Support | AWS | Können öffentliche Updates, benutzerdefinierte Ereignisse und der Schweregrad-Support mit degradierten Identitäts-, Metadaten-, Konsolen- und primären regionalen Pfaden funktionieren? |
| Regionen- und Serviceauswahl | Kunde oder nachgelagerter Anbieter | War die gewählte Architektur angemessen im Verhältnis zur gemessenen geschäftlichen Auswirkung und zu den genehmigten Wiederherstellungszielen? |
| Vorab bereitgestelltes Failover | Kunde oder nachgelagerter Anbieter | Kann der Verkehr verschoben werden, ohne Ressourcen zu erstellen, globale Kontrollebenen zu ändern oder nicht verfügbare Autorität zu erhalten? |
| Grazile Degradation | Kunde oder nachgelagerter Anbieter | Welche Transaktionen bleiben verfügbar, in der Warteschlange, schreibgeschützt oder manuell akzeptiert, wenn Abhängigkeiten fehlschlagen? |
| Unabhängige Erkennung und Kommunikation | Beide, für ihre eigenen Operationen | Hat jede Partei externe Sonden, einen unabhängigen Incident-Kanal und einen Statusweg, der den primären Anbieter überlebt? |
| Kontinuität des öffentlichen Dienstes | Öffentliche Behörde und Dienstanbieter | Wird das Missionsergebnis durch alternative Verarbeitung, Fristen, öffentliche Anweisungen, Personal und Abgleich bewahrt? |
| Korrektursicherung | AWS-Führung, Kunden-Sicherungsfunktionen und ggf. öffentliche Käufer | Sind die Änderungen vollständig, maßstabsgetreu getestet, unabhängig beprobt und mit Ausnahmen berichtet, anstatt einmal angekündigt? |
Diese Aufteilung vermeidet zwei Fehler. Kunden können den DNS-Enactor von DynamoDB nicht korrigieren oder ein EC2-Wiederherstellungsverfahren innerhalb von AWS erstellen. AWS kann nicht entscheiden, ob ein kommunales Einreichungsportal einen Aktiv-Aktiv-Betrieb verdient oder ob eine öffentliche Agentur einen akzeptablen manuellen Eingabeprozess hat. Ein nachgelagertes SaaS-Unternehmen kann AWS nicht die Schuld geben, dass es seine eigene Statusseite in derselben Fehlerdomäne hostet, aber es kann auch die nicht offengelegten Interna des Anbieters nicht allein durch architektonische Disziplin entdecken.
Die Verantwortung ändert sich auch mit der Serviceabstraktion. Ein Kunde, der EC2 verwaltet, hat mehr Wahlmöglichkeiten und mehr Arbeit. Ein Kunde, der DynamoDB kauft, delegiert mehr Plattformoperationen und sollte erwarten, dass AWS das interne DNS des Dienstes und die Wiederherstellung korrekt handhabt. Der Kunde kontrolliert weiterhin die Replikation und das Failover der Anwendung. Der verwaltete Dienst beseitigt nicht die Kontinuitätspflicht des Kunden; er reduziert die Interna, die der Kunde kontrollieren kann, und erhöht die Pflicht des Anbieters, nutzbare Fehlergrenzen offenzulegen.
Gutschriften bepreisen eine Servicemetrik, nicht die öffentliche Konsequenz
Die geschäftliche Verantwortung hat eine enge vertragliche und eine breitere operative Schicht. Das aktuelle DynamoDB-SLA verpflichtet sich zu monatlichen regionalen Verfügbarkeitsniveaus, mit einem höheren Ziel für qualifizierte Nutzung globaler Tabellen. Der angegebene Rechtsbehelf ist in der Regel eine Servicegutschrift, vorbehaltlich der Berechtigung, Berechnungen, Ausschlüsse, Protokolle und eines über den AWS-Support eingereichten Anspruchs.
Dieser Mechanismus kann eine messbare Serviceverpflichtung durchsetzen. Er erstattet nicht die vollen Kosten für verzögerte Umweltprodukte, verpasste Entwicklungsarbeit, fehlgeschlagene Kundenanrufe, verlorene nachgelagerte Transaktionen oder öffentliches Personal, das für manuelle Verarbeitung umgeleitet wurde. Ein SLA bestimmt auch nicht, ob ein bestimmter Kunde verantwortungsvoll entworfen hat. Die Vertragsbedingungen variieren, und diese Analyse kommt nicht zu dem Schluss, dass AWS einem Kunden über eine anwendbare Vereinbarung hinaus Schadenersatz schuldet.
Das Ereignis von 2025 offenbart eine prozedurale Ironie, ohne einen rechtlichen Mangel zu beweisen: Der Standard-Gutschriftenprozess nutzt das Support-Center, während die Support-Ticket-Funktionen während der ersten DynamoDB-Phase nicht verfügbar waren. Kunden hatten spätere Anspruchsfenster, daher verhinderte die vorübergehende Blockade nicht unbedingt einen Anspruch. Dies zeigt, warum die für eine Gutschrift erforderlichen Nachweise außerhalb des betroffenen Überwachungsstapels gesammelt werden sollten.
CloudWatch, Anwendungsprotokolle, synthetische Sonden, Anbieterereignisse, Kundentransaktionsaufzeichnungen und manuelle Incident-Notizen sollten unabhängig aufbewahrt werden.
Der Maßstab des Anbieters erhöht die Erwartung an Governance. Das Amazon-Formular 10-K 2025 weist AWS-Nettoumsätze von 128,725 Milliarden US-Dollar aus, ein Anstieg von 20 %, und erkennt separat Risiken im Zusammenhang mit Systemunterbrechungen und unvollständiger Redundanz an. Der Umsatz ist kein Beweis für ein Verschulden. Es ist ein Beweis für Fähigkeit, Umfang und eine wirtschaftliche Beziehung, in der Zuverlässigkeitskontrollen, transparente Post-Event-Berichte und Korrektursicherung zentrale Produktverpflichtungen sind, keine karitativen Zusätze.
Welche Beweise würden die Schlussfolgerung ändern
Die derzeitige Schlussfolgerung ist, dass AWS eine erhebliche Widerstandsfähigkeit der Infrastruktur und der Datenebene bereitgestellt hat, das Oktober-Ereignis 2025 jedoch vermeidbare gemeinsame Annahmen in der regionalen DNS-Automatisierung und unzureichend vorbereitete Wiederherstellungspfade offengelegt hat. Kunden konnten erhebliche Resilienz kaufen, jedoch nur durch Vorpositionierung des Dienstes und Vermeidung der Kontrollebenenabhängigkeiten, die AWS selbst dokumentiert. Einige regionsübergreifende und Support-Abhängigkeiten blieben weniger unabhängig, als Kunden allein aus der Geografie vernünftigerweise ableiten konnten.
Mehrere Arten von Beweisen würden dieses Urteil günstiger machen:
- ein datiertes öffentliches Abschlussregister für die Behebung des DNS-Wettlaufs, die Durchsetzung der Frische pro Endpunkt, den Schutz vor dem Löschen aktiver Pläne und die automatische Wiederherstellung aus einem inkonsistenten Planzustand;
- Ergebnisse von Fehlerinjektionen, die zeigen, dass verzögerte Enactors, veraltete Generationen, gleichzeitige Bereinigung, partielle Route-53-Schreibvorgänge und Wiederherstellungsfehler den regionalen Endpunkt nicht löschen können;
- EC2-Tests im realistischen Maßstab von US-Est-1, die zeigen, dass die vollständige Lease-Wiederherstellung innerhalb einer begrenzten Zeit ohne Überlastungskollaps abgeschlossen wird;
- Nachweise über Warteschlangentiefe und Zugangskontrolle für Network Manager, einschließlich des Verhaltens unter einem größeren regionalen Rückstand als im Oktober;
- NLB-Tests, die belegen, dass Geschwindigkeitsbegrenzungen verhindern, dass falsche Gesundheitsübergänge zu viel Multi-Zonen-Kapazität entfernen;
- ein Bestand an Service-Abhängigkeiten, der globale oder einzelregionale Steuerungsoperationen identifiziert, die Workloads außerhalb von US-Est-1 beeinträchtigen können, mit Änderungen, die im Laufe der Zeit verfolgt werden;
- demonstrierte Übungen von AWS-Support und -Status, bei denen Identität, Kontometadaten, Konsole, EventBridge-Zustellung und eine Region jeweils unabhängig ausfallen;
- kundenorientierte Wiederherstellungsmetriken, die Endpunktreparatur, Kontrollebenenreparatur, Datenebenenstabilität, Rückstandsabbau und Ressourcenabgleich trennen;
- eine unabhängige Sicherheitsstichprobe der Fertigstellung und Nachhaltigkeit von Korrekturmaßnahmen für schwerwiegende Vorfälle.
Die Beweise könnten die Schlussfolgerung auch ungünstiger machen. Die Wiederholung desselben Wettlaufs nach Reaktivierung der Automatisierung, eine weitere Flottenwiederherstellung ohne etabliertes Verfahren, nicht dokumentierte regionsübergreifende Aufrufe von US-Est-1 oder ein Ausfall von Status und Support über denselben Metadatenpfad würden darauf hindeuten, dass die Korrektur Symptome behandelte, nicht Autoritätsgrenzen. Ein kürzerer Ausfall allein würde die Frage nicht lösen; ein glückliches Workload-Muster kann eine gefährliche Kontrolle verbergen.
Kundenbeweise zählen ebenfalls. Eine öffentliche Behörde, die einen vollständigen regionalen Übungstag, unabhängige Kommunikation, aktuelle Daten in einer sekundären Region, vorab bereitgestellte Kapazität, einen begrenzten manuellen Dienst und einen erfolgreichen Fristenabgleich nachweisen kann, hat Cloud-Vielfalt in Kontinuität umgewandelt. Ein Kunde, der Backups oder Vorlagen als 'Multi-Region' kennzeichnet, ohne zeitlich festgelegte Übung, hat dies nicht getan.
AWS veröffentlicht einen nützlichen Standard, wann es öffentliche Zusammenfassungen nach Ereignissen veröffentlicht, einschließlich breiter Ereignisse mit signifikanten Kontrollebenenausfällen oder Infrastrukturauswirkungen. Diese Aufzeichnungen sind wertvoll. Eine stärkere Sicherung würde jeden schwerwiegenden Bericht mit einem dauerhaften Maßnahmenregister verknüpfen, damit Kunden und öffentliche Käufer eine angekündigte Korrektur von einer getesteten, abgeschlossenen und aufrechterhaltenen Kontrolle unterscheiden können.
Die Verantwortungsschlussfolgerung
Der Ausfall vom Oktober 2025 begann mit zwei Automatisierungskomponenten, die sich über die Zeit uneinig waren. Eine wandte langsam einen alten Plan an; eine andere wandte einen neuen Plan an und löschte den alten; zusammen löschten sie die Adresse eines regionalen Datenbankdienstes. Der lange Vorfall rührte von allem, was dieser Adresse vertraute, und dem Zustand, der sich während ihrer Abwesenheit verschlechtert hatte.
AWS besitzt diese Kette innerhalb der Cloud. Es hat das Planprotokoll, die Bereinigungsautorität, die Host-Leases, die Wiederherstellungswarteschlangen, die Health Checks, die Service-Abhängigkeiten und den Support-Pfad entworfen. Sein Post-Event-Bericht ist technisch spezifisch, seine sofortigen Korrekturen entsprechen den offengelegten Mechanismen, und seine Bewahrung bestehender EC2-Instanzen bestätigt den Wert der Kontrollebenentrennung.
Die ungelöste Verantwortungsfrage ist der Beweis, dass die Korrekturen im regionalen Maßstab funktionieren und dass versteckte regionsübergreifende Abhängigkeiten ausreichend sichtbar gemacht werden, damit Kunden handeln können.
Kunden besitzen eine andere Kette. Sie entscheiden, ob die Spitzennachfrage von der laufenden Kapazität bedient werden kann, ob Replikate ohne eine neue Kontrollaktion erreicht werden können, ob Status und Incident-Koordination unabhängig sind und ob das Unternehmen oder die öffentliche Funktion sicher degradieren kann. Buildkites erschöpfte Shards und Postmans degradierter Statusweg waren keine Ursachen des AWS-Ausfalls; sie waren kundenkontrollierte Auswirkungsmultiplikatoren.
Die verzögerten Produkte der NOAA, der alternative Einreichungsweg des USPTO und die Zuteilungswarnung der NASA zeigen, warum der Multiplikator in operativen Begriffen bewertet werden muss, nicht nach Serveranzahl.
Der zentrale Test kann nun beantwortet werden. Kunden können regionale Resilienz auf AWS kaufen, aber eine zweite Region ist kein ausreichender Nachweis des Kaufs. Das nutzbare Produkt ist ein vollständiger Wiederherstellungspfad: bereits bereitgestellt, bereits autorisiert, bereits beobachtbar, bereits routbar und ohne die primäre Kontrollebene wiederholt. Wo globale Kontrollen oder Anbieter-Interna immer noch auf US-Est-1 konvergieren, muss AWS entweder die Abhängigkeit entfernen, seine sichere Datenebenenalternative klar machen oder die Einschränkung deutlich formulieren.
Die Cloud-Konzentration wird oft in Marktanteilen diskutiert. Die unmittelbarste Konzentration ist die ausführbare Autorität: ein Plan, ein Endpunkt, eine Metadatenantwort, eine Gesundheitsinterpretation oder eine Support-Abhängigkeit, die viele redundante Systeme dazu bringen kann, sich gleich zu verhalten. Die Verantwortung beginnt damit, diese Autorität vor dem nächsten Vorfall zu benennen, und dann zu beweisen, dass noch ein separater Pfad existiert, wenn sie falsch liegt.

