摘要
- 问责悖论不在于 AWS 是否提供多个区域(它确实提供了),而在于客户能否在提供商事件期间利用这种多样性,而无需首先调用受损的控制平面、身份路径、DNS 管理 API、监控系统或支持渠道。一个存在但未预先配置、未验证、不可观测或无法通过在线配置更改而到达的第二个区域,只是资产库存,而非运营韧性。
- 2025 年 10 月 19 日至 20 日,DynamoDB 自动化 DNS 管理系统中一个潜在的竞态条件导致 US-East-1 的公共区域终端丢失所有 IP 地址。三个跨三个可用区独立运行的 DNS Enactor 未能遏制故障,因为它们共享一个区域计划序列和一套清理逻辑。自动化进入不一致状态,需要人工修复。
- 大约三小时后恢复 DynamoDB 终端解析,并未恢复区域。EC2 的主机管理系统丢失租约并陷入拥塞崩溃;网络状态传播积压了待处理任务;网络负载均衡器健康检查将尚未到达配置的健康容量剔除;依赖服务在数小时内节流、故障或清空队列。AWS 描述了客户影响的三个主要阶段,部分 Redshift 恢复持续到 10 月 21 日。
- 该事件并非意味着每台 US-East-1 机器都出现故障。已有 EC2 实例保持健康,一些静态配置的数据平面继续服务。故障反而削弱了查找 DynamoDB、启动或网络新容量、处理事件、验证某些请求、替换不健康组件以及运行支持和联系中心功能的能力。这一区别解释了为何一些客户幸存,以及为何传统的自动扩展设计在日间负载下后续失效。
- 公共部门的记录使连续性后果具象化,但并未支持普遍政府中断的说法。NOAA 表示几乎所有 NESDIS 产品都受影响,并出现延迟而非丢失。USPTO 报告 Patent Center 间歇中断,并引导申请者使用替代方法。NASA 的一个科学平台警告笔记本分配可能超时。每个案例展示了不同的连续性需求:保护时效性产品、保护法律提交路径或保护对替代计算的访问。
- AWS 控制着托管服务内部、全局服务架构、恢复算法、状态发布和修复证据。客户及下游软件提供商控制工作负载放置、预配置、依赖映射、降级模式、独立监控和连续性程序。公共机构还控制任务分类、采购要求和非数字化后备。共同责任并不平等:它取决于谁能在事件前改变故障的能力。
一个具有非区域性逃逸问题的区域产品
云销售主张围绕可选择的故障域构建。客户可以将应用分布在区域内的多个可用区,将数据复制到另一个区域,并支付在其他地方的热备或活动副本的费用。理论上,这使得韧性成为一种可购买的属性。实际上,只有在主要环境受损时客户能够行使该能力,购买才变得真实。
这就是控制平面悖论的起点。一台已经运行的服务器可以在描述或替换它的 API 不可用时继续处理。一条 DNS 记录可以在更改它的 API 宕机时继续应答。另一个区域的副本可以是健康的,而应用程序仍将所有请求发送到故障的区域终端。一项支持服务可以故障转移到另一个区域,但仍因账户元数据依赖返回看似权威但实则无效的回答而拒绝用户。
AWS 自身的关于全局服务的故障隔离边界指南对此异常明确。在标准商业分区中,IAM、AWS Organizations、账户管理、Route 53 公共 DNS、CloudFront 以及多个相关控制平面托管在单一区域,通常是 US-East-1。它们的数据平面可能全球分布,这种隔离可以保留已建立的服务。但该指南告知客户在恢复期间不要依赖这些控制平面,并列举了在其他区域性服务中仍然依赖 Route 53 或其他单区域控制功能的操作。
因此,正确的问责问题不是“客户是否购买了第二个区域?”而是:客户能否使用已经在线且不需要受损权限的路径,进入、观测、授权、路由并操作第二个区域?
这一检验比架构图更严格。它询问:容量是否已预先配置?数据是否足够更新?凭据和信任策略是否有效?故障转移控制是否是数据平面操作?员工是否有独立通信?状态证据是否来自提供商外部?系统背后的公共服务是否能容忍转换?它还询问 AWS 是否将其自身的恢复和客户信息系统置于它试图解释的故障之外。
2025 年 10 月给出了详细的答案。部分表现完全如静态稳定理论所预测。已有 EC2 实例保持可用。其他区域的 DynamoDB 全球表副本可直接访问。其他部分则暴露了隐藏控制依赖的代价:区域数据库终端消失、主机租约过期、无法启动容量、新实例缺少网络状态、健康检查撤回了可用的负载均衡器容量、尽管区域故障转移,支持访问仍被阻止。
2025 年 10 月的时钟内包含三次中断
AWS 的事件后总结将事件时间定为太平洋时间 10 月 19 日晚上 11:48 至 10 月 20 日下午 2:20,并划分为三个时段:DynamoDB API 错误、EC2 启动和连接故障以及网络负载均衡器连接错误。这比为事件指定单一的开始和结束时间更准确。不同的服务、控制路径和客户积压在不同的时钟上恢复。
| 太平洋时间 | 事件 | 问责意义 |
|---|---|---|
| 10 月 19 日 11:48pm | 一个旧 DNS 计划在新计划之后被应用;清理操作删除了刚激活的旧计划,导致 DynamoDB 区域终端的所有 IP 地址丢失。 | 冗余执行器共享一个计划排序缺陷,产生了一个无效的区域应答。自动化无法自我修复。 |
| 10 月 20 日 12:38am | 工程师确定 DynamoDB DNS 状态为故障源。 | 检测和诊断相对较快,但识别并不能恢复权威状态。 |
| 1:15am | 临时措施允许某些内部服务访问 DynamoDB,并恢复关键内部工具。 | 恢复首先需要修复提供商操作自身的能力。 |
| 2:25am | DNS 信息恢复;缓存应答约在 2:40am 前过期。 | 触发因素在大约三小时后被缓解,但依赖状态已经衰减。 |
| 2:32am | 报告 DynamoDB 全球表副本已追上。 | 跨区域副本作为可用目标存活下来,尽管复制延迟和客户路由仍需要管理。 |
| 4:14am | 经过多次尝试缓解后,工程师限制传入工作负载并选择性重启 EC2 DropletWorkflow Manager 主机。 | 主机管理舰队已进入拥塞崩溃,AWS 称没有既定的运营恢复程序覆盖此状态。 |
| 5:28am | EC2 主机租约重新建立,在节流下部分启动成功。 | 容量逐渐恢复;API 成功并不意味着可用的已网络化实例。 |
| 5:30am 起 | 部分网络负载均衡器出现连接错误。 | 后续恢复阶段对先前健康的端点产生了新的数据平面后果。 |
| 6:21am | EC2 网络管理器在处理推迟的网络状态时出现传播延迟。 | 主机管理改善后,恢复队列成为单独的瓶颈。 |
| 6:52am | 监控检测到交替的 NLB 健康检查失败。 | 没有完整网络状态的新实例显示为不健康,因此保护自动化移除了容量。 |
| 9:36am | AWS 禁用自动 NLB 健康检查故障转移。 | 运营商暂时暂停一项安全机制,因为其假设在恢复状态下不成立。 |
| 10:36am | 网络配置传播恢复正常。 | 新启动的实例再次可以完全连接,但节流仍然存在。 |
| 11:23am | 工程师开始放宽 EC2 请求节流。 | 恢复受准入控制以防止重现过载。 |
| 1:50pm | 报告 EC2 API 和启动正常。 | 控制平面在区域终端首次故障后超过 11 小时后恢复。 |
| 2:09pm | 自动 NLB DNS 故障转移重新启用。 | 正常保护系统仅在其输入再次可信后恢复。 |
| 2:20pm | AWS 的详细报告标记主要事件结束。 | 这是提供商的一个里程碑,并不证明每个服务积压或客户操作已协调一致。 |
| 3:01pm | Amazon 的公开更新称所有 AWS 服务恢复正常运营。 | 后续的公开里程碑反映更广泛的服务恢复。 |
| 10 月 21 日 4:05am | 运营商完成对陷入替换流程的 Redshift 集群的恢复。 | 部分依赖资源在标题事件窗口之外仍然受损。 |
外部测量有助于检验提供商陈述的边界。Cisco ThousandEyes 的中断分析在 Ashburn 附近的 AWS 边缘观察到早期丢包,随后随故障经历恢复阶段,出现应用超时和 503 响应。这些观察无法揭示专有内部情况,但它们支持网络可达性与应用就绪在不同时间恢复的结论。
AWS 的公开事件历史作为同期沟通记录仍然有用。它不应被视为完整的取证报告。状态历史报告了提供商在特定时刻所知并选择发布的内容;事后报告增加了机制和事后核对。
时间线还表明,为何“DNS 已修复”是一个不充分的恢复声明。DNS 修复恢复了通往 DynamoDB 的路由。它没有恢复已过期的租约、已排队的网络更新、未创建的实例、已被节流的事件交付、已失败的联系中心会话或已超时的客户流程。恢复持续时间是依赖状态转换的总和,而非首次缺陷的持续时间。
触发因素是 DNS;根源是对状态的共享权威
触发机制是精确的。DynamoDB 为一大区域负载均衡器集群维护着数十万条 DNS 记录。一个 DNS 规划器(Planner)创建描述终端、负载均衡器和权重的计划。DNS 执行器(Enactor)在三个可用区中独立运行,通过 Route 53 应用这些计划。在执行前,执行器会检查其计划是否比已应用的计划更新。
一个执行器变得异常缓慢,并在多个终端上重试更新。在其进行期间,规划器生成了更新的计划,另一个执行器迅速应用了其中一个。较新的执行器随后开始清理旧计划。就在那时,延迟的执行器到达 DynamoDB 主区域终端,并应用了其较旧的计划。它的新鲜度检查发生得更早,此时已陈旧。清理操作删除了刚刚激活的旧计划。所有终端 IP 地址消失,自动化状态变得不一致,以致后续计划无法应用。
“一个 DNS 错误”描述了客户可见的触发因素。它并未解释控制故障。更深层次的条件是:
- 新鲜度在多终端操作开始时检查一次,而不是在每个决定性写入时原子性地检查;
- 旧计划在长时间延迟后可能覆盖新代数;
- 清理可以在不证明计划不再有效的情况下删除它;
- 独立的工作者位于不同区域,但共享相同的排序和删除假设;
- 一个区域计划简化了多种终端类型的管理,增加了附属于该计划的权威性;
- 无效状态超出自动化的自我修复范围,需要人工来恢复。
这一区别很重要,因为添加第四个执行器不一定能解决所有执行器共享的协议缺陷。可用区隔离了流程和基础设施;它们并未创建独立的正确性。冗余放大了执行相同不安全转换的操作者数量。
AWS 的修复承诺遵循该诊断。该公司在全球范围内禁用了规划器和执行器自动化,以待更改;承诺修复竞态条件并防止应用错误的计划;提议对一个 NLB 在可用区故障转移期间可移除的容量量设定速度限制;增加了 EC2 恢复测试;并承诺对网络状态传播实施队列感知的速率限制。这些措施比单纯扩容更强,因为它们约束了权威和恢复速度。
它们仍然是提供商撰写报告中的承诺。此处审查的公开记录不包含独立审计的关闭登记册,列明每项行动的部署日期、测试覆盖率、失败测试用例、遗留例外和持续性能。对因果描述的信任度可以很高,而对当前修复有效性的信任度仍然较低。
一台健康的服务器并非一项可恢复的服务
AWS 正确强调了事件前启动的 EC2 实例保持健康。这一事实防止分析滑向 US-East-1 物理离线的错误说法。它也暴露了客户正购买的确切风险。
AWS 将控制平面定义为创建、描述、更新、删除和列出资源的系统,而数据平面执行服务的主要工作。其控制平面与数据平面指南解释了为何启动 EC2 是一项复杂的编排,涉及主机、网络接口、存储、凭据和安全配置。运行中的实例更简单。它可以在该编排无法创建新实例的期间存活。
这就是实践中的静态稳定性。服务因无需变更而存活。当需求上升、主机故障、部署替换容量、证书或密钥需要续期、容器退出或操作员尝试故障转移时,弱点便会显现。于是,据称稳定的服务在最不饶恕的时刻调用控制平面。
Buildkite 的客户事后审查说明了延迟故障。其客户体验最初是稳定的。随着美国业务流量增加,EC2 启动失败阻止了自动扩展,分片耗尽了各自不同的容量裕度,延迟和错误在 AWS 事件开始数小时后上升。Buildkite 通过暂停部署保留了容量,随后将负载转移至一个原本未使用的分片。决定性的韧性资产是备用的、已在运行的计算能力,而非自动扩展策略的存在。
Postman 记录了第二种耦合形式。其中断审查称关键流程受损,其基于 AWS 的状态页面延迟了通信,其内部事件频道的自动创建依赖受影响的基础设施。Postman 承认了自身的责任份额,并描述了在优雅降级、多区域能力、冗余通信,以及最终跨区域和提供商的主动-主动运营方面的工作。这是正确的责任划分:AWS 承担上游故障;Postman 承担让客户通信和协调继承该故障的决定。
因此,10 月的事件将客户架构划分为比“单区域”和“多区域”更有用的类别:
- 运行中但依赖变更。现有服务继续,直到扩展、替换、部署或凭据刷新需要控制活动。
- 多可用区但依赖区域控制。物理可用区故障被覆盖,但共享的区域终端、控制平面和恢复系统仍是共用的。
- 多区域但依赖激活。数据和模板在其他地方存在,但故障转移需要预配置、IAM 更改、Route 53 更改或不可用的操作员。
- 静态稳定的多区域。容量、数据路径、身份、健康检查和路由控制均已可用,故障转移使用预先到位的数据平面机制。
- 提供商多样或手动连续。一个关键子集可在 AWS 之外运行,或当云运营不经济时,通过受限的非数字化流程继续履行公共职能。
只有第四和第五类直接回应了控制平面悖论。其他类别对于较低影响的工作负载可能仍是合理的选择,但它们不应被呈现为等同的韧性。
恢复自动化成为第二次事件
一旦 DynamoDB DNS 恢复,EC2 的 DropletWorkflow Manager 尝试与其管理的物理主机重新建立租约。在终端中断期间,这些租约已超时。没有有效租约的主机无法安全地接受新实例。机群的尝试耗时过长,导致工作到期并再次排队。AWS 表示,系统进入拥塞崩溃,且没有针对该恢复状态的既定程序。
这是一次重要的承认。最初的竞态是罕见的排序故障。持久的 EC2 受损来自一类可预见的恢复负载:许多过期对象共同尝试变为当前状态。确切规模可能异常,但队列、超时、重试和租约是普通的分布式系统机制。恢复设计必须在其预期恢复的机群规模下进行测试,而不仅仅是针对稳态性能或增量主机丢失。
下一阶段使该依赖对运行中的流量可见。网络管理器必须为新的或更改的实例传播积压的配置。某些新实例在其网络状态完成之前就已存在。NLB 健康检查看到故障,在健康与不健康之间交替,并从 DNS 中撤回节点和目标。检查系统自身变得负载过重,自动可用区故障转移从多可用区负载均衡器中移除了容量。AWS 在上午 9:36 禁用了自动保护,以阻止其根据误导性证据采取行动。
没有单个组件在隔离状态下表现出非理性。租约管理拒绝了无主主机。网络管理器排队配置。健康检查移除了无法到达的目标。可用区故障转移撤回了受损容量。级联之所以出现,是因为每个机制都将部分恢复解释为普通的本地故障。问责在于跨系统设计:恢复状态必须被充分表达,以免一个安全控制因另一系统暂时不完整而惩罚它。
下游影响因服务而异。Lambda 节流异步和队列驱动的工作以保护同步调用。ECS、EKS 和 Fargate 经历了启动和扩展失败。Amazon Connect 出现呼入和呼出失败、忙音、无声、音频消息和呼叫路由故障、联系中心人员登录问题以及报告延迟。STS 经历了两个阶段的错误率升高。Redshift 同时具有区域依赖和一个缺陷,该缺陷从所有区域向 US-East-1 发送 IAM 组解析请求;该特定跨区域故障未影响本地数据库用户。
Redshift 的这一细节尤其具有启发性。一个资源可以物理位于 US-East-1 之外,却由于实现选择而调用那里的终端。地理部署与依赖地理并不相同。客户需要后者的映射,但只有提供商才能权威地披露每个内部服务间的依赖关系。
状态和支持是安全系统的一部分
在云事件期间,客户需要判断他们看到的是自身缺陷、账户特定限制、区域事件还是全球依赖。他们需要知道是进行故障转移、冻结部署、减负、保留队列还是调用手动连续性。因此,状态信息是一种运营控制,而非事后公关。
2025 年 10 月,AWS Support Center 确实故障转移到了另一个区域。然而,一个账户元数据子系统返回了阻止合法用户查看或更新案例的响应。AWS 为失败的响应设计了绕过机制;而该依赖却返回了无效的响应。从晚上 11:48 到凌晨 2:40,客户无法通过控制台或 API 创建、查看或更新支持案例。
这是一个经典的语义故障问题。一个依赖可以不可用、缓慢、错误、陈旧或自信地错误。仅处理超时的故障转移逻辑与返回错误权威的系统并非独立。支持连续性必须验证账户状态的含义,保留一个有界的最后已知良好路径,并为严重的提供商事件提供单独认证的路由。
记录同时显示了改进与反复。在 2021 年 12 月 7 日的AWS 服务事件中,AWS 主网络与内部网络之间的拥塞损害了监控、部署工具、控制平面、支持联系中心以及服务健康仪表盘到备用区域的故障转移。AWS 承诺了一个跨多个区域活跃的新支持架构。2025 年的支持中心确实按设计迁移了区域,这是架构进步的证明。其元数据依赖仍阻止了该服务实现其目的。
客户还需要区分 AWS 的公开状态与个性化证据。当前的AWS Health Dashboard 文档称,未签名的公开页面显示公开服务事件,而签名后的视图提供账户特定事件和资源。AWS 建议通过 EventBridge 进行编程式监控。其关于公开和账户特定健康事件的指南建议使用备用规则,以便事件可传递到备用区域。AWS 的区域事件规则指南称,如 IAM 通知等全局健康事件需要在 US-East-1 中设置规则,这是需要测试而非假设独立性的另一个原因。
任何组织都不应依赖单一渠道。一个可防御的安排结合了提供商公开健康、在多个区域传递的账户特定事件、来自另一提供商或本地网络的合成探测、应用级业务指标,以及具有独立托管和身份的故障页面。联系名单、协调会议接入详情和决策阈值应能在没有普通云账户的情况下获取。
公共服务影响是连续性问题,而非网站计数
10 月的中断以使得简单中断总数误导的方式波及公共系统。最佳证据是具体服务层面的。
美国国家海洋和大气管理局(NOAA)报告称,其国家环境信息中心的云设施在 UTC 时间 06:57 左右开始收到低数据摄入警报。一份NOAA/NESDIS 运营消息表示,几乎所有 NESDIS 产品都受到影响,数据似乎延迟而非丢失。这与永久数据销毁在实质上截然不同。但它仍然可能严重:环境产品具有时效性,六小时的延迟会压缩将观测用于预报、规划或下游分析的时间。
美国专利商标局(USPTO)称其专利中心经历间歇性中断,并引导无法提交申请的用户使用替代提交方法。该通知展示了成熟的连续性原则:法律或行政功能是提交,而非一个 Web 应用程序的可用性。即使主界面降级,替代路径也能保持功能。该记录未确定有多少用户使用了替代方案、是否每项申请都赶上了截止日期,或为何事件直到 10 月 23 日才标记为已解决;这些问题应保持开放。
NASA 的 Fornax 科学平台警告启动笔记本服务器可能超时,同时计算资源正在分配。这直接对应 EC2 控制平面故障。现有的科学数据或笔记本不必消失,研究就能停止;无法分配工作环境就足够了。
这些记录并未证明所有使用 AWS 的政府服务都受影响、紧急电话因该事件而失败或任何公共安全后果发生。它们确实显示了为何采购必须超越数据存储位置的考量。一项公共服务可能在产品生成、文件提交、分析、通信或检查数据所需的计算上依赖云控制。
CISA 2024 年 8 月关于公共安全通信依赖的论文警告,非机构基础设施可能带来相关的连续性风险,并建议明确的冗余、停机程序、备份、人员配备和支持要求。CISA 更广泛的基础设施依赖入门询问冗余提供商是否也被其他系统共享,以及临时措施能维持多久。这些问题完全适用于云架构。
一个公共机构应在任务层面分类连续性:
- 如果云控制在三、十五或四十八小时内不可用,仍必须产出什么结果?
- 哪些工作可以在已在运行的容量上继续,存在多少需求裕度?
- 哪些记录可能会延迟,哪些法律或安全截止日期要求替代路径?
- 员工能否在没有受影响提供商的情况下进行身份验证、沟通和发布公共建议?
- 第二个区域实际上是否活跃,还是组织必须通过故障的控制平面进行配置?
- 手动流程能否接受工作、创建带时间戳的收据并在之后进行核对而不丢失完整性?
- 合同是否提供技术证据和支持途径,而不仅仅是事件后的积分?
NIST 的应急规划指南仍然相关,因为它以业务影响、恢复优先级、替代处理和经过测试的计划为中心。技术已变;但维护公共职能的责任未变。
US-East-1 有历史记录,而非一个反复出现的错误
将弗吉尼亚北部的每次事件描述为相同的控制平面缺陷将产生误导。机制各不相同。记录的价值在于,不同的触发因素反复暴露了有关范围、内部依赖、恢复速度和客户可见性的共同问题。
| 事件 | 触发因素与机制 | 依赖信号 | 提供商披露的行动 |
|---|---|---|---|
| 2012 年 6 月 | 一次电力事件影响了一个可用区;EC2 和 EBS 控制平面在整个区域也受到损害。 | 试图替换受影响区域容量的客户在部分时段无法在该区域其他位置启动或挂载资源。 | AWS 描述了启动和恢复瓶颈工作,以及电气转换行为的更改。 |
| 2017 年 2 月 | 一位授权的 S3 操作员输入了错误的命令,删除了超出预期的索引和放置容量。 | S3 API 以及依赖 S3 的 AWS 服务失败;状态仪表盘也丢失了部分信息,因为其管理控制台依赖 S3。 | AWS 增加了命令安全措施,减少了故障影响范围,并分离了状态管理依赖。 |
| 2020 年 11 月 | 一次适度的 Kinesis 前端容量增加导致所有服务器超过操作系统线程限制。 | Cognito、CloudWatch、Auto Scaling 信号、Lambda、EventBridge、ECS 和 EKS 继承了该服务故障;正常的状态发布工具依赖 Cognito。 | AWS 承诺进行前端单元化、改进警报和冷启动、服务分区,并对手动状态工具进行定期培训。 |
| 2021 年 12 月 | 自动扩展触发了客户端连接激增,淹没了 AWS 内部网络与主网络之间的设备;一个潜在的退避问题维持了拥塞。 | 监控、内部 DNS、授权、部署、EC2 控制、支持和状态故障转移共享了受限路径。 | AWS 禁用了触发活动,增加了网络保护,修复了客户端行为,并承诺构建活跃的多区域支持架构。 |
| 2025 年 10 月 | 一个 DNS 计划竞态移除了 DynamoDB 区域终端,并导致自动化无法自我修复。 | DynamoDB 依赖导致 EC2 租约崩溃、网络积压、NLB 健康检查不稳定、服务节流、支持受阻以及跨区域的 Redshift IAM 影响。 | AWS 在全球范围内禁用了自动化,承诺修复竞态条件和计划安全性、NLB 速度限制、EC2 恢复测试以及队列感知节流。 |
2012 年的服务摘要是这一悖论的早期表述:控制平面在中断期间尤为重要,因为那时客户试图创建或移动资源。2017 年的 S3 报告显示了一个运维命令具有超出预期的权限,并且重启持续时间在该区域的更新规模下未曾经历过。2020 年的 Kinesis 报告明确将触发因素与根本原因分离,然后描述了持续数小时的受控机群重启以及状态工具依赖。2021 年的报告暴露了提供商自身减弱的可见性和部署受损。
反复出现的模式并非某指定操作员的疏忽,也非 AWS 未能吸取教训的证明。而是规模改变了安全操作的含义;冗余组件可能共享一个逻辑故障;恢复需求可能大于稳态需求;而事件工具可能与生产环境共享命运。因此,每次事后行动都应针对下一个机制进行测试,而不仅仅是最近一次确切的触发因素。
有证据表明学习了。2025 年的支持中心具备了区域故障转移,而 2021 年的架构未保护案例创建。DynamoDB 使用了三个独立的 DNS 执行器。EC2 保留了现有实例。全球表副本在其他地方仍可访问。AWS 发布了异常详细的因果报告。剩下的问题是,当这些控制收到缓慢、陈旧或无效的状态而非干净的中断时,它们是否能安全地失效。
究竟可以购买怎样的韧性
AWS 当前的可靠性支柱告知客户定义恢复目标、测试灾难恢复、开展故障演练、使用静态稳定性,并在恢复期间依赖数据平面。具体的REL11-BP04 指南指出了常见的反模式:在事件期间更改 DNS 记录、因故障转移资源预置不足而扩展控制平面容量,或依赖一系列管理 API。
该指南在技术上是合理的。它也定义了账单。静态稳定性意味着在需要资源之前为其付费,限制会移除储备容量的部署,在另一个区域保持身份和数据就绪,并运行一个数据平面已分布的路由控制。一个仅支付备份费用的客户购买的是数据保护,而非即时服务连续性。一个采用“指示灯”模式的客户购买的是更快的重建,而非对控制平面故障的免疫力。一个采用“暖备”模式的客户购买的是带有扩展依赖的容量,除非该备用能够按预置承载承诺的负载。
AWS 的灾难恢复选项描述了备份和恢复、指示灯、暖备和主动-主动模式。它们还建议仅使用数据平面操作以获得最大韧性。其含义应写入业务案例:较低的成本通常会在故障时刻购买更多的控制平面工作。工作负载负责人必须决定该权衡是否可接受,而管理层必须为与他们批准的容忍影响相匹配的答案提供资金。
多区域并非自动的裁决。2025 年事件期间,US-East-1 之外的 DynamoDB 全球表副本可用,但应用程序仍需要一条经过测试的通往它们的路由、可接受的一致性行为、足够的容量以及协调恢复副本的方法。身份策略、KMS 密钥、秘密、证书、容器镜像、队列、可观测性以及第三方 API 都需要同样的审查。一张带有两个数据库图标的图并不能证明完整的业务交易可在两地完成。
多云同样并非自动的裁决。针对第二个提供商重建每个托管服务可能引入数据不一致、运营错误、更高成本,以及一个仅在紧急情况下才使用的平台。美国政府问责局(GAO)最新的联邦云采购审查发现,使用多个供应商的机构也面临互操作性、人员配置、工具和管理挑战。该报告记录了国防部提出的更有用的表述:管理集中风险,保持架构意识和关键任务工作负载的退出策略,而不是将所有特定于提供商的能力视为本质上有问题。
务实的答案是选择性的独立性。使最时间关键的路径跨区域保持静态稳定。当完整服务过于昂贵时,保留一个小型只读取或受理模式。对可能需要另一提供商的功能使用开放数据格式和经过测试的导出。在法律和公共义务允许的情况下,维持手动或离线流程。不要在一个公共信息页面、一个福利支付说明、一个内部分析作业和一个安全调度功能上花费同等的韧性资金;它们的后果各不相同。
责任跟随本可改变结果的能力
“共同责任”如果被用来平均分摊每次故障,就可能变成一团迷雾。AWS 自身的韧性模型将云基础设施和托管服务的韧性归于 AWS,而客户选择配置、放置、复制、备份和工作负载架构。只有当该划分被转化为具体的控制能力时才有用。
| 能力 | 主要控制方 | 2025 年 10 月后的问责测试 |
|---|---|---|
| DynamoDB DNS 计划正确性 | AWS | 旧代数能否覆盖新代数,清理操作能否删除活动状态,自动化能否在没有操作员的情况下恢复? |
| 跨可用区逻辑独立性 | AWS | 冗余工作者是否具有独立的故障假设,还是仅具有独立的主机? |
| EC2 主机租约恢复 | AWS | 全机群租约丢失是否经过测试,并配备队列限制、准入控制和文档化程序? |
| 网络状态积压控制 | AWS | 传入的工作速率是否在超时和重试造成崩溃之前适应队列深度? |
| NLB 健康和故障转移速度 | AWS | 健康自动化能否区分不完整的恢复与不健康的容量,移除速率是否受限? |
| 内部服务依赖 | AWS | 哪些区域和全局操作调用了 US-East-1,客户是否获得足够信息以规避它们? |
| AWS 健康和支援连续性 | AWS | 在主身份、元数据、控制台和区域路径受损的情况下,公开更新、个性化事件和严重案例支援能否运作? |
| 区域和服务选择 | 客户或下游提供商 | 所选架构是否与经衡量的业务影响和已批准的恢复目标相称? |
| 预配置故障转移 | 客户或下游提供商 | 流量能否在不创建资源、更改全局控制平面或获取不可用权限的情况下移动? |
| 优雅降级 | 客户或下游提供商 | 当依赖项故障时,哪些交易保持可用、排队、只读或可手动受理? |
| 独立检测和通信 | 双方,针对各自运营 | 各方是否拥有外部探测、独立的事件频道以及在主提供商存续期间不受影响的状态路径? |
| 公共服务连续性 | 公共当局和服务供应商 | 通过替代处理、截止日期、公共指导、人员配置和核对,任务结果是否得以保持? |
| 修复保证 | AWS 领导层、客户保证职能及(适用时)公共采购方 | 更改是否完成、在规模上经过测试、独立抽样并以例外情况报告,而非仅宣布一次? |
这一划分避免了两种错误。客户无法修补 DynamoDB 的 DNS 执行器或在 AWS 内部创建 EC2 恢复程序。AWS 不能决定市政申报门户是否值得主动-主动运行,或者公共机构是否拥有可接受的手动受理流程。下游的 SaaS 公司不能将自身状态页面托管在同一故障域归咎于 AWS,但它也无法仅凭架构纪律发现未公开的提供商内部情况。
责任还随服务抽象级别而变化。管理 EC2 的客户拥有更多选择和更多工作。购买 DynamoDB 的客户委托了更多平台运营,应预期 AWS 正确管理该服务的内部 DNS 和恢复。客户仍控制复制和应用故障转移。托管服务并未消除客户的连续性责任;它缩小了客户可控制的内部范围,并增加了提供商披露可用故障边界的责任。
积分定价的是服务指标,而非公共后果
商业问责具有狭窄的合同层面和更广泛的运营层面。现行的DynamoDB SLA承诺月度区域正常运行时间水平,符合条件的全球表使用则有更高目标。所述补救措施通常是服务积分,取决于资格、计算、排除项、日志,以及通过 AWS Support 提交的索赔。
该机制可以强制执行可衡量的服务承诺。它不会报销延迟的环境产品、错过的开发工作、失败的客户呼叫、丢失的下游交易或转向手动处理的公共人员的全部成本。SLA 也不决定某个特定客户是否负责任地设计。合同条款各不相同,本分析不认定 AWS 欠任何客户超过适用协议范围的损害赔偿。
2025 年的事件暴露了一个程序性讽刺,而未证明法律缺陷:标准的积分流程使用支持中心,而在最初的 DynamoDB 阶段支持案例功能不可用。客户拥有后来的索赔窗口,因此临时阻断未必阻止了索赔。它确实显示了为何积分所需的证据应在受影响的监控堆栈之外收集。CloudWatch、应用日志、合成探测、提供商事件、客户交易记录和手动事件笔记应独立保留。
提供商的规模提高了治理期望。Amazon 2025 年的10-K 表报告 AWS 净销售额为 1287.25 亿美元,增长 20%,并单独承认了系统中断和不完全冗余的风险。收入并非过错的证据。它是能力、覆盖面以及一种经济关系的证据,在这种关系中,可靠性控制、透明的事后报告和修复保证是核心产品义务,而非慈善性附加项。
什么证据会改变结论
当前的结论是,AWS 提供了充分的物理和数据平面韧性,但 2025 年 10 月的事件暴露了区域 DNS 自动化中可预防的通用假设以及准备不足的恢复路径。客户可以购买有意义的韧性,但只有通过预先部署服务并避免 AWS 自身文档中所述的控制平面依赖才能实现。一些跨区域和支持依赖仍然比客户仅凭地理所能合理推断的独立性更低。
几类证据将使该判断更为有利:
- 一份注明日期的公开关闭记录,包含 DNS 竞态修复、逐终端新鲜度强制、活动计划删除保护以及从不一致计划状态自动恢复;
- 故障注入结果表明延迟的执行器、陈旧的代数、并发的清理、部分 Route 53 写入以及失败的恢复无法移除区域终端;
- 在真实的 US-East-1 规模下进行 EC2 测试,显示完整的租约重建在有限时间内完成且无拥塞崩溃;
- 针对网络管理器的队列深度和准入控制证据,包括在大于 10 月规模的区域积压下的行为;
- NLB 测试证明速度控制能防止虚假健康转换撤回过多的多可用区容量;
- 一份服务依赖清单,识别可能影响 US-East-1 之外工作负载的全局或单区域控制操作,并随时间跟踪变更;
- 已演示的支持和 AWS Health 演练,其中身份、账户元数据、控制台、EventBridge 传递以及一个区域分别独立失效;
- 面向客户的恢复指标,区分终端修复、控制平面修复、数据平面稳定性、积压清空和资源核对;
- 独立鉴证抽样,检查严重事件纠正措施的完成情况和持久性。
证据也可能使结论更不利。自动化重新启用后同样竞态的重现,又一次在没有既定程序下的机群恢复,未记录的跨区域对 US-East-1 的调用,或通过同样元数据路径的状态和支持故障,将表明修复处理的是症状而非权威边界。仅凭一次更短的中断不能解决问题;一个幸运的工作负载模式可能掩盖不安全的控制。
客户证据也很重要。一个能够展示完整区域故障演练、独立通信、备用区域中的最新数据、预配置容量、受限手动服务以及成功截止日期核对的公共机构,已将云的多样性转化为连续性。一个将备份或模板标记为“多区域”而未进行定时演练的客户则没有。
AWS 发布了一个有用的标准,规定何时发布公开的事件后摘要,包括涉及重大控制平面故障或基础设施影响的大范围事件。该存档很有价值。更强的鉴证会将每份严重报告连接到一个持久的行动登记册,以便客户和公共采购方能够区分仅宣布的修复与经过测试、完成和持续的控制。
问责结论
2025 年 10 月的中断始于两个自动化组件对时间的分歧。一个缓慢地应用了一个旧计划;另一个应用了一个新计划并删除了旧计划;它们共同抹去了一个区域数据库服务的地址。漫长的故障源于信任该地址的一切以及其缺席期间衰退的状态。
AWS 在云端拥有这整条链。它设计了计划协议、清理权限、主机租约、恢复队列、健康检查、服务依赖和支持路径。它的事件后报告在技术上具体,其即时修复措施与所披露的机制匹配,其对现有 EC2 实例的保护验证了控制平面分离的价值。未解决的问责问题是,需要证明这些修复在区域规模下有效,且隐藏的跨区域依赖已足够可见,以使客户能够采取行动。
客户拥有另一条链。他们决定高峰需求能否由运行中的容量服务、副本能否在不发起新的控制操作的情况下被访问、状态和事件协调是否独立,以及业务或公共功能能否安全降级。Buildkite 耗尽的分片和 Postman 受损的状态路由并非 AWS 故障的原因;它们是客户控制的影响倍增器。NOAA 延迟的产品、USPTO 的替代提交路径以及 NASA 的分配警告表明,为何该倍增器必须按运营术语而非服务器数量来评估。
核心检验现在可以得到答案。客户可以在 AWS 上购买区域韧性,但第二个区域并非购买的充分证据。可用的产品是一条完整的恢复路径:已预配置、已授权、已可观测、已可路由,并在没有主控制平面的情况下经过演练。当全局控制或提供商内部仍汇聚于 US-East-1 时,AWS 必须要么移除该依赖,要么明确其安全的数据平面替代方案,要么清楚地说明限制。
云集中常被讨论为市场份额。更直接的集中是可执行的权威:一个计划、一个终端、一个元数据答案、一个健康解读或一个支持依赖,它们能使许多冗余系统表现一致。问责始于在下一次事件之前指明该权威,然后证明当其出错时仍存在一条独立的路径。

