摘要

  • Cloudflare 称，2023 年 11 月 2 日起，控制平面和分析服务出现中断，而主要 edge 流量继续运行 [1]。
  • 公开触发点是 PDX-04 的电力故障链条；该俄勒冈数据中心承载了关键控制平面依赖 [1][3]。
  • 事故暴露了 Kafka、ClickHouse、身份、内部工具以及恢复系统中的依赖 [1]。
  • 2024 年同一设施再次发生重大电力故障，Cloudflare 的 Code Orange 准备得到实战检验，控制平面影响较小 [2]。
  • 可信闭环必须证明配置、分析、身份、内部工具和客户可见控制动作能经受完整站点失效。

发生了什么

Cloudflare 把事故开始时间定为 11 月 2 日 11:43 UTC，受影响层是控制平面和分析服务 [1]。这意味着客户可能无法顺利修改规则、查看指标或使用管理功能，即使不需要新控制决策的分布式流量仍能继续。

物理起点是 PDX-04。Cloudflare 说明，Portland General Electric 的一次非计划维护影响了进入建筑的一路独立供电，随后出现电池耗尽、发电机重启困难、建筑访问、断路器更换和服务器分阶段恢复等问题 [1]。Baxtel 也将服务扰动与俄勒冈 Hillsboro 的 Flexential 数据中心电力故障联系起来，并引用 Cloudflare 对供电事件的说明 [3]。

这说明云服务不是完全抽象的。已经配置好的流量可能继续，但客户最需要变更或确认状态时，控制层可能不可用。若该层以隐藏方式依赖单一设施，客户连续性就被绑定到一个物理和组织恢复链条。

隐藏依赖不是单台机器

Cloudflare 的复盘不是单服务器故障报告。它涉及控制平面和分析组件、Kafka、ClickHouse、身份与授权、内部工具，以及重启或重建服务所需的系统 [1]。有些依赖已知，有些只有在整座设施失效时才变得清晰。

这属于网络基础设施问责。控制平面是运营权力表面：变更在这里成为运行配置，告警在这里变成操作，客户在这里理解服务是否健康。如果该表面依赖未经全站失效测试的地点，公共风险不只是停机，而是失去可见性和变更能力。

Cloudflare 同时区分了保持运行的部分和失败的部分。许多 edge 流量继续服务 [1]。这不等于事故轻微，而是说明韧性必须按层度量。数据平面绿色不能证明控制平面可恢复。

灾备必须由运行系统证明

Cloudflare 表示已有灾备计划，但事件显示某些服务尚未准备好应对设施完全丢失，部分流程也没有在正确条件下测试 [1]。纸面计划可以写备用地点；真正证明恢复的是复制、队列、身份、仪表盘和内部工具在故障条件下运行。

恢复还要承受需求冲击。服务返回时，用户和内部系统会大量重试。复盘提到类似“羊群效应”的重连压力；如果控制平面无法吸收积压，恢复本身可能变成第二次事故 [1]。

2024 年后续报告提供了有价值的对照。同一设施四个月后再次发生重大电力故障，Cloudflare 启动 Code Orange，并称此前改动降低了影响 [2]。这不证明所有依赖都已解决，但它展示了正确证据模式：相似事件、新准备、不同结果。

物理归属仍然重要

云控制平面看似软件化，但这次事故包括供电、发电机、电池、访问权限、现场操作和服务器启动顺序 [1][3]。这些细节位于 API 之下，却决定客户看到的结果。

依赖第三方数据中心并非自动失败。问责问题是运营商能证明什么：谁能启动替代方案，哪些客户功能仍可用，哪些降级是有意的，以及哪些记录显示该场景已经演练。

Baxtel 补充了数据中心运营商背景，并记录 Flexential 对电网场景的公开回应 [3]。这不能被夸大为完整根因裁决，但说明恢复链条跨越组织边界，而这正是问责证据容易变薄的地方。

Heng.lu 表面：运营连续性

Heng.lu 表面是运营商连续性和托管/网络身份。目录或状态页可以说明谁是运营商、哪个站点相关；它们不能证明配置、分析、身份和工具能在建筑失效时存活。现实层是运行恢复证据。

因此文章不应陷入简单归咎。关键是哪个依赖位于关键路径，Cloudflare 事前是否知道，以及现在有什么演练证明同一依赖不会再次夺走控制权。

接下来观察什么

第一，看 Cloudflare 是否持续把 edge 流量健康与控制平面、分析健康分开报告。若客户无法修改或观察配置，一个全局绿色状态并不充分。

第二，看 Code Orange 是否成为可重复证据模式：完整站点失效、故障切换测试、积压测量、身份可用、客户动作成功，并与前次事故对比。持久教训是：传输流量还不够。关键建筑失效时，运营商仍必须看见、修改、重启并解释服务。

来源

  1. https://blog.cloudflare.com/post-mortem-on-cloudflare-control-plane-and-analytics-outage/
  2. https://blog.cloudflare.com/major-data-center-power-failure-again-cloudflare-code-orange-tested/
  3. https://baxtel.com/news/cloudflare-blames-flexential-dc-outage-for-its-service-disruption