摘要
- Google Cloud 网络配置更新导致悉尼、墨尔本和法兰克福的 VMware Engine 延伸集群（stretched clusters）中断近 12 小时
- 计算和存储服务依然可用，但集群区域与见证（witness）之间的通信故障导致部分虚拟机被隔离
事件经过
7 月 14 日，一次 Google Cloud 网络配置更新导致悉尼、墨尔本 and 法兰克福的 VMware Engine 延伸集群中断。该事件持续了 11 小时 46 分钟。Google 通过将配置回滚到最后一个已知良好值恢复了服务。
Google 表示，计算和存储似乎依然可用，但集群区域之间的连接失败。受影响的区域还失去了与见证设备（witness appliance）的连接，从而无法让集群安全地同步状态。部分虚拟机被隔离，并面临无法写入数据的风险。Google 建议客户在将受影响的工作负载转移到集群的健康侧之前咨询技术支持。
分析评估
该事件影响了使用延伸集群来维持跨区域可用性的客户。虽然计算和存储继续运行，但协调集群所需的网络 and 见证连接发生了故障。对于企业的云团队和业务连续性团队而言，这意味着虽然工作负载仍可保持活跃，但负责保持两侧同步的系统已无法正常工作。
VMware Engine 延伸集群将数据节点放置在两个区域，并在第三个区域使用一个见证设备。一旦它们之间的连接断开，部分虚拟机就会被隔离，并面临失去可写数据访问权限的风险。Google 建议在可能的情况下将受影响的工作负载转移到健康的一侧，但同时也敦促客户咨询技术支持，因为存在故障转移（failover）失败的风险，且次要区域的状态存在不确定性。因此，恢复既取决于集群的设计，也取决于 Google 的运营响应。
对于 BTW 的读者而言，跨区域分布工作负载并不意味着服务的每个部分都是独立的。客户仍然依赖提供商的网络和见证服务来使这些区域作为一个整体集群运行。业务连续性计划必须涵盖这种通信路径丢失的情况，包括如何迁移工作负载以及何时需要提供商的支持。
后续关注
关注 Google 关于根本原因的最终报告、其网络更新控制措施的变化，以及针对影响跨区域连接或见证连接的故障而修订的任何恢复指南。