要約

  • Google Cloudは、8月20日のus-west1サービス障害について、オレゴン州The Dalles都市圏での計画的な光回線メンテナンスが想定外の混雑を招いたと説明した。公式記録は27製品を対象としている。
  • Googleは可能な場合に別リージョンへ切り替えるよう案内した。その実効性は、最新のデータ複製、トラフィック制御、認証情報、外部依存関係、切り替え権限が事前に揃っているかで決まる。

作業予定が存在したことと、作業中の安全余力が十分だったことは別である。今回、予定されていた光回線メンテナンスがus-west1の利用可能容量を圧迫し、想定外の混雑につながったというのがGoogleの説明だ。

記録上の開始は8月20日15時40分UTC。最初の公表は16時44分37秒で、開始から1時間以上後だった。そこでは複数製品のタイムアウト、性能低下、エラー、遅延上昇が示された。17時13分59秒と17時32分15秒には、可能な顧客に他リージョンへの切り替えを勧めている。

最終更新によると、技術者が容量を回復させ、基礎となる問題は17時22分UTCに緩和された。ただし、その説明が掲載されたのは19時37分40秒である。途中の更新では緩和措置の完了後も、個々の製品が回復を続けていた。インシデント記録の終了時刻は19時20分だ。

これらは異なる時計を表す。15時40分は記録上の発生、17時22分はGoogleが後から示した問題緩和、19時20分は記録の終了、19時37分40秒は最終説明の公表である。特定のアプリケーションがいつ健全になったかは、どの時刻だけでも証明できない。

重大度は高、影響区分はSERVICE_OUTAGE。列挙された27製品は、計算、ストレージ、データベース、データ処理、ビルド、監視、ID、メッセージングにまたがる。Compute Engine、GKE、Cloud Run、Cloud Storage、Cloud SQL、BigQuery、Pub/Sub、Cloud Monitoring、IAM、Persistent Diskなどが含まれる。

この広がりは共有されるリージョン依存性を示すが、27製品が全顧客に対して同じ形で全面停止したことを意味しない。製品別の影響率、失敗リクエスト数、顧客やプロジェクトの母数、ゾーン別内訳、遅延分布は公開されていない。

初期更新にはオレゴン州と併記してGlobalという影響地域の印もあった。しかし本文は顧客症状を一貫してus-west1に置く。この印は製品範囲やステータス分類を指す可能性があり、Google Cloud全体の世界的停止を裏付けない。

Googleのアーキテクチャ資料は、クラウド製品がネットワーク、データセンターへのアクセス、ID認可などの共通機能に依存すると説明する。リージョン間複製やフェイルオーバーも物理ネットワークに依存する。光回線容量を戻せば共通制約は解消できても、各マネージドサービスの回復は個別に進む。

顧客にとって「可能なら切り替える」は条件付きの指示だ。第2リージョンが既に存在し、データ鮮度が復旧時点目標を満たし、DNSやロードバランサー、キュー、認証、外部依存関係、意思決定経路が障害中にも機能しなければならない。

Googleの信頼性指針は、リージョン・フェイルオーバー、ロールバック、データ復元を試験し、トラフィック移動と複製データを検証するよう求める。設計図や未使用の待機環境だけでは、復旧時間目標の実績にならない。

公開記録は、光回線、通信事業者、トポロジー、取り外された容量、混雑しきい値、具体的な作業を特定していない。データ消失、光ファイバー切断、セキュリティ事象、特定顧客の切り替え失敗も立証していない。Googleは後日の分析を予告したが、取得した記録にはまだない。

確認できる結論は限定的だ。Googleによれば、計画作業が利用可能なネットワーク容量を減らし、リージョンの混雑を生み、そこから多数の製品が段階的に回復した。事業者容量、製品の健全性、顧客アプリケーションの状態は別々に観測すべきである。

情報源