要約

  • Azureによると、OS更新の一時的な制限が期限を迎え、多数のゲートウェイ更新が短期間に再開した。それ以前に展開された別の変更も、構成処理に必要な時間を延ばしていた。
  • その負荷は複数リージョンのネットワークサービス管理操作に影響した。一部のExpressRouteゲートウェイでは、構成と経路が完全に戻る前に、冗長な次のインスタンスの更新へ進んだ。

クラウド障害の最も簡単な説明は「更新が停止を起こした」だ。しかし、9月30日から10月1日にかけての事案について、Azureが公表した検証はもっと重要な相互作用を描く。ある一時的な制限により、一群のゲートウェイでOS更新が保留されていた。制限の期限後、多数の更新が短い時間に再開した。一方、すでに展開されていた別の変更によって、共有されたリージョンのネットワーク・コントロールプレーンが構成操作を処理する時間が長くなっていた。要求は増え、各要求の完了も遅くなった。

これは、単一の不良更新だけを原因とする説明とは異なる。Microsoftの説明では、再起動と構成取得の要求急増が、処理の遅いサービスと重なり、既存のスロットリングと負荷保護でも重要な処理を守り切れなかった。更新はリージョンごとに進んだため、影響時刻も地域で異なる。AzureはExpressRoute Gateway、Application Gateway、Azure Firewall、Bastion、Virtual WAN、VPN Gatewayなどを挙げ、南北アメリカ、欧州、アジア太平洋、アフリカ、中東の複数リージョンに影響があったとする。公開資料に顧客別の影響一覧はない。

管理操作の障害が一部の接続断にもなった

影響の多くは管理操作に関するものだった。しかし一部のExpressRouteゲートウェイでは、接続済みのオンプレミス網との通信が一時的に失われた。Azureによれば、更新で再起動したインスタンスは、構成とルーティング状態が完全に戻る前に正常と判定されることがあった。その結果、更新は次の冗長インスタンスに進んだ。両方のインスタンスが必要な経路情報を取得できないと、接続が途切れる。

構成取得を約30分間試みた後、影響を受けたゲートウェイはローカルに保存された最後の正常構成を適用した。この約30分はMicrosoftが示した取得再試行の時間であり、すべての顧客の停止時間ではない。全体の事案は9月30日20:30 UTCに始まり、最後の影響は10月1日02:15 UTCに緩和された。Azureは、全体時間が各顧客やリソースの影響時間を示すものではないと明記している。

時系列からは、容量追加だけでは収束しなかった理由も見える。ExpressRouteの劣化は20:43に検知され、より広いコントロールプレーンの劣化は20:58に検知された。21:45に追加更新を止め、トラフィックを移したことで一時的な緩和は得られたが、根本解決にはならなかった。23:55に構成処理の遅延が性能劣化変更と結び付けられ、10月1日01:15に一つのリージョンでロールバックを開始して結果を確認した後、他のリージョンへ広げた。完了した02:15に顧客影響も終わった。

メンテナンス時間は、保留分の再開設計ではない

Azureの説明では、ゲートウェイの定期更新にはソフトウェアのパッチ、ネットワーク部品の更新、ハードウェアの廃止が含まれる。顧客が一部のゲートウェイのメンテナンス時間を指定できても、設定できるのは時刻であり、停止後に遅延した更新をどう捌くかではない。Microsoftの事後検証は、停止更新の段階的再開、構成と経路の復元を確かめてから冗長インスタンスを更新する健全性チェック、スケール上の制約への対応、スロットリングと負荷遮断の改善を掲げている。これは公表された施策と見積もりであり、すべてが完了したという独立検証ではない。

Microsoftの安全なデプロイ指針は、段階的な展開、各段階のヘルスチェック、問題検知時の停止を勧めている。今回の運用上の問いはより具体的だ。「正常」とはプロセスが再起動したことか、それともサービスに必要な構成と経路が取得・確認されたことか。二台目のインスタンスが同じ未復旧のコントロールプレーンに依存していれば、冗長化だけでは守れない。

Microsoftは、この特定のサービス障害について顧客側で予防または影響軽減を行う方法はなかったとしている。それでも顧客は、各ワークロードが依存するゲートウェイを整理し、自身のデータ経路と管理操作を別に観測し、Service Health通知を設定できる。これらは検知と対応を改善するが、プロバイダーの復旧計画を顧客が制御できる保証に変えるものではない。

出典：Azure事後検証 7Q30-010；ExpressRoute仮想ネットワークゲートウェイ；顧客管理のゲートウェイ保守；安全なデプロイの実践。編集上の視点のみ：Heng Lu Note 20。