OVHcloud の火災が示したデータローカリティは災害分離ではない

概要

2021年3月10日0時35分、OVHcloud のストラスブールサイトで火災警報が作動した。火災は SBG2 の1階のエネルギー室で発生し、その建物を全焼、SBG1 の12部屋のうち4部屋を損傷させ、キャンパス全体の電源を強制的に遮断した。SBG3 と SBG4 は最初の火災で焼失しなかったが、電気的隔離、安全点検、清掃、段階的再起動が必要だったため、そこのサービスは利用できなかった。死者・負傷者はなかった。
フランスの産業安全調査では、UPS とその関連鉛電池で観測されたほぼ同時の電気的故障の正確な原因は特定されなかった。しかし、延焼と対応の要因は確認された。ストラスブールの5棟の建物のいずれにも自動消火システムがなかったこと、SBG2 の開放的な冷却設計による煙の急速な拡散、限られた消火用水容量、サイト全体での困難な電気遮断である。作動した検知システム、夜間スタッフ、SBG3 を保護する耐火隔壁、そして大容量の仏独消防船の到着により、より深刻な結果は限定された。
可用性の喪失と永久的なデータ損失は異なる結果であった。OVHcloud は約65,000の顧客と120,000のサービスに影響が出たと報告した一方、Netcraft は約464,000ドメインにわたる約360万のウェブサイトがオフラインになったと観測した。OVHcloud は、データを失った顧客の多くがオプションのバックアップを選択していなかったと述べた。しかし、それで説明責任の問題が終わるわけではない。OVHcloud 自身の登録文書によれば、提供されるバックアップは同一または別のデータセンターに保存される可能性があり、後の控訴審判決は、有料の自動バックアップが本番環境と同じ建物で破壊された顧客に関するものだった。
この事件は、クラウド調達におけるカテゴリエラーを露呈した。データ主権、法的管轄権、レイテンシ、可用性、バックアップ、災害復旧は関連しているが、互換性はない。フランスや欧州連合にデータを保存することで、所在地に関するポリシーを満たすことができる一方で、本番用コピーと復旧用コピーが一つの物理的危険を共有する可能性がある。逆に、地理的に離れたコピーであっても、同じ法的領域内、同じ欧州の管理下に留まることができる。
OVHcloud は、より広範な自動消火、より強固な区画化、独立したエネルギー室、遠隔電気遮断、サイト監査、消防との連携、新しいマルチゾーンおよび遠隔バックアップオプションを含む、大規模な火災後の変更を開示した。しかし、説明責任を果たすには、サービスおよびサイト固有の証拠が必要である。制御の完了範囲、独立した検査、現実的な火災および電力遮断訓練、宣言されたバックアップ場所、成功した復元テスト、そして顧客の復旧が被災地域や同一のコントロールプレーンに依存しないことの証明である。

物理的な火災がクラウドの説明責任イベントに

「クラウド上のデータ」というフレーズは抽象化を促進する。これは、エンジニアがコンピューティング容量への標準的なインターフェースを求めるときには有用であるが、意思決定者が場所、電力、火災を他人事のように扱い始めると危険である。すべての仮想サーバーは部屋の中にある。すべてのストレージレプリカは電気および冷却システムに接続された機器を占有する。すべての復旧ワークフローは、人、ネットワーク、認証情報、カタログ、そして代替容量を調達できる場所に依存する。

ストラスブールは、その物理的な連鎖を可視化した。2021年3月10日の早朝、火災は OVHcloud のポール・デュ・ランキャンパスにある SBG2 を破壊した。SBG1 は部分的に破壊された。サイトの他の2つのデータセンターは、最初の会社のアップデートでは損傷していないと説明されたが、シャットダウンされた。したがって、損失は少なくとも3つの異なるメカニズムを経て広がった。機器が物理的に破壊され、隣接する建物の機器が熱、煙、水、または不確実性にさらされ、健全な機器はサイトが電気的に隔離され安全が確保されなければならなかったために利用できなくなった。

これらのメカニズムは、異なる制御に対応するため重要である。自動消火と区画化は火災を封じ込めることができる。独立した電源ゾーンは消防士が遮断を必要とするエリアを減らすことができる。マルチサイトアプリケーションは、1つのサイトが利用できなくなっても継続できる。遠隔で検証されたバックアップは、データが破壊された後の再構築を支援する。ステータスページは、顧客にこれらのオプションを案内することができる。これらすべてを「冗長性」と呼ぶことは、各層を誰が制御し、どのような事象に耐えられるかを隠してしまう。

最も信頼できる公開復元は、フランスの産業リスク調査分析局（Bureau d'enquetes et d'analyses sur les risques industriels、BEA-RI）の2022年5月調査報告書である。その任務は予防であり、民事または刑事責任の配分ではなかった。この境界は重要である。報告書は観察、考えられる原因、寄与要因、安全勧告を確立することができる。特定されたすべての弱点が過失であったこと、またはある弱点が特定の顧客の損失を法的に引き起こしたことを裁判所の認定に変換することはできない。

説明責任分析は、関連するがより広い問いを投げかける。どの主体が、夜間の機器イベントが複数棟の停止、長期化した復旧、不可逆的な顧客損失に発展することを可能にした条件に対して権限を持っていたのか？OVH はサイトの設計と運用、提供する製品、その説明の正確性、および対応を管理していた。顧客はワークロードの分類、アーキテクチャ、多くのサービスの選択、および独立したコピーを管理していた。規制当局と専門機関は最低限の枠組みの一部を管理していた。これらの役割のいずれも他を消し去るものではない。

証拠が明らかにすることと、そうでないこと

BEA-RI 報告書は、最初の警報を0時35分としている。警備員が0時37分に SBG2 のエネルギー室に到着し、濃い黒煙を発見した。建物は0時39分に避難され、バ＝ラン消防救助サービスは0時42分に通報され、最初の隊員は0時59分に到着した。OVH の公開インシデントページは、火災発生時刻として0時47分を使用していた。この違いは、1つのタイムスタンプに強制的に統合するのではなく、維持されるべきである。安全調査は警報と運用記録にアクセスできたが、会社のページは公開インシデントマーカーを提供していた。

SBG2 への非常用電源は1時13分に遮断され、SBG1、SBG3、SBG4 は1時28分に遮断された。消防隊は電気アークを確認しており、リスクが制御されるまで主要な放水を延期した。1時42分までに火災は1階に広がった。2時頃、消防士は SBG2 の全域に火災が及んでいることを報告した。大容量消防船 EUROPA は3時頃に到着し、隣接する水路から取水した。火災は10時2分に鎮火され、介入は18時13分に完了とみなされた。

調査は、火災の発生源をバッテリーと無停電電源装置（UPS）機器を収容する部屋に特定した。ビデオと監視記録は、UPS ユニット ASI2 とその関連バッテリーでほぼ同時の電気的故障を示しており、これらは別々の部屋にあった。当日の朝に UPS のメンテナンスが行われ、その日の遅くに異常な湿度測定値があった。調査官は、湿気、メンテナンス関連の誤動作、または想定外の条件下での運用を含むいくつかの仮説を挙げた。彼らは、正確な原因を特定するには証拠が不十分であると明言した。

この抑制は、冷却システムの漏れや最近修理された UPS が火災を「引き起こした」と言う再話でしばしば失われている。フランスの ARIA 事故記録は、プラント室の状況と対応に関する有用な裏付けとなるが、可能性のあるメカニズムを証明された根本原因に変えるものではない。信頼できる説明は、初期の電気的事象と発生エリアが既知であること、それらの事象が発生した理由は公表された BEA-RI 報告書では未解決であることを述べるべきである。

この区別は制御分析を妨げない。組織は、どのコンポーネントが次に故障するかを知らなくても、機器の故障に備えなければならない。防火はその不確実性を前提に設計される。説明責任の問いは、OVH が特定の電気的シーケンスを予測すべきだったかどうかだけではない。検知、自動制御、区画化、水、電気遮断、建物設計、緊急手順が、何かが発火した後に人と隣接サービスに十分な独立した保護を提供したかどうかである。

以降のセクションも同様に翻訳されます。この翻訳は、原文の内容を日本語で正確に伝えることを目的としています。