概要

  • 確認された技術的要因:CrowdStrike の公開予備レビューによると、2024年7月19日の Rapid Response Content アップデートが、04:09～05:27 UTC の時間帯にオンラインだった Falcon センサーバージョン7.11以降を実行する Windows ホストに影響を与えた。CrowdStrike は、Mac および Linux ホストは影響を受けず、このイベントはサイバー攻撃ではなく、問題のあるアップデートは78分後にロールバックされたとしている。Microsoft は後に、850万台の Windows デバイスが影響を受けたと推定し、これは Windows マシンの1％未満であるが、影響を受けたデバイスが重要な企業運用内にあったため、その影響は過大であると強調した。
  • 確認されたデルタ航空への影響:デルタ航空の2024年9月の Form 10-Q によると、CrowdStrike が引き起こした停止により、5日間で約7,000便の欠航と約3億8,000万ドルの直接的な収益影響が発生した。デルタ航空の2024年 Form 10-K によると、この混乱は140万人の顧客に影響を与え、デルタ航空の情報技術システムに重大な影響を与えた。デルタ航空 CEO のエド・バスティアンは7月24日、月曜から火曜にかけて遅延と欠航が半減し、木曜日には通常の運航日になると予想されると顧客に伝えた。
  • 説明責任の所見:CrowdStrike は、Falcon に関するコンテンツリリースパス、検証、ロールバック、顧客修復ガイダンス、およびサプライヤー保証を管理していた。デルタ航空は、航空会社の復旧能力、大規模なエンドポイント復旧、乗務員と航空機の再配置、顧客コミュニケーション、払い戻し、および規制当局向けの証拠を管理していた。Microsoft は Windows エコシステムの一部を管理し、エンジニアリングサポートを提供したが、公開記録は Microsoft を欠陥のあるアップデートの原因とはしていない。
  • 訴訟の所見:デルタ航空はジョージア州裁判所で CrowdStrike を提訴し、CrowdStrike は連邦裁判所でデルタ航空を提訴した。後にジョージア州裁判所は、他の請求を却下しながら、いくつかのデルタ航空の請求を訴答段階で進めることを許可した。これらの記録は、申し立てと手続的裁定の証拠であり、CrowdStrike、デルタ航空、または Microsoft が損失の確定した法的分担を負うという最終的な判断ではない。

サプライヤーのアップデートが航空会社の復旧テストになった

2024年7月の CrowdStrike のイベントは、セキュリティ製品の技術的欠陥として始まったが、デルタ航空のケースは単なるベンダーの停止として理解することはできない。航空会社は一般のオフィス顧客ではない。無効になったエンドポイントは、ゲートワークステーション、乗務員ツール、手荷物インターフェース、ディスパッチ依存関係、カスタマーサービス端末、または航空機と乗務員を法的な順序に戻すために必要な記録を供給するシステムを意味する可能性がある。それらのエンドポイントが同時に十分に多く障害を起こすと、難しい問題は単に不良ファイルを削除することだけではない。それは国家的な輸送ネットワークを首尾一貫した状態に戻すことである。

CrowdStrike のインシデント後予備レビューは、影響を受けた範囲を狭く特定している。問題のある Rapid Response Content 設定アップデートは、2024年7月19日04:09 UTC にリリースされた。対象となるシステムは、07:27 UTC までの期間にオンラインだったセンサーバージョン7.11以降を実行する Windows ホストであり、その時点で欠陥はロールバックされた。Mac および Linux ホストは影響を受けなかった。CrowdStrike はこのイベントはサイバー攻撃ではないと述べた。

この枠組みは、3つの異なる質問を分離するため重要である。第一に、技術的欠陥を持ち込んだのは誰か？CrowdStrike の記録自体が、障害を Channel File 291とそのコンテンツ検証パスに関連付けている。第二に、影響を受けた各エンドポイントを復旧しなければならなかったのは誰か？影響を受けた Windows マシンを持つすべての顧客には、多くの場合手動または復旧ツールを介して行う作業があった。第三に、それらのエンドポイントに依存するビジネスプロセスを復旧しなければならなかったのは誰か？デルタ航空にとって、それはコンピューターを起動すること以上の意味があった。乗客、乗務員、航空機、ゲート、手荷物、顧客チャネル、および連邦の旅客権利義務を意味した。

Microsoft の公式ブログ投稿は、エコシステムの規模を示している。Microsoft は、欠陥のあるアップデートが850万台の Windows デバイスに影響を与えたと推定しており、これは全 Windows マシンの1%未満である。その割合は小さかったが、同社は広範な影響は、重要なサービスを実行する企業による CrowdStrike の使用を反映していると述べた。Microsoft はまた、数百人のエンジニアを配置し、CrowdStrike と協力し、他のクラウドプロバイダーと調整したと述べた。これらの声明は、停止がクロスエコシステムイベントであったという結論を支持するが、Microsoft 発の障害に変えるものではない。

デルタ航空の公開記録は、なぜ同航空会社が象徴的な復旧紛争になったかを示している。デルタ航空は2024年9月の Form 10-Qで、CrowdStrike が引き起こした停止により業務が大幅に混乱し、5日間で約7,000便の欠航に関連して約3億8,000万ドルの直接的な収益影響が発生したと述べた。また、2024年の Form 10-Kでは、この混乱が140万人の顧客に影響を与え、遅延と約7,000便の欠航を引き起こし、業績に悪影響を及ぼしたと述べた。

問題は、これらの結果が現実のものであるかどうかではない。それらは現実だった。問題は、マシンを無効にしたアップデートのセキュリティサプライヤー、回復が同業他社より長くかかった運航航空会社、修復対象となったオペレーティングシステムのエコシステム、そしてそれらの依存関係を選択しなかった乗客の間で、どのように説明責任を割り当てるべきかである。

技術的障害には限界があったが、復旧負担には限界がなかった

CrowdStrike の修復とガイダンスハブは後に、根本原因の記録と復旧状況を要約した。完全なChannel File 291根本原因分析 PDFによると、センサーは20の入力フィールドを期待していたが、アップデートは21を提供し、範囲外のメモリ読み取りとシステムクラッシュを引き起こした。CrowdStrike は、このバグは脅威アクターによって悪用可能ではなかったと述べた。同社は、入力フィールド数の検証、追加のコンテンツバリデーターチェック、追加のデプロイメント層と受け入れチェック、コンテンツインタープリターの境界チェック、Rapid Response Content デプロイメントに対する顧客コントロール、および第三者レビューを含む修正を説明した。

これらの詳細が重要なのは、リリース保証の失敗であり、敵対的な侵害ではないことを特定しているからである。CrowdStrike を通じて犯罪侵入者がデルタ航空に入ったという公開証拠はなく、デルタ航空が攻撃者によって標的にされたわけでもない。被害は、深いシステム到達範囲で動作する信頼された保護メカニズムから生じた。そのため、サプライヤー保証がこのケースの中心にある。エンドポイントセキュリティ製品は、まさにオペレーティングシステムの機密部分の近くで動作し、脅威に迅速に対応するために購入される。リスクは、ベンダーが攻撃者を見逃すことだけではない。それは、ベンダーの信頼されたアップデートパスが共通モードの可用性ハザードになることである。

しかし顧客にとって、ブルースクリーンの根本原因は運用上の問題の始まりにすぎない。修復には、セーフモードまたは回復環境への起動、影響を受けるファイルの削除、回復キーの取得、利用可能な場合の自動化の使用、暗号化されたディスクの処理、仮想マシンの復元、またはリモートで修復できないシステムへの物理的なアクセスが必要になる場合がある。ビジネスが地理的に分散していて時間に敏感であればあるほど、「アップデートがロールバックされた」と「運用が正常である」の違いは重要になる。

デルタ航空の運用は、空港、企業機能、カスタマーサービスチャネル、乗務員管理、手荷物、運用管理、およびパートナーインターフェースにわたる巨大なシステム群に依存していた。公開されている書類には、どのデルタ航空のシステムが障害を起こしたか、またはどの依存関係が継続的な欠航の主な原因であったかは正確に記載されていない。この省略は、単一の障害アプリケーションについて過度に確信を持った主張を防ぐべきである。しかし、コアな結論を妨げるべきではない。デルタ航空は、多くのエンドポイントと作業プロセスが同時に中断された後、複雑な運用再起動を実行しなければならなかったのである。

航空会社の復旧問題には、通常のオフィス復旧にはないステートフルネスがある。ラップトップが2時間遅れて復元された場合、ユーザーは追いつく。フライトが欠航になった場合、航空機、乗務員、乗客、手荷物、ゲートスロット、整備タイミング、および下流のローテーションがすべて見当違いになる可能性がある。乗務員は法的な勤務時間を超過する可能性がある。飛行機が間違った都市にある可能性がある。乗客が国際線の乗り継ぎを逃す可能性がある。カスタマーサービスキューが復元されたシステムが処理できるよりも速く成長する可能性がある。十分な状態が失われた場合、元のマシンを復元するだけでは不十分であり、ネットワークを再最適化する必要がある。

これがデルタ航空の説明責任が CrowdStrike のそれと異なる点である。CrowdStrike は欠陥のあるアップデートとサプライヤーレベルの修復プログラムを管理していた。デルタ航空は、エンドポイント資産の回復力、影響を受けるマシンを復元またはバイパスする能力、重要な運用を共通モードのエンドポイント障害から分離するアーキテクチャ、および乗務員と顧客回復のための予備力を管理していた。これらは同じ義務ではなく、一方が他方を打ち消すものではない。

デルタ航空自身の顧客メッセージが復旧の時計を示している

7月24日、デルタ航空 CEO のエド・バスティアンは、CrowdStrike の停止以来、デルタ航空のチームが休みなく働いているとする顧客向けアップデートを公開した。彼は、当初の安定化努力は困難で、遅く、複雑だったと述べた。遅延と欠航は月曜日と比較して火曜日に50%減少し、水曜日の欠航は最小限になると予想され、木曜日は伝統的な信頼性を持つ通常の日になると予想された。また、デルタ航空はバウチャーと払い戻しを通じて食事、ホテル宿泊、地上交通を提供し続け、影響を受けた顧客にはスカイマイルと旅行バウチャーを提供すると述べた。

このメッセージが有用なのは、回復が即時ではなかったことを認めているからである。それは段階的な回復を認めている。最初にシステムを安定化し、次に欠航を減らし、その後通常の信頼性に戻り、そして顧客ケアを継続する。また、運営上の混乱を乗客の権利と顧客信頼の問題に変える種類の救済策にも言及している。旅行者は「エンドポイント修復」を経験するのではない。旅行者は欠航便、ホテルの夜、仕事の損失、食費、不確かな手荷物、長い行列、または応答のない電話を経験する。

デルタ航空の提出書類の文言は後に、顧客メッセージに数字を付けた。2024年9月の10-Q の約7,000便の欠航と3億8,000万ドルの直接収益影響は、会社報告の財務および運用指標である。2024年10-K の140万人の影響を受けた顧客は、より広範な会社報告の影響声明である。これらは同一の指標ではない。顧客は遅延、欠航、再予約、乗り継ぎの失敗、またはサービスの中断によって影響を受ける可能性がある。欠航数は便数である。収益影響は財務見積もりである。3つすべてを互換性があるものとして扱うと、証拠が曖昧になる。

復旧の時計は、デルタ航空を他の航空会社と比較する上でも重要である。ニュース報道では、複数の航空会社が同じグローバルな技術イベントからより早く回復したと報じられた。この比較は運用上の回復力に関連するが、それ自体で過失を証明したり、デルタ航空のシステムと乗務員の流れが異なる挙動を示した理由を説明したりするものではない。デルタ航空のネットワーク、ハブ構造、影響を受けたシステム、乗務員の所在地、および修復のシーケンスが回復を困難にした可能性がある。これらの可能性は証拠を求める理由であり、違いを無視する理由ではない。

デルタ航空の負担は、航空の回復が安全規則と労働規則によって制約されているため、特に深刻だった。乗務員は無期限に割り当てることはできない。航空機は整備、運航管理、および運航規律なしでは飛行できない。乗客の再予約は、空席、利用可能な乗務員、運航中の航空機、および空港容量に依存する。そのため、乗務員追跡またはスケジューリングプロセスが低下すると、多くのマシンが修復された後でもイベントが延長される可能性がある。

そのため、説明責任のある運用指標は、「欠陥のあるファイルがエンドポイントからどれだけ早く削除されたか？」ではない。「システムショックの後、デルタ航空はどれだけ早く合法的で安全かつ旅客サービス可能な運用を再構築できたか？」である。エンドポイントの復旧は必要である。それだけでは十分ではない。

...（翻訳は続く）