要約

  • FCCの最終報告書によると、プロビジョニング記録にComtechの正しいIPアドレスが含まれていなかった。別の変更がその記録をSession Border Controllerの稼働中ホワイトリストへ反映した [1]。
  • 対象接続はインフラ資産ではなく顧客資産に分類されていた。そのため、重要インフラに適用される厳格な試験やオフピークの作業時間帯を経ずに変更が実施された [1]。
  • エラーが設定閾値を超えると、Proxy Location Routing Functionは2社のルーティング情報事業者が共有するリンクをリセットした。復旧動作が正常側の経路まで停止させた [1]。
  • AT&Tは、約12,600人の重複しない発信者が911へ直接到達できなかったと報告した。手動の緊急中継センターは全国規模のオーバーフロー向けではなく、追加通話の圧倒的多数を処理できなかった [1]。
  • AT&Tはその後、資産の再分類、アラームの同時配信、論理経路の分離、VoLTEから3Gへの手動切替を報告した。これは記録された是正策であり、その後の全運用を自動的に保証するものではない [1]。

事故の境界を混同しない

本稿が扱うのは、2017年3月8日に発生したAT&T Mobilityの全国的なVoLTE 911障害である。2023年8月22日の地域的な911障害でも、2024年2月22日の全国的な無線障害でもない。後年の2件には別の日時、技術機構、規制記録がある。これらを混ぜれば、一方の制御不備や影響を別の事故に誤って帰属させることになる。

主要な事実記録はFCC最終報告書である [1]。同書は、全米のAT&T Mobility VoLTE利用者のほぼ全員が5時間にわたって911サービスを失ったと記載する。AT&Tは、911への接続を試みながら従来の911網を通じて緊急サービスに到達できなかった重複しない利用者を約12,600人と算定した。この数値は規制記録内のAT&Tによる算定として扱う必要がある。未記録の試行回数、個々の医療結果、金銭的損失を示すものではない。

一部の通話は旧世代ネットワークを利用し、一部はバックアップセンターへ到達した。また、影響が確認されなかった自治体もあった。責任ある説明はこの不確実性を残す。FCCの公示はPS Docket 17-68を開設し、全国的なVoLTE 911障害として記録した [2]。予備報告書は初期の規模評価を示し [3]、NENAとAPCOの記録は公共安全機関側の運用文脈を補う [4][5]。

本来の緊急通報経路

FCCが説明した経路は複数段階からなる。利用者がVoLTE網で911を発信し、近隣のLTE基地局に接続する。AT&Tの緊急通報網はデータをComtechまたはWestのどちらかへ送る。選ばれた事業者は位置情報に基づいて適切なPublic Safety Answering Pointを特定し、ルーティング情報を追加してAT&Tへ返す。AT&Tは該当PSAPを収容する地域交換事業者を通じて通話を引き渡す [1]。

重要な制御要素は2つあった。Proxy Location Routing Function、PLRFは発信者のセルセクター情報に基づいて事業者を選択した。Session Border Controller、SBCはAT&Tと外部事業者の境界を制御した。補足された通話データが戻ると、SBCは送信元IPアドレスが承認済みホワイトリストに含まれるかを検査した。

稼働中のホワイトリストはセキュリティ制御である。一方、プロビジョニングシステムは承認済みアドレスの記録を保持した。記録と稼働構成は関連するが、同じ状態ではない。前者は承認された意図を表し、後者は実際のトラフィックを通すか決める。入力記録が不完全なら、正式に承認された手続でも誤った結果を配備し得る。

3月8日以前から、記録にはComtechの正しいアドレスが欠けていた。ただし、その誤記録がまだ稼働構成へ反映されていなかったため通信は続いていた。911とは別のプロジェクトが変更を開始し、記録をSBCへ反映した。その結果、Comtechから戻るデータは信頼集合と一致せず、PSAP選択に必要な情報が拒否された [1]。

この連鎖では4つの制御を分ける必要がある。データ品質は登録された事業者アドレスの正しさを問う。照合は記録と動作中構成の一致を問う。変更受入れは提案差分への審査を問う。配備後検証は各事業者経由で完全な緊急通報トランザクションが成立するかを問う。ハッシュは配備したバイト列を証明できても、必要な識別子が全て含まれることまでは証明しない。装置のコミット成功もサービスの完了を証明しない。

資産分類が制御水準を下げた

SBCからルーティング事業者への接続は、インフラ資産ではなく顧客資産としてタグ付けされていた。AT&Tのインフラ資産には、より厳格な障害試験とオフピークの保守時間帯が適用されていた。顧客資産という分類により、911トラフィックが多い時間帯でも、強化された制御なしで変更できた [1]。

これは単なる名称の誤りではない。分類は実行される方針を選んだ。誰が審査し、いつ変更でき、どの負の試験が必要かを決めていた。外部事業者へ向かう接続でも、その喪失が全国の緊急通報ルーティングに影響するなら重要共有インフラである。組織上の所属より、失敗時の結果と共有障害領域を優先すべきだ。

FCCは、より慎重な試験なら誤ったIP割当を発見した可能性が高いと述べた。「可能性が高い」という境界は重要である。単一の試験が全てのずれを必ず検出するわけではない。静的比較、未承認アドレスの拒否確認、各事業者への正方向トランザクション、片側障害時に他方が残る分離試験を組み合わせる必要がある。

2社を結び付けた復旧動作

Comtechの戻りデータが拒否されると、SBCとPLRF間でエラーが発生した。密度が設定値を超えると、PLRFはリンクをソフトリセットした。ComtechとWestのトラフィックが同じ接続を使っていたため、この反応は健全なWest側にも影響した。リンク復旧後はWest経由の処理が戻り得たが、未解決のホワイトリスト不一致が再びエラーを蓄積すると、さらに中断した [1]。

アーキテクチャには2社の事業者と地理的に分散した施設があった。しかし共通の制御動作が両者を一つの障害領域へ結び付けた。事業者数を数えるだけでは冗長性の証明にならない。事業者Aを失ってもBが完全なトランザクションを維持し、自動復旧が障害範囲を広げないことが必要である。

構成図は別々の箱を描けても、共有閾値やリセット領域を省略できる。実際の関係は設定、動作コード、状態遷移で決まる。現実的な故障を注入したときに第2経路で合成トランザクションが継続して初めて、経路多様性は監査可能な主張になる。

手動フォールバックの容量不足

AT&Tが適切なPSAP情報を得られない場合、通話はEmergency Call Relay Centerへ送られた。担当者が発信者に位置を尋ね、手動で適切なPSAPへつなぐ仕組みである。FCCによれば、このセンターは通常ルーティングできない少数通話向けであり、全国規模の障害を想定していなかった。追加負荷を処理できず、圧倒的多数の通話が失われた [1]。

継続性の根拠として使うなら、フォールバックは一次サービス設計の一部である。吸収できる障害集合、起動時間、保持できるデータ、容量超過時の挙動を明示しなければならない。無制限の予備を求めるのではない。試験済みの容量境界と、局所的なルーティング障害を即座に全国的なオーバーフローへ広げない別の分離策が必要である。

FCCは、速い話中音、呼出しが続く状態、無音を記録している。フロリダ州Orange Countyの例を挙げる一方、公的な苦情がなかった地域も示した。この差を全国一律の結果に置き換えるべきではない。それでも、数千件の緊急通報が通常経路を完了せず、代替能力が実際の規模を覆えなかったことは明確である。

早い検知と遅い診断

FCCの時系列では、開始から数分で重大アラームチケットが生成された。911チームは16分後に受領した。その後、911、VoLTE、広域サービス、バックボーンの各チームを順に経て、最後にIPチームが関与した。開始からほぼ5時間後、IPチームが障害時刻とネットワーク変更を結び付けてロールバックを要請し、3分後にサービスが復旧した [1]。

アラームは正しい仮説を検証できる人へ届いて初めて価値がある。複数領域を横断する事故には、並列の通知、共通の変更時系列、稼働状態へのアクセス、明確なロールバック権限が必要だ。直列エスカレーションは限定的な障害では有効でも、どのチームも全体像を持たない状況では遅延になる。

PSAPへの通知も遅く、内容が不十分な場合があった。運用通知は機密のIPアドレスや詳細なトポロジーを出さなくてもよいが、影響サービス、既知の地域、開始時刻、確度、代替手段、次回更新時刻を含められる。これらがなければ、自治体は代替番号と影響範囲を正確に伝えられない。

AT&Tが報告した是正

FCC記録には4つの主要な対応がある [1]。AT&Tは911ルーティング事業者への接続をインフラ資産へ再分類した。911、VoLTE、IPの各チームへ関連エラーを同時配信するようアラームを変更した。SBCとPLRF間の論理リンクを分離し、FCCはこの分離が当時存在すればWest側処理は中断しなかったと説明した。さらに、VoLTE 911障害時にVoLTEを停止し、911通話を3Gへ戻す手動手順を導入した。

これらは観察された故障連鎖と対応する。ただし、文書上の是正だけで将来の動作は保証できない。永続的な証拠には、正確な構成識別子、経路別試験、分離演習、アラーム配信記録、フォールバック起動、後続の運用履歴が必要である。安全な再現試験では、候補ホワイトリストから事業者アドレスを一つ除き、変更が拒否または限定され、他方の合成トランザクションが続くことを確認できる。

台帳は必要だが、判定するのは稼働ネットワーク

プロビジョニングシステムは、承認済みの識別子とアドレスを保持する台帳だった。この役割はセキュリティと自動化に不可欠である。しかし承認されたシステム内にあるだけで、記録が運用上の真実になるわけではない。稼働ホワイトリストへ移された時に初めて影響を持ち、その正しさは実際の事業者アドレスと成功した緊急通報でしか判断できなかった。

ここにHeng.luの論点がある。セキュリティメタデータ、ネットワーク識別子、変更履歴は継続性を支える台帳だが、稼働するネットワークに代わる主権ではない。配備の許可は現実との一致を証明しない。分類ラベルは障害結果を変えない。設計上の第2事業者は分離された第2経路の証明ではない。

同じ変更時間帯について、承認済み識別子、記録、候補と稼働構成のハッシュ、経路別トランザクション、アラーム、ロールバック、サービス結果を結び付ける必要がある。差異があれば、公衆の通話が新状態へ依存する前に変更を止めるか、明示的なインシデントとして扱うべきである。

保持期間も制御である。AT&Tのプロビジョニングログは90日間で、誤った記録がいつ、なぜ作られたかを特定できなかった [1]。重要資産の証拠は、通常の保存費用だけでなく、潜在的なずれが発見されるまでの期間に合わせて保持しなければならない。

責任の境界

AT&Tは記録、稼働ホワイトリスト、資産分類、SBCとPLRF、アラーム配信、事業者側フォールバックを管理していた。ComtechとWestはルーティング情報を提供した。PSAPは地域の対応と代替連絡手段を管理した。FCCは境界をまたぐ記録を統合した。

共同運用は管理責任を消さない。FCCの再構成では、不正確なホワイトリストと共有リセットはAT&T網内にあった。同時に、事業者と公共安全機関は影響を抑えるために迅速で具体的な情報を必要とした。責任は起点となった制御だけでなく、他者が役割を果たすためのインターフェースにも及ぶ。

結論は明確である。重要記録は稼働構成と成功トランザクションに一致して初めて信頼できる。2社の事業者は片方を失っても他方が動作して初めて独立している。フォールバックは試験された容量内でのみ保護になる。高速なロールバックも、正しい証拠を持つチームが責任ある変更を時間内に特定できてこそ意味を持つ。

情報源

  1. https://docs.fcc.gov/public/attachments/DOC-351492A1.pdf
  2. https://docs.fcc.gov/public/attachments/DA-17-277A1_Rcd.pdf
  3. https://docs.fcc.gov/public/attachments/DOC-344049A1.pdf
  4. https://www.nena.org/news/334578/NENA-Statement-on-March-8-9-1-1-Outage.htm
  5. https://ecfsapi.fcc.gov/file/10410294707272/APCO%20Apr2017%20ex%20parte%20-%20ATT%20Mobility%20Outages%20v2.pdf
  6. https://about.att.com/content/dam/snrdocs/Tips%20for%20Customers%20for%20911.pdf