Cloudflare、2019年6月のルートリーク、そしてネットワークエッジを超えた説明責任

要約

• 2019年6月24日、DQE Communications のネットワーク内部で生成された、最適化されたより具体的な経路が、顧客 AS396531 を経由して、Verizon の AS701 に受け入れられました。Verizon はその後、数千ものネットワークにわたる経路を伝搬しました。ルーターはより具体的な宛先プレフィックスを優先するため、大量のトラフィックが漏洩した経路をたどり、それを運ぶには不十分なリンクに流れ込みました。Cloudflare は、インシデントの最悪時点で世界のトラフィックの約15%を失ったと報告しています。
• 公開された経路記録は、単一原因の一言ではなく、一連の制御障害を示しています。経路生成装置は最適化経路をローカルに留めず、マルチホームの顧客がプロバイダーから学習した経路を別のプロバイダーにエクスポートし、大手トランジットネットワークが顧客の想定されるルーティング権限に適合しない経路を受け入れて拡散しました。Cloudflare は経路を検出し、連絡し、撤回を支援することはできましたが、一方的に他ネットワークのインポートポリシーを変更することはできませんでした。
• RPKI Route Origin Validation は、このイベントの Cloudflare 部分に異常に適合していました。Cloudflare の Route Origin Authorizations は、その集約プレフィックスに対して指定された最大長のみを許可していたからです。漏洩したより具体的な経路はその長さを超えていたため、無効でした。しかし、これにより RPKI が完全なルートリーク解決策となるわけではありません。オリジンが有効な経路でも商業関係を侵害する可能性があり、そのため顧客フィルタリング、プレフィックス制限、BGP Roles、経路制御、監視、そして到達可能な運用連絡先が依然として必要です。
• 説明責任は制御能力に従います。例外的な経路を生成またはエクスポートする事業者は、それらを封じ込めテストしなければなりません。プロバイダーは顧客がアナウンスできるものを検証しなければなりません。クラウドプラットフォームは経路権限を公開し、外部経路を監視し、迅速に調整し、顧客への影響を開示しなければなりません。顧客は依存関係の障害に備えなければなりません。そして取締役会と規制当局は、業界のベストプラクティスに従っているという一般的な声明ではなく、測定された経路セキュリティの保証を要求すべきです。

ルーティング障害、Cloudflare のサーバー障害ではない

2019年6月24日10:34:25 UTC、公開 BGP コレクターは Cloudflare のアドレス空間に対する異常でより具体的な経路の記録を開始しました。調査対象の Cloudflare 経路の最後は12:38:54 UTC に消失しました。Cloudflare のアーカイブ経路の詳細分析は、RIPE NCC のデータからその間隔を再構築し、驚くほど一貫した経路を示しています。Cloudflare の AS13335、そのトランジットプロバイダーの一つである DQE Communications の AS33154、Allegheny Technologies の AS396531、そして Verizon の AS701 です。その後、他のネットワークが Verizon を通じて経路を学習しました。

この経路が重要なのは、障害が Cloudflare のデータセンターの障害やアプリケーションデプロイメントから始まったわけではないからです。Cloudflare のマシンは通常の集約経路をアナウンスし続けていました。グローバルルーティングシステムが、同じアドレス空間のより小さな部分に対する競合する経路を学習したのです。それらの小さな部分が多くのネットワークで転送決定に勝利し、パケットを意図しない経路に誘導しました。その結果、輻輳とパケット損失が発生し、リクエストが Cloudflare のエッジに到達する前に問題が生じました。

Cloudflare の同時期のインシデント説明では、最悪時点で世界のトラフィックの約15%が失われたと報告されています。これは企業による測定であり、独立して監査された普遍的な障害率ではありません。Cloudflare のトラフィックを表しており、インターネット全体の15%ではありません。それでも、独立した観測は広範なメカニズムとクロスサービスへの影響を裏付けています。ThousandEyes はネットワーク経路分析で、ユーザーが約2時間にわたり Cloudflare がフロントエンドを務めるサービスや一部の AWS サービスにアクセスしにくくなったと報告し、Catchpoint のインシデントレビューでは、10:30 UTC 頃にオンラインサービス全体でパフォーマンス問題が記録されました。

経路可用性とサーバー可用性の区別は説明責任にとって重要です。プラットフォームは多くの国で健全なサーバーを運用していても、ルーティング制御プレーンがトラフィックを別の場所に誘導すれば到達不能になり得ます。顧客はタイムアウト、エラー、アプリケーション利用不能という一つの結果を経験します。しかし、エンジニアリングの原因によって、どの制御が損失を防げたか、どの当事者がそれを運用できたかが決まります。

Cloudflare のこのイベントのステータス記録は、最初にネットワークパフォーマンスの問題を説明し、次に可能性のあるルートリークを特定し、その後、責任のあるネットワークが修正したと述べました。ステータス更新の公開コピーでは、調査通知が11:02 UTC、特定が11:36 UTC、修正後の監視が12:42 UTC とされています。BGP アーカイブは最初のステータス通知より前に異常な経路を示しています。この差異は、Cloudflare が既知のイベントを28分間無視したという証拠ではありません。しかし、有用な説明責任の問いです。自動システムがいつ異常なトラフィックを検出したのか、エンジニアがいつ外部ルーティングを原因と特定したのか、そして会社がいつ顧客に通知する十分な確信を得たのか、という点です。

このイベントで悪意、トラフィック検査、または Cloudflare システムの侵害を示す公開証拠はありません。ルートリークは傍受の機会を生み出す可能性がありますが、観測されたサービス被害は意図しない経路に沿った輻輳と損失でした。したがって、この記事はインシデントを可用性とルーティング整合性の障害として扱います。ルートリークの可能なセキュリティ特性を、トラフィックが読み取られたという主張に変換するものではありません。

ローカルの最適化がどのようにグローバル経路になったか

インターネットは中央管理されたネットワークではなく、自律システム間の合意です。各自律システムはボーダーゲートウェイプロトコル（BGP）を使用して、どの IP プレフィックスにどの AS パスを通じて到達できるかを隣接システムに伝えます。RFC 4271のコアプロトコルは、事業者にかなりのポリシーの自由度を与えています。この柔軟性は商用ピアリング、有料トランジット、マルチホーミング、トラフィックエンジニアリング、ローカルプリファレンスをサポートします。同時に、隣接から受信した経路には、パス内のすべての AS がそのアナウンスをそこまで伝搬させる意図があったという普遍的な証明が伴わないことを意味します。

インシデントの前、DQE は Noction の BGP 最適化製品を使用していました。このような製品は経路のパフォーマンスを測定し、より具体的な経路を注入して、選択したトラフィックを運ぶリンクに影響を与えることができます。Cloudflare が公開した例では、通常の104.20.0.0/20のアナウンスが104.20.0.0/21と104.20.8.0/21に分割されました。2つの/21は/20と同じアドレス範囲をカバーしますが、それぞれがより小さな宛先ブロックを指定します。

制御されたネットワーク内では、より具体的な経路は正当なトラフィックエンジニアリング手段となります。危険はスコープです。経路は DQE の内部決定に影響を与えることを意図していましたが、DQE はそれらを AS396531 にアナウンスしました。AS396531 は DQE と Verizon の両方に接続されており、学習した経路を Verizon に向けてエクスポートしました。Verizon はそれらを顧客から受け入れ、さらに伝搬させました。ローカルの指示がグローバルな主張になったのです。

Noction 自身の6月26日のインシデント対応は、そのプラットフォームがより具体的な経路を生成したことを認め、3つの複合条件を説明しました。すなわち、顧客のネットワーク内での生成、ダウンストリーム ASN を介した大手プロバイダーへの漏洩、そして3つの自律システムすべてにおける不適切なフィルタリングです。Noction は、より具体的な経路の作成は一般的な慣行であり本質的な欠陥ではないと主張し、プロバイダーのフィルタリングを強調しました。この対応は、最適化装置の役割を確認する一方で、単一当事者の説明に異議を唱えるため重要です。独立したポストモーテムではなく、また DQE のデプロイメントに関する正確な設定、変更記録、テスト証拠を公開していません。

Qrator Labs の別のルーティング分析は、10:35 UTC 直後の AS396531 と Verizon 間の BGP セッションの再確立と関連付けています。その説明によると、AS396531 はフィルタを失い、DQE から学習した経路をエクスポートしたとされています。これはなぜその状態がその時に始まったかについての妥当なトリガーを提供しますが、利用可能な公開記録には AS396531、DQE、または Verizon からのルーター設定やログは含まれていません。安全な結論はより狭いものです。観測可能な経路は、経路がそれらの AS 境界を越えたことを証明しています。事業者の説明は欠落または不適切なフィルタを特定しています。正確な内部変更シーケンスは非公開のままです。

この区別は3つの一般的な誤りを防ぎます。第1に、DQE は BGP の意味で Cloudflare のアドレス空間の起点として説明されるべきではありません。観測された AS パスは依然として Cloudflare の AS13335 で終わっていました。DQE の最適化装置は、正当な起点を保持したまま、より具体的な経路を作成し伝搬しました。第2に、Verizon は経路を発明したわけではありませんが、その受け入れとグローバルな伝搬によってリーチを大幅に拡大しました。第3に、Cloudflare のネットワークは AS396531 を優先経路として選択したわけではありません。リモートネットワークは、受信した広告に基づいて転送判断を行いました。

なぜより具体的な経路が距離とエニーキャストを打ち負かしたのか

専門家以外には、ルーターがより短い AS パスを選択したように聞こえるかもしれません。しかし、決定的な優先はより早期に発生しました。インターネット転送は最長プレフィックス一致を使用します。すなわち、最も具体的な宛先ブロックをカバーする経路が、より広いブロックをカバーする経路よりも選択されます。RFC 4632（クラスレスドメイン間ルーティング仕様）は、この最長一致動作と、集約経路およびより具体的な経路との関係を説明しています。

ルーターが Cloudflare の104.20.0.0/20が通常のプロバイダーを介して到達可能であることを知っており、同時に104.20.0.0/21を Verizon、AS396531、DQE を介して学習したとします。最初の/21内の宛先は両方のアナウンスに一致します。/21はより具体的であるため、たとえ AS パスが長かったり運用上不合理であっても優先されます。通常のパス属性は同じプレフィックスへの経路間で決定しますが、健全な/20が受け入れられた/21を打ち負かすことはできません。

これが、Cloudflare のエニーキャストフットプリントが問題を自動的に回避しなかった理由です。エニーキャストにより、多くの Cloudflare 拠点が同じプレフィックスをアナウンスし、BGP が適切なインスタンスを選択できるようになります。地理的分散を提供し、個別のサイトやリンクの障害を吸収できます。しかし、漏洩した/21は Cloudflare の通常の/20広告よりも具体的でした。グローバルルーティングシステムは、どの Cloudflare エニーキャスト拠点が最も近いかを比較する前に、/21を優先できました。負けた経路の背後にある冗長性はトラフィックを回復しませんでした。

不要な経路は負荷も集中させました。AS396531 とその接続は、Cloudflare、Amazon、Linode、その他多くの影響を受けたネットワークのグローバルトランジットとしてプロビジョニングされていませんでした。より具体的な広告によって引き寄せられたトラフィックは、それを運ぶ容量やポリシーがない回廊に入りました。パケットは遅延またはドロップされました。ルートリークは非効率的な経路でトラフィックを届けることがありますが、ここでは規模がその経路をボトルネックに変えました。

Internet Engineering Task Force のRFC 7908ルートリーク分類法は、ルートリークをアナウンスの意図された範囲を超えた伝搬と定義しています。2019年6月のイベントは、分類法が分析目的で分離する特徴を組み合わせています。マルチホームネットワークがプロバイダーから学習した経路を別のプロバイダーに向けてエクスポートする古典的なヘアピンターンパターンに似ており、また内部で有用なより具体的な経路がグローバルな伝搬を意図されていませんでした。ラベルよりも、侵害された不変条件が重要です。すなわち、Verizon の顧客が正当なカスタマーコーン外のプレフィックスに対してトランジットを提供しているように見え、Verizon がその外観を受け入れたことです。

時系列と拡大する説明責任の窓

インシデントが予防から検出および回復に移行するにつれて、説明責任は変化します。以下のタイムラインは公開経路データと属性付き事業者声明を使用しており、想定される内部アクションでギャップを埋めるものではありません。

最も重要な期間は最初のタイムスタンプの前に始まりました。取締役会が10:34からレビューを開始すれば、アラートと連絡に焦点を当てるでしょう。最適化経路が本番で許可された時点から開始すれば、設計の安全性、経路スコープ、フェイルクローズデフォルト、ピアポリシー、変更レビュー、独立した伝搬テストを検討できます。インシデント対応は期間を短縮しました。予防制御は、対応すべきインシデントが存在するかどうかを決定しました。

4つのフィルタリング機会が同じ方向で失敗

経路は複数の境界を越え、それぞれに停止する異なる機会がありました。これらの機会を層として扱うことで、すべての当事者が同等の制御を持っていたふりをせずに責任を明確にします。

最適化装置と発信ネットワークの封じ込め。DQE は Noction の製品がより具体的な経路を生成する環境を制御していました。ローカルな意思決定のみを意図した経路には、すべてのダウンストリームが適切に動作することに依存しないエクスポート障壁が必要でした。選択肢には、厳密にスコープされたエクスポートポリシー、専用のルーティングコンテキスト、すべての出口で解釈される明示的なコミュニティ、外部コレクターからの自動チェック、予期しない伝搬に結びついたキルスイッチが含まれます。Noction はデプロイメントテストを実施し、NO_EXPORTの使用について議論する一方で、すべてのマルチ AS 設計に適切ではないとも主張しています。ウェルノウンコミュニティはRFC 1997で定義されています。それを運ぶ経路はコンフェデレーション境界外に広告されるべきではありません。このイベントで使用されたか、保持されたか、削除されたか、または決してアタッチされなかったかは公開されていません。

マルチホーム顧客のエクスポート制御。AS396531 は、意図的にトランジットとして運用しない限り、一方のプロバイダーの完全な経路または最適化経路を別のプロバイダーに提供すべきではありませんでした。リーフまたはエンタープライズネットワークは、単純なアウトバウンドルールを適用できます。すなわち、自社の許可されたプレフィックスと明示的に承認された顧客プレフィックスのみを広告することです。デフォルト拒否は、出て行ってはいけないすべての経路を特定しようとするよりも信頼性が高いです。2017年に公開されたRFC 8212は、明示的なインポートまたはエクスポートポリシーが設定されていない場合のデフォルトの外部 BGP 拒否を成文化しました。事業者が誤った許可ポリシーをアタッチすることを防げませんが、ポリシーがないことによる偶発的な伝搬の一クラスを排除します。

プロバイダーの顧客イングレス制御。Verizon は最も影響力のある停止ポイントを持っていました。トランジットプロバイダーはどのセッションが顧客セッションであるかを知っており、その顧客が発信またはトランジットすることを許可されているものを知っているべきです。Cloudflare の詳細分析は、顧客に関連付けられた経路レジストリ情報に Cloudflare の ASN やその他の漏洩したネットワークが含まれていなかったことを発見しました。したがって、顧客固有のプレフィックスおよび AS パスフィルターはアナウンスを拒否できたはずです。2015年公開のRFC 7454の BGP 運用およびセキュリティガイダンスは、すべての境界で受信および広告される経路のポリシー、顧客プレフィックス制御、AS パスフィルタリング、最大プレフィックス制限を推奨しています。

ダウンストリームおよびピアによる拒否。Verizon から経路を受信したネットワークにも拒否の機会がありました。Verizon は大手トランジットネットワークであるため、多くの受信者はその広告にかなりの信頼を置きました。Route Origin Validation を使用する一部のネットワークは、影響を受けた Cloudflare のより具体的な経路を RPKI 無効として拒否したでしょう。他のネットワークはルートリークヒューリスティックやピアポリシーを使用できたかもしれません。しかし、大手プロバイダーが配布した後にすべてのリモートネットワークにエラーをキャッチさせることは、元の顧客セッションで拒否するよりも効率的ではありません。ポリシー違反に最も近い場所での予防は、グローバルな収束が設定エラーを分散型障害に変える前に伝搬を制限します。

これらの層は十分に独立していませんでした。DQE の最適化、AS396531 のエクスポート、Verizon のインポートはすべて正しい経路ポリシー設定に依存していました。各層が手動で寛容であるか、不完全な顧客記録から構築されている場合、3つの制御が同時に失敗する可能性があります。したがって、成熟した保証プログラムは管理ドメイン外からの結果をテストします。設定レビューだけでは経路がローカルに留まったという証明として受け入れません。

RPKI はこれらの経路をブロックできたが、万能ではない

Cloudflare は2018年に経路への署名と検証のデプロイを開始していました（RPKI 導入アカウントに記載）。Route Origin Authorization（ROA）は、どの自律システムがプレフィックスを発信できるか、またオプションでアナウンスできる最も具体的なプレフィックス長を宣言します。Cloudflare は、関連する経路について、AS13335 を最大長/20で許可していました。漏洩した/21は起点として AS13335 を保持していましたが、許可された最大長を超えていました。したがって、Route Origin Validation の下では無効でした。

このロジックはRFC 6811で形式化されています。受信した経路は、検証済みの ROA ペイロードがプレフィックスをカバーし、起点 ASN が一致し、経路のプレフィックス長が ROA の最大長を超えない場合に有効です。カバーする認証が存在するが、必要なすべてのプロパティに一致するものがない場合は無効です。RIPE NCC の起点検証の説明は、有効、無効、不明な状態を有用に分離し、ネットワーク事業者がそれらの状態にどのポリシーを適用するかを依然として決定することを強調しています。

Cloudflare が ROA を作成した行為は必要でしたが十分ではありませんでした。ROA は公開された証拠であり、リモート執行コマンドではありません。Verizon または別の受信ネットワークは、検証済みの RPKI データを取得し、顧客経路に検証を適用し、無効なものを拒否する必要がありました。Cloudflare は自社ネットワークに入る無効な経路を拒否できましたが、それは第三者のネットワークが Cloudflare 宛てのトラフィックを他で選択された経路に沿って送信するのを止めませんでした。ルーティングセキュリティは相互的な構造を持っています。アドレス保持者は認証を公開し、他の事業者がそれを有効にします。

このインシデントでは、最適化装置がプレフィックス長を変更したため、RPKI は特に強力な予防制御でした。その成功条件をすべてのルートリークに一般化するのは誤りです。AS396531 が Cloudflare の通常の/20を漏洩し、パスの終わりに AS13335 を保持していた場合、起点検証はその経路を有効とみなすでしょう。経路は依然として想定されるプロバイダー-顧客トポロジーを侵害します。RPKI 起点検証は、誰がプレフィックスをどの長さで発信できるかを回答します。AS パス内のすべてのトランジット関係が許可されていることを証明するわけではありません。

この境界は RPKI への批判ではありません。他の制御と一緒にデプロイする理由です。NIST のSP 800-189ガイダンスは、RPKI と BGP 起点検証をプレフィックスフィルタリングおよびより広範なドメイン間回復力の実践と組み合わせています。ルートリーク、ハイジャック、トラフィック迂回、サービス拒否、パフォーマンス低下を、層を必要とする関連する運用リスクとして扱います。2019年6月のイベントは異常に具体的なデモンストレーションです。一つの層が正確な悪いプレフィックスを拒否できた一方で、基本的な顧客フィルタリングが暗号化なしでも信じがたい権限パスを拒否できたはずです。

また、maxLengthにはガバナンスの教訓があります。過度に寛容な ROA は許可されていないより具体的な経路を有効に見せかけ、過度に制限的または古い ROA は正当な経路を拒否させる可能性があります。ROA のカバレッジ、最大長、有効期限、鍵とリポジトリの健全性、計画されたルーティング変更は変更管理を必要とします。ROA が存在することを示すダッシュボードは、それらが本番意図を正確に記述しているという証拠ではありません。

2019年以降の経路ポリシー制御

インシデント後も基準とポリシーの状況は発展し続けました。後の制御は、事業者が2019年6月に完成版をデプロイできたかのように説明されるべきではありませんが、業界が以前は暗黙的だった前提をコード化しようとしてきた方法を示しています。

2022年公開のRFC 9234は、BGP Roles と Only-to-Customer（OTC）属性を導入しました。隣接ネットワークは、関係がプロバイダー、顧客、ピア、ルートサーバー、またはルートサーバークライアントのいずれかを宣言できます。役割合意と OTC 処理により、ルーターは関係境界を許容されない方向に越える一部のアナウンスを検出できます。2019年の経路の簡略化されたバージョンでは、プロバイダーから学習され、その後別のプロバイダーに送信された経路は、顧客のみのエクスポートと矛盾する証拠を運ぶべきです。BGP Roles は、商業トポロジー知識の一部を事業者慣習からプロトコル可視状態に変換します。

Peerlock は別の経路重視のアプローチを提供します。2020年の論文「Flexsealing BGP Against Route Leaks」は、事業者がデプロイしたメカニズムを研究し、保護された大規模ネットワークが存在すべきでない場所に現れるパスを停止する能力を含みます。Peerlock は論文以前、2019年6月のイベント以前から存在していましたが、デプロイは二国間の知識と設定に依存していました。実用的な経路フィルターが可能であったことの証拠ですが、普遍的な市販制御が利用可能であったことの証明ではありません。

Autonomous System Provider Authorization（ASPA）は、RPKI システムを通じて AS が検証可能なプロバイダー関係を公開できるようにすることを目的としています。多くのルートリークが起点障害ではなく経路妥当性障害であるため、有望です。しかし、注意深い言語が必要です。ASPA の標準とデプロイ状況は進化しており、部分的なカバレッジは不明な経路を生成します。これは追加の検証シグナルとして扱われるべきであり、2019年の参加者が当時必須だった暗号化経路標準に違反したという遡及的証拠としてではありません。

検出も成熟しました。Cloudflare は後に、ルーティング関係と観測された経路を使用して可能性のあるリークをフラグするRadar ルートリーク検出サービスを説明しました。監視は認識までの時間と調整までの時間を短縮しますが、ルーターが経路を受け入れるのを防ぐわけではありません。2時間のインシデントでも、修復経路が人間の電話連鎖である場合、グローバルな害を及ぼす可能性があります。検出は練習された行動に接続されなければなりません。影響を受けるプレフィックスを特定し、安全な場合に防御ポリシーを適用し、許可された事業者に連絡し、顧客ステータスを公開し、独立したコレクター全体での撤回を確認し、トラフィックの回復を監視する。

したがって、有用な制御モデルは累積的です。

1. IRR オブジェクトおよび ROA を通じて正確な経路権限を公開する。
2. 信頼できるデータから顧客インポートフィルターを生成し、安全にリフレッシュする。
3. 明示的なポリシーがない経路をデフォルトで拒否する。
4. カスタマーコーン、AS パス、プレフィックス長、最大プレフィックス期待値を強制する。
5. 関連するすべての外部イングレスで RPKI 無効のアナウンスを拒否する。
6. BGP Roles、OTC、Peerlock、および成熟するにつれて ASPA 検証などの関係認識制御を追加する。
7. 独立した外部視点からの伝搬を観測する。
8. 継続的にテストされた運用連絡先と経路撤回権限を維持する。

単一の項目が残りの代わりになるわけではありません。それらの価値は異なる障害モードから来ます。

賠償責任の評決を発明せずに説明責任を配分する

公開された技術的記録は責任分析を支持しますが、裁判所の判決、規制当局の命令、または DQE、AS396531、Verizon、Noction、Cloudflare、影響を受けた顧客間の法的賠償責任を配分する完全な契約セットは含まれていません。この記事で使用された記録では、Verizon の根本原因報告書は見つかりませんでした。したがって、以下の配分は運用上のものです。誰がどのセーフガードを制御し、誰がどのリスクを軽減できたか。損害のパーセンテージ割り当てではありません。

DQE Communications.DQE は最適化経路が生成されたネットワークと、それらが AS396531 に到達する関係を制御していました。その最も重要な義務は、経路スコープを制約し、外部可視性をテストし、正しいエクスポートポリシーを維持し、連絡を受けたらアナウンスを停止することでした。Cloudflare は DQE の担当者が経路撤回を支援したことを評価しました。迅速な協力は期間を短縮しましたが、予防制御の失敗を消し去るものではありません。

AS396531.マルチホームネットワークはプロバイダー間の橋渡しでした。Verizon に向けた観測可能な広告は、DQE を通じて学習した経路に対する到達可能性を提供しているように見せかけました。非トランジット企業は、学習した完全なテーブルではなく、狭い許可リストをエクスポートすべきです。公開記録はフィルタリングを削除またはバイパスしたエンジニア、ベンダー、または変更を特定していないため、個人の非難は推測になります。組織の説明責任は、セッション復旧が企業の権限外の経路を露出させることを可能にした設計に帰属します。

Verizon.Verizon の顧客向けインポートポリシーは、最も影響力のある未行使の制御でした。大手トランジットネットワークが顧客から数千の経路を受け入れる場合、許可されたプレフィックス、期待される起点とパス、プレフィックスボリュームを検証する必要があります。経路アーカイブは Verizon が経路を伝搬したことを示しています。Cloudflare は、関連する IRR データと RPKI 検証がそれを拒否できたはずであり、イベント中に Verizon に連絡を取るのが困難だったと報告しています。Verizon の内部記録がなければ、フィルターが欠落していたか、古くなっていたか、誤適用されたか、バイパスされたか、別の方法で失敗したかを言うことはできません。それらの可能性はいずれも、プロバイダーの規模に比例した保証とインシデント調整義務を指し示しています。

Noction.グローバルに優先されるより具体的な経路を作成できるルーティング最適化装置には、封じ込めが失敗した場合の予見可能な高影響障害モードがあります。製品の説明責任には、安全なデフォルト、目立つリスク警告、デプロイメント検証、経路タグ付け、外部漏洩テスト、ロールバック、および検証された境界なしでは侵入モードを有効にしにくくする制御が含まれます。Noction の対応は、デプロイメント中に伝搬をテストし、フィルターが必須のままであると述べています。その主張は次の監査質問を提起します。製品はピアリングまたはセッション変更後に封じ込めを継続的に検証したのか、それとも試運転時のみか？ 一度のテストでは動的ルーティング環境の安全性を無期限に証明できません。

Cloudflare.Cloudflare は不要な経路を生成も伝搬もせず、Verizon の顧客セッションを設定できませんでした。しかし、グローバルルーティング上に構築された可用性とセキュリティサービスを顧客に販売していました。したがって、その説明責任は残余の制御にあります。正確な ROA、多様な相互接続、外部経路監視、迅速な診断、到達可能なピア連絡先、顧客コミュニケーション、緩和オプション、透明な開示。また、そのアーキテクチャが耐えられるものを過大宣伝しない義務もありました。エニーキャストと大規模なグローバルネットワークは多くの障害を軽減しますが、検証ネットワークからの助けなしではグローバルに受け入れられたより具体的な経路を打ち負かせません。

その他のネットワーク。Verizon から経路を受け入れたピアおよびダウンストリームは、AS396531 の顧客認証を知る位置に同等にはありませんでしたが、RPKI 検証と経路制御をデプロイできました。それらの決定は自社のユーザーに影響を与え、場合によってはさらなる伝搬にも影響しました。大手トランジットネットワークが正しく行動するときにシステムはより安全ですが、受信ネットワークは自身がインストールする経路に対して説明責任を負います。

この配分は、BGP は信頼に基づいているため誰も説明責任を負わないという便利だが役に立たない声明を避けます。信頼は設定、レジストリ、契約、運用慣行を通じて実装されます。これらは制御可能です。プロトコルの開放性は障害が拡大する理由を説明しますが、プロバイダーが顧客経路をフィルタリングすることを免除するわけではありません。

Cloudflare のビジネス説明責任は外部原因を乗り越えた

外部トリガーはクラウドプロバイダーの顧客に対する義務を除去しません。Cloudflare の修正された2019年Form S-1 登録届出書は、6月のルートリークが自社および他のプロバイダーのトラフィックに重大な混乱を引き起こしたと述べています。ルートリークが評判と信頼を損なう可能性があると警告し、クレジットや返金につながる可能性のあるサービスレベルコミットメントを説明し、6月のルートリークと別の7月の障害がそれらの義務の一部を発動させたと述べています。当時、Cloudflare はこれらのインシデントが経営成績や財政状態に重要影響を与えるとは予想していませんでした。

この開示は、SEC スタッフコメントに続くもので、同社にサービスレベルコミットメントに照らして6月のルートリークの合理的に予想される財務影響に対処するよう求めていました。このやり取りは、説明責任がネットワーク運用センターから企業報告に移行するコンパクトな例です。インシデントは外部原因で、運用上重要で、契約上補償可能で、同時にプロバイダーにとって財務上重要でないことがあり得ます。

届出書は、影響を受けた顧客数、総クレジット、返金、失われた取引、または顧客レベルのダウンタイムを開示していません。また、6月のルートリークと Cloudflare の内部原因による7月2日のウェブアプリケーションファイアウォール障害を並べて議論しています。これらのイベントは混同されるべきではありません。6月のインシデントは外部ルーティングへの依存をテストします。7月のインシデントは内部ソフトウェア変更管理をテストします。両方とも可用性に影響を与えましたが、予防の所有者と証拠は異なります。

顧客にとって、サービスクレジットは回復したビジネスと同じではありません。小規模なオンライン商人は注文を失い、通信サービスはセッションを失い、エンタープライズは月額サブスクリプションクレジットが計算される前にスタッフ時間を消費する可能性があります。契約上の救済は、ダウンタイムの全社会的または顧客コストではなく、直接的なプロバイダー料金の一部を配分します。したがって、クラウドプロバイダーは契約上のアップタイムだけでなく、地域およびネットワークごとの到達可能性、トラフィック損失、検出時間、特定時間、コミュニケーション時間、安定回復までの時間を報告すべきです。

取締役会がピアリングおよびトランジットリスクについて尋ねるべきこと

ルーティングはしばしば取締役会の監督レベル以下の専門家の関心事として扱われます。2019年6月のイベントは、その区分が綿密すぎる理由を示しています。ある大手プロバイダーでの BGP インポートポリシーが多くのクラウドサービスへのアクセスを変更し、顧客義務を発動させ、投資家開示を生み出し、正式なクラウドベンダー契約外の集中を露呈しました。取締役会はルーターの構文を選択する必要はありません。経営陣が可用性が別の自律システムの動作に依存している場所を知っているという証拠が必要です。

有用な取締役会パッケージは、コンプライアンスの主張ではなく、エクスポージャーから始まります。

すべての指標で分母が重要です。RPKI がコアルーターにデプロイされていると言っても、検証されていないエッジセッションが同じネットワークに経路を注入できるかどうかは明らかになりません。顧客フィルターが自動化されていると言っても、ソースレジストリが完全かどうか、緊急例外が持続するかどうか、新しい BGP セッションがポリシーを継承したかどうかは示されません。連絡先がデータベースにあると言っても、誰かが現地時間06:30に権限を持って応答することを証明しません。

テストには制御された否定的なケースを含めるべきです。プロバイダーは、許可されていないラボプレフィックス、ROA が許可するよりも長いプレフィックス、過剰な経路数、宣言された顧客関係に違反するパスをアナウンスしようと試みることができます。期待される結果は、受信ポリシーと独立したコレクターで観測されるべきです。テストはそれ自体がリークにならないようにセーフガードを必要としますが、すべての現実的なテストを避けると、最もリスクの高い行動が未証明のままになります。

単純なマルチプロバイダーアドバイスを超えた顧客の回復力

顧客は、2つ目の CDN、2つ目の DNS プロバイダー、または2つ目のクラウドを購入することで依存を回避すべきだとよく聞きます。多様性は役立ちますが、ルーティング障害は製品ラベルを尊重しません。2つのプロバイダーがトランジット、交換ポイント、ファイバー、経路コレクター、または同じ非検証アクセスネットワークを共有する可能性があります。漏洩したより具体的な経路は、顧客の DNS やアプリケーションフェイルオーバーロジックが機能する機会を得る前にトラフィックを引き寄せることもあります。

正しい設計はサービスパスから始まります。どのプロバイダーが DNS に対して権威があるか？ TLS キーとセキュリティポリシーはどこに保持されているか？ 発信元は直接トラフィックを安全に受け入れられるか？ セキュリティバイパスを作成せずにトラフィックをシフトできるか？ DNS キャッシュはどのくらい早く変更されるか？ クライアントは接続を保持するか？ セカンダリプロバイダーは現在の設定と容量を持っているか？ 組織は発信元の障害から上流ルーティング障害を区別できるか、トラフィックを移動する前に？

一部のサービスでは、独立したルーティングを持つプロバイダー間でのアクティブ-アクティブ配信が正当化されます。他では、複雑さ、一貫性のないセキュリティポリシー、キャッシュ動作、および追加の攻撃対象領域が、2時間の可用性向上を上回る可能性があります。防御可能な決定は、重要度、テスト済み復旧時間、共有依存関係、コスト、および残留リスクを記録します。ベンダー名を数えて結果を回復力と呼ぶことはしません。

顧客は調達力を利用することもできます。クラウドまたはネットワークプロバイダーに、ROA カバレッジ、ROV ポリシー、顧客フィルター制御、MANRS 参加、インシデント連絡慣行、外部監視、匿名化されたテスト結果を尋ねることができます。MANRS ネットワーク事業者アクションは実用的な枠組みを提供します。フィルタリング、アンチスプーフィング、調整、および他の検証可能な情報の公開。メンバーシップまたは準拠はシグナルであり、完璧な運用の証明ではありませんが、これらのアクションはルーティングセキュリティを購入者が理解できる質問に変換します。

最も重要な契約上の質問は、多くの場合、アップタイムのパーセンテージではありません。それは、健全なサービスが外部ルーティングのためにトラフィックに到達できない場合に、プロバイダーがどのような証拠と支援を提供するかです。迅速で具体的なステータスコミュニケーションは、顧客が健全な発信元に破壊的な変更を加えるのを防ぎます。インシデント後の経路データは、顧客が自身の観測を調整するのに役立ちます。狭く起草された不可抗力または第三者条項は補償を制限するかもしれませんが、プロバイダーの診断およびコミュニケーションに関する運用義務を終わらせるべきではありません。

自主的規範からリスク管理の証拠へ

2019年6月のイベントは、大部分が自主的なルーティングセキュリティ環境で発生しました。ベストプラクティスは知られていました。プレフィックスおよび AS パスフィルタリング、IRR データ、最大プレフィックス制御、RPKI、事業者連絡先レジストリは存在しました。採用と保証は不均一で、特に一つのネットワークがデプロイコストを負担し、利益がインターネット全体に広がる場合がそうでした。

その集合行動問題は後に、より明示的な政府の注目を集めました。米国国家サイバー局長室の2024年「インターネットルーティングセキュリティ強化のためのロードマップ」は、一般的な運用における BGP の起点権限、メッセージ整合性、リモートパス情報、または隣接事業者ポリシーに違反するアナウンスを検証できないことを説明しています。これは、特に大手プロバイダーと政府契約サービス間での経路起点セキュリティのより強力な採用を求めています。ロードマップはポリシーガイダンスであり、2019年の参加者に関する所見ではありません。

連邦通信委員会の2024年「セキュアインターネットルーティング」通知は、ブロードバンドプロバイダーに BGP リスク管理計画と報告を提案し、RPKI 起点検証を超えた措置についてコメントを求めました。これは、プロバイダーが原則として RPKI をサポートしているかを尋ねることから、維持された計画、カバレッジデータ、証明、進捗を求めることへのガバナンスの移行を示しています。

規制には独自のリスクがあります。ROA 登録のパーセンテージ目標は、広範で寛容な認証を促進する可能性があります。提出要件はルーターポリシーから切り離された書類作業になる可能性があります。詳細な防御設定の公開開示はセキュリティ上の懸念を生み出す可能性があります。したがって、効果的な監視は結果と制御された証拠に焦点を当てるべきです。正確な認証、拒否カバレッジ、テスト済み顧客ポリシー、例外ガバナンス、検出速度、連絡準備、インシデント学習。機密性の高い詳細には秘密の監督アクセスが適切かもしれませんが、集合的な採用とインシデント指標は公開されたままにすべきです。

経路セキュリティの共有地は国境を越えます。Verizon の伝搬は世界中のユーザーとサービスに影響を与えました。Cloudflare のエンジニアは複数の地域で対応に参加しました。経路権限は地域レジストリを通じて分散されています。受信者は自身のポリシーを適用します。国内ルールはその管轄下のプロバイダーの行動を改善できますが、相互運用可能な標準と事業者規範がその改善を伝搬させます。

公開記録からまだ欠落している証拠

Cloudflare の詳細分析は異常に再現可能です。RIPE NCC データを特定し、コマンドを提供し、観測された経路とタイムスタンプを示しています。その透明性は経路の時系列に対する高い信頼性を支持します。しかし、すべての説明責任の問いに答えているわけではありません。

以下の記録は、関与した事業者が公開すれば、分析を大幅に改善するでしょう。

• DQE の最適化装置設定、生成プレフィックスポリシー、エクスポートマップ、コミュニティ処理、およびデプロイ前後の外部伝搬テスト。
• AS396531 の DQE および Verizon セッションに適用された BGP ポリシー、セッションダウンおよびアップのタイムライン、設定変更、経路数、プロバイダー学習経路がエクスポート対象となった理由。
• Verizon の顧客オンボーディング記録、IRR またはプレフィックスリストソース、AS パスポリシー、最大プレフィックス設定、RPKI 検証状態、アラート、事業者対応タイムライン、およびグローバル伝搬の説明。
• Noction のデプロイメントチェックリスト、継続的封じ込めセーフガード、アラート動作、インシデント後に行われた製品変更。
• Cloudflare の最初の内部検出タイムスタンプ、アラートソース、検討された緩和判断、ピア連絡エスカレーションタイムライン、ネットワークおよび地域別の顧客影響、是正措置検証。
• 6月のルートリークに特に起因する、定量化されたサービスクレジット、返金、サポート負荷、顧客離脱。ただし、別の7月の障害とは区別する。

それらの不在はイベントを知ることを不可能にするわけではありません。公開 BGP アナウンスはネットワークが互いに伝えたことの証拠です。トラフィック測定はサービス影響の証拠です。SEC 提出書類は企業開示と期待される重要性の証拠です。事業者ブログは属性付き説明の証拠です。規律はそれらの証拠クラスを分離しておくことです。

また、欠落した公開記録を欠落した内部記録と混同しないことが重要です。Verizon、DQE、AS396531、Noction は、公開されなかった広範なレビューを実施した可能性があります。Cloudflare は投稿に含まれていない詳細なテレメトリを保持している可能性があります。証拠が非公開のままである場合、公開説明責任は弱まりますが、学習が行われなかったと推測することはできません。

経路回復力のための耐久性のある説明責任基準

2019年6月の障害が記憶されているのは、小規模ネットワークがインターネットの大部分への見かけ上の経路になったからです。その深い教訓は、規模が対応する懐疑心を生み出さなかったことです。大手トランジットプロバイダーが顧客から異常な主張を受け取り、それを配布しました。多くのネットワークがその結果を受け入れました。トラフィックはプロトコルルールに従って非現実的な経路に流れ込みました。回復はアナウンスを撤回できる人を見つけることに依存していました。

このイベントは、当時利用可能だった制御で予防可能でした。DQE は最適化経路を封じ込めることができました。AS396531 は許可されたプレフィックスのみをエクスポートできました。Verizon はレジストリ、パス、プレフィックス数、RPKI 証拠で顧客アナウンスをフィルタリングできました。受信ネットワークは RPKI 無効の Cloudflare より具体的な経路を拒否できました。より良い監視と連絡準備がイベントを短縮できたかもしれません。後の標準は一部の関係前提をシグナルしやすくしますが、運用規律をオプションのレガシー懸念に変えるものではありません。

Cloudflare の役割は被害者または所有者よりも複雑です。それは外部の決定によって到達可能性が害された宛先でした。漏洩したより具体的な経路を拒否するのに適した ROA をすでに公開し、分散ネットワークを運用し、イベントを検出し、撤回を調整し、経路記録を説明し、契約上の結果を開示しました。それでも顧客に明確なステータス、回復努力、契約上の救済（該当する場合）、および残存ルーティングリスクの真実の説明を提供する義務がありました。プロバイダーはインターネットの残りが自社の経路を検証することを約束できません。検証を可能にし、何が起こるかを監視し、証拠をもって対応することを約束できます。

したがって、最終的な説明責任基準はルートリークゼロではありません。どのグローバルネットワークもすべての自律システムがすべてのセッションを正しく設定することを保証できません。基準は、各当事者が自社の制御内のリスクを軽減し、外部からその軽減をテストし、避けられない間違いの爆発半径を制約し、練習された調整経路を通じて対応し、顧客と監督者が改善を検証するのに十分な証拠を生成したかどうかです。

それがネットワーク回復力のエッジを超えた姿です。他のネットワークからの独立ではなく（インターネットはそれを不可能にします）、未検証の信頼が一つの経路で消費される量に対する規律ある制限です。