要約

  • Energy Sciences Network（ESnet）は、ローレンス・バークレー国立研究所が運用する DOE Office of Science のネットワークインフラであり、商用通信事業者ではない
  • ESnet6 は約15,000マイルの光ファイバーインフラを、光伝送、ルーティング、プライベートネットワーク、クラウド接続、計測ツール、プログラマブルサービスと結んでいる
  • Science DMZ、perfSONAR、OSCARS、SENSE、EJFAT は、科学のパフォーマンスが観測機器、ストレージ、ネットワーク、データセンター間の経路全体に依存することを示している
  • American Science Cloud と ESnet7 はネットワークを科学的ワークフローにより深く統合する可能性があるが、それぞれ異なる計画・研究・成熟段階にある

科学ネットワークであり、一般消費者向けインターネットプロバイダーではない

ESnet は、科学的データセットで説明するのが最もわかりやすい。検出器、望遠鏡、顕微鏡、あるいはシミュレーションが研究施設で情報を生成する。収集システムがそれを集め、ストレージや転送サーバーが準備し、ローカルネットワークが制御された接続点へと導く。そこから ESnet の接続が、データを全米に、大西洋を越えて、エネルギー省のスーパーコンピューターへ、パートナーネットワークを通じて、あるいは商用クラウドへと運ぶ。そして、分析済みのデータセット、警告、モデル、または次の実験ステップの判断が戻ってくる。

この完全な経路を単独で掌握する組織はない。観測機器チーム、ラボネットワーク、地域研究ネットワーク、クラウドプロバイダー、国際パートナー、計算センターは異なる運営者に属する場合がある。ESnet はミッション志向の広域ネットワーク層を提供し、これらの組織と協力する。低速なストレージ、過負荷のキャンパスリンク、不適切なファイアウォールは、高速な全国バックボーンを無意味にする可能性があり、逆に ESnet 内部の障害は、適切に設計されたローカル施設を科学システムの他の部分から切り離す可能性がある。

制度的に見ると、ESnet は明確に位置付けられている。DOE Office of Science のユーザーファシリティであり、主に Advanced Scientific Computing Research（ASCR）の資金提供と監督を受け、ローレンス・バークレー国立研究所の Scientific Networking Division によって運営されている。バークレー研究所は、エネルギー省の委託によりカリフォルニア大学が運営している。ESnet には株主、株式公開、独立した企業評価、商用の貸借対照表はなく、したがって政府資金による研究インフラストラクチャと表現するのが適切である。

研究者が ESnet に触れるのは、通常、観測機器、スーパーコンピューター、ラボサービス、大学、またはパートナーネットワークを通じて間接的である。ESnet は、機関サイトユーザーとエンドポイントユーザーを区別し、個々の人物の正式な参加者リストは保持しない。2024年の年次報告書に記載された30,000以上の組織ユーザーは、したがって機関レベルの指標であり、個人加入者の正確な数ではない。

通常の通信事業者との比較は不十分である。ESnet は光伝送と IP ルーティングを運用するが、需要分析も行い、オープンソースソフトウェアを保守し、新しいサービスをテストし、サイトのエンドツーエンド問題を支援する。真の価値は、地理的に離れた施設を、共通の科学的マシンの部品のように連携させることにある。（ESnet ガバナンス;ネットワークサービス）

歴史は希少な計算機と音響カプラで始まった

公式の歴史は1970年代半ばにさかのぼり、計算能力と遠隔通信が希少だった時代である。ローレンス・リバモア国立研究所の制御熱核融合研究計算機センターでは、職員が借り受けた Control Data Corporation 6600を4台の音響モデムで接続した。技術的には別の時代のものだが、問題自体は今日も認識できる。専門的な科学コミュニティが、すべての参加サイトに複製するには高価すぎる計算機への遠隔アクセスを必要としていたのである。

1970年代後半から1980年代初頭にかけて、エネルギー省の異なる研究プログラムが独自のネットワークを構築した。高エネルギー物理学と磁気核融合は異なる施設、パートナー、データフローを持ち、HEPnet や MFEnet といった前身のネットワークがそれらの境界を反映していた。専門ネットワークは、商用サービスが必要な範囲、性能、運用上の注意を提供できない場合に意味があった。しかし、それらは回線、技術、運用チームの重複も生み出した。

1986年の ESnet の正式な設立により、これらの機能が統合された。共通の施設は、プログラムを横断して計画を立て、国内接続を運用し、国際接続を調整し、専門の人員を維持することができた。これにより、キャパシティは単一の実験の個別の決定から、省全体のインフラストラクチャの責務へと移行した。

初期のモデルには、今日まで続く特徴がすでに含まれていた。科学的ミッションに基づくアクセス、共同で資金を拠出するリソース、複数年にわたる計画、科学的影響を理解する運用チーム、そして単一の実験が一時的に支配する可能性のある不均一な需要である。

バークレー研究所は独自のネットワークの歴史を持っていた。1974年、同研究所の CDC 6600が ARPANET に接続され、後に研究者は TCP の輻輳制御に貢献した。Van Jacobson と Mike Karels の研究は、研究所のより広い環境の一部であり、ESnet だけに帰属させるべきではない。しかし、機関的な近さが、プロトコルの振る舞い、計測、パフォーマンスを調査可能で変更可能な技術的問題とみなす文化を育んだ。

1996年、運用はバークレー研究所に移管され、National Energy Research Scientific Computing Center（NERSC）、ネットワーク研究、ソフトウェア開発、その他のエネルギー省プログラムに近接することになった。これにより、現在のモデル、すなわち本番運用と応用研究が同じ制度的環境の中で行われる形が生まれた。（ESnet の歴史）

なぜネットワーキングがユーザーファシリティになったのか

科学ユーザーファシリティは、個々の研究グループにとって高価すぎる、専門的すぎる、あるいは相互に強く結びついている能力を集約する。粒子加速器、光源、あるいは最先端のスーパーコンピューターは、この論理に従う。ESnet はそれを通信に適用している。長距離ファイバーとスペクトラム、光伝送装置、ルーター、国際回線容量、24時間365日の運用、サイバーセキュリティ、計測、技術助言が共同で提供される。

科学的需要の形態が公的資金の理由を説明する。通信事業者は高速回線を販売できるが、数年後に稼働を開始する検出器、発生する可能性のある超新星爆発、あるいは市場規模が小さく公的価値が高いワークフローに合わせて国内ネットワークアーキテクチャを計画することは稀である。ESnet は、測定可能な利用が生じる前に投資することができる。なぜなら、短期的な収益ではなく、科学的能力の実現が目標だからである。

正式な要件レビューが将来の需要を特定する。研究プログラムは、5年から10年の期間にわたって、観測機器、データ量、ストレージ場所、計算目標、時間制約、パートナー、ローカルのボトルネックを記述する。その結果、より大容量のサイト接続、追加の物理パス、大西洋横断容量、新しいオーケストレーションソフトウェア、あるいはローカルデータアーキテクチャの変更が導かれる場合がある。

このプロセスは、新しい光リンクよりも目立たないが、より決定的な場合がある。海底ケーブルのスペクトラム、第二の建物エントランス、あるいは新しいルーターは、資金調達、調達、建設に何年もかかる可能性がある。もし ESnet が、実験がデータの全量を生成し始めるまで待てば、予見可能なインフラの問題が緊急事態に変わるだろう。

レビューは予測を確実にはしない。観測機器の遅延、データ削減ソフトウェアの改良、クラウド利用の増加、科学ワークフローの再設計が起こりうる。したがって ESnet は、結果を可能性のある要求の帯域として扱い、どの部分に予備容量、柔軟なアーキテクチャ、あるいは段階的投資が正当化されるかを判断する。

アクセスは制度的なままである。スポンサーシップや追加コストの状況に応じて、サイトは接続費用の一部を負担する場合がある。個々の研究者は1ギガバイトごとに支払うことはなく、ESnet と個人契約を結ぶこともない。しかし、エンドユーザーへの請求がないことは無料を意味しない。ファイバー、電力、機器、人件費、コロケーション、修理は、公的予算またはサイトの負担金から賄われる。

成功の測定は商用通信事業者とは異なる。ESnet は、可用性、将来需要、科学的アクセス、レジリエンス、研究のバランスを取らなければならない。こうした決定は公的資金と長期間使用する設備に関わるため、文書化された前提と検証可能な結果を必要とする。（ガバナンス;ESCC）

バークレー研究所がシステムを運用し、DOE がミッションを定める

制度的な連鎖は、エネルギー省から Office of Science、Advanced Scientific Computing Research を経て、バークレー研究所とその Scientific Networking Division へと至る。カリフォルニア大学が契約に基づき研究所を運営している。これにより連邦政府のミッションと資金調達が、日常のネットワーク運用から分離されている。

Inder Monga が ESnet のエグゼクティブ・ディレクターであり、Scientific Networking Division のディレクターを務める。Chin Guok はチーフ・テクノロジー・オフィサーとして計画とイノベーションを主導し、Adam Slagell はチーフ・セキュリティ・オフィサー、Jon-Paul Herron はネットワークエンジニアリングを率い、Susan Lucas はビジネスオペレーション担当の副責任者である。組織には、光伝送、ルーティング、サイトエンジニアリング、システム、ソフトウェア、セキュリティ、計測、自動化、プロジェクト、科学エンゲージメントの専門家が含まれる。

この構造の幅広さは、ネットワークがファイバーとルーターの集合体であるという見方を修正する。ESnet はスペクトラムを調達し、BGP を運用し、テレメトリを構築し、オープンソースツールを保守し、パケット挙動を調査し、セキュリティ認証を管理し、科学計画を具体的なインフラに翻訳しなければならない。組織は運用主体であると同時に開発環境でもある。

各サイトは ESnet Site Coordinators Committee を通じて関与する。各機関は、ESnet 接続の変更を承認し、ローカルの要件を伝えることができる人物を指名する。これは制度的なユーザーガバナンスであり、ESnet を経由するデータを生み出すすべての研究者の直接投票ではない。

公開情報は、1つのプログラム機能について完全には一致していない。現在のガバナンスページでは Benjamin Brown が担当の ASCR プログラムマネージャーとして名前が挙げられているが、より新しい要件レビュー文書では Carol Hawk が ESnet プログラムマネージャーとして記載されている。信頼できる記述は、この不明確さをそのまま記録し、排他的な現在の責任者を創作しない。

ESnet は自律的な政府機関でも、純粋にテクノクラート的なネットワークでもない。契約、連邦予算、研究所のリーダーシップ、サイト調整が技術的な権限を制限する。同時に、ワークフローが複数の機関を通過し、いずれも完全な経路を制御しない場合、責任の所在はより困難になる。（ESnet リーダーシップ;ガバナンス）

ESnet4 は一般トラフィックから例外的に巨大な科学フローを分離した

2000年代半ば、大型ハドロン衝突型加速器や他の分散実験は、単一の汎用 IP ネットワークには適さない転送を生み出していた。そのため ESnet4 は、IP ベースのコアと、複数の10 Gbps 光接続と動的回線機能を活用した Science Data Network を組み合わせた。

科学が IP を離れる必要はなかった。むしろ、少数の非常に巨大なデータストリームは、一般的な通信とは異なるリソースを必要とした。通常の接続はルーティングのまま、計画的なデータ移動には大容量で予約済みのパスが使用できた。メトロポリタンリングと Internet2 との連携が、研究所とポイント・オブ・プレゼンスを接続した。

このアーキテクチャは OSCARS に本番環境での文脈を与えた。帯域幅と VLAN リソースをソフトウェアで予約し、手動設定に頼る代わりに期限が切れたら解放することができた。ネットワークは、プログラム的にリソースを提供し始めたのである。

この分離は機器と運用の負荷を増やし、ローカルストレージやキャンパスの問題を解消しなかった。しかし、異なるトラフィックパターンには異なるメカニズムが必要な場合があり、同時に完全な経路を監視可能に保たなければならないことを示した。（ESnet4 アーキテクチャ）

Science DMZ はボトルネックを機関の境界に移した

バックボーンの高速化に伴い、ローカルの弱点がより可視化された。100 Gbps の WAN は、データが一般的なエンタープライズファイアウォールを通過したり、サーバーの読み取りが遅かったり、インターフェースでパケットが失われたりすれば、ほとんど役に立たない。ESnet とパートナーは、まさにこのエンドツーエンドのボトルネックに対処するために Science DMZ を開発した。

このモデルは、高性能の Data Transfer Node を、機関の境界近くの制御された経路上に配置する。セキュリティは、ルーターのアクセスリスト、ホストのハードニング、侵入検知、フロー分析、限定されたサービスを利用でき、巨大な転送をオフィスや企業アプリケーションと同じステートフルファイアウォールに通す必要はない。perfSONAR は、スループット、レイテンシ、パケットロス、経路の変化に関する継続的な測定を提供する。

Science DMZ は防護されていないネットワークではない。制御は専用のシステムに合わせて調整され、パッチ適用、監視、アイデンティティ管理、ローカルの責任は引き続き必要である。データ経路から不適切な機器を取り除いても、セキュリティの課題がなくなるわけではない。

Data Transfer Node 自体も適切でなければならない。ネットワークカード、CPU アフィニティ、メモリ、TCP バッファ、ディスク、並列ファイルシステムが、長距離リンクが意図した性能を発揮するかどうかを決定する。ESnet の Fasterdata 推奨事項と技術助言は、これらの詳細を再現可能な手順に変換する。

このモデルはエネルギー省を超えて普及した。ESnet は開発者であり重要な推進者と言えるが、すべての実装を運用または所有しているわけではない。性能と保護は、ある機関がストレージ、Data Transfer Node、セキュリティ、ローカルネットワークをどのように統合するかに依存する。

Science DMZ はトラブルシューティングも変えた。もはや距離だけでは低性能の説明にならない。エンドポイント、インターフェース、境界、WAN を一緒に測定しなければならない。1つの弱い部分がチェーン全体の性能を決定しうる。（Science DMZ）

ESnet5 は大陸規模の100 Gbps を本番運用に導入した

米国復興・再投資法により、Advanced Networking Initiative に6,200万ドルが提供され、100 Gbps の長距離プロトタイプと ESnet5 への移行が支援された。ネットワークは2012年末に、全国的な光ファイバーフットプリント上のスペクトラム権と、Internet2 との緊密な連携のもとで本番運用を開始した。

エネルギー省と ESnet は当時、これを世界最速の科学ネットワークと称した。初期の大陸規模100G の本番構築に関する歴史的な記述として、これは利用可能である。400G を導入する複数の研究ネットワークが存在し、インターフェース速度、バックボーン容量、光スペクトラムについて異なる用語が用いられる2026年においては、中立的なランキングではない。

この投資はルーターだけにとどまらなかった。スペクトラム権は、既製の回線の繰り返し購入よりも、将来のアップグレードに対するより大きな制御を ESnet に与えた。しかしそれはまた、プログラムを長期的に特定のルート、施設、ベンダーに結びつけることにもなった。

ESnet5 は追加容量を提供し、再びローカルのボトルネックを可視化した。サイトは適切な接続、Science DMZ、高速ストレージ、受信側の計算能力を必要とした。したがって高速化は、perfSONAR とエンドツーエンドエンジニアリングの価値を高めた。

持続的な貢献は、100G を技術デモンストレーションから運用科学インフラへと移行させたことにある。同時に ESnet5 は、ESnet6 のための光、運用、ソフトウェアの基盤を準備した。（ESnet5 100G の開始）

ESnet6 は光、パケット、ソフトウェアによるシステムである

ESnet6 プロジェクトは2017年に正式に開始され、約6年間の設計と構築を経て2022年に完了した。一般公開は2022年10月11日に行われた。バークレー研究所は当時、約15,000マイルの専用光ファイバーインフラ上で46 Tbps 以上の集約容量、バックボーンリンクは400 Gbps から1 Tbps と発表した。2024年の年次報告書では、集約値は57 Tbps に増加し、一部のバックボーン構成は1.2 Tbps に達している。

これらの数字は異なる年のものであり、成長するシステムを説明している。また、アーキテクチャ全体を表しているわけでもない。ESnet6 は、ファイバーおよびスペクトラム権、光回線システムと増幅器、コアおよびサービスルーター、プログラマブルテレメトリ、自動化、プライベートネットワーク、オンデマンド回線、クラウドおよびインターネット相互接続、パフォーマンス計測、セキュリティ管理を含む。

光レイヤーは複数の波長を伝送し、複数のパケットリンクを束ねることができる。したがって、1.2 Tbps と表記されるリンクは、必ずしもサイトが完全に利用できる単一の Ethernet インターフェースではない。利用可能容量は、チャネル、保護方式、ルート、機器、ポリシーに依存する。

ESnet6 は、ESnet5 の単なる高速版としてではなく、ソフトウェア駆動のネットワークとして構築された。自動化はサービスを設定し、機器をより一貫した状態に保つ。テレメトリは診断を支援し、研究用フックとテストベッド機能は、定義された本番環境の境界内での実験を可能にする。

新しいソフトウェア層は手動作業を削減するが、エラーの影響範囲も拡大する。誤ったテンプレート、ルーティングポリシー、あるいはインベントリ情報は、多数の機器に伝播しうる。したがって安全な自動化には、段階的な導入、独立したレビュー、限定された権限、文書化された復旧手順が必要である。

このように、ネットワーク世代の更新は、光、パケット層、ソフトウェア、運用、容量の前提を一緒に刷新する。品質は、移行、可用性、科学的利益によって示され、公表された最大値だけではない。（ESnet6 の開始;2024年次報告書）

57 Tbps が意味すること、意味しないこと

2024年の年次報告書は、約15,000マイルの光ファイバーインフラ、78か所のルーター拠点、278か所の光増幅器拠点、400 Gbps から1.2 Tbps のバックボーンリンク、57 Tbps の集約容量を報告している。これに加えて、2.7 Tbps の大西洋横断容量、少なくとも400G の接続を持つ7か所の米国国内拠点がある。

ESnet はエネルギー省の全17国立研究所を接続し、28の DOE ユーザーファシリティ、5か国にわたる研究、商用、その他のネットワークとの277の関係、30,000以上の組織ユーザー、24州に居住する137名の職員・契約者を報告している。これらの数字は異なる集団を表しており、単純に合計して「顧客数」としてはならない。ルーター、施設、パートナーネットワーク、組織ユーザー、人員は別個の指標である。

集約容量は分散リソースの合計であり、単一パスのスループットではない。物理的なサイト接続は10、100、400 Gbps で提供される。バックボーンリンクは複数のチャネルやインターフェースで構成されうる。実際のトラフィックは常に構築容量を下回り、均等に分布していない。

2024年、ESnet は1.77エクサバイトを転送し、2023年の1.7エクサバイトから4％増加した。ESnet は1989年以来、年間約55％の歴史的平均成長率を計算している。単一年の低調な数字は意味があるが、将来の観測機器、人工知能、あるいは稀なイベントが、より少ない容量で済むことを証明するものではない。

トラフィックは集中している。年次報告書によれば、約半分が大型ハドロン衝突型加速器の活動によるものだった。フェルミラボは最大の外部送信元で136ペタバイト、NERSC はエネルギー省内の最大の受信者で75.3ペタバイト、オークリッジはエネルギー省からの最大の送信元で58.3ペタバイトだった。こうした数字は重要なワークロードを示すが、科学的価値の全体像ではない。

「専用光ファイバー」という表現は、すべてのケーブルの法的所有権を証明するものではない。インフラは、ダークファイバー、スペクトラム、リットサービス、通信事業者インフラ、パートナーパスを含む場合がある。ESnet は主要経路で専用権を管理するが、所有権と修理責任は経路によって異なる。

57 Tbps という数字はシステムの規模を表すが、科学的なインパクトを直接示すものではない。インパクトは、伝送、ルーティング、サイトネットワーク、ストレージ、計算、アプリケーションが完全なワークフローとして機能するかどうかにかかっている。（ESnet by the Numbers）

AS293 は一般エンドユーザー市場ではなく、ミッションのためにルーティングする

ESnet の公開自律システムは AS293 である。これは、エネルギー省のサイト、研究ネットワーク、商用ネットワーク、有料のトランジットプロバイダーと経路を交換し、そのポリシーを科学的到達可能性、レジリエンス、制御された相互接続に合わせて調整している。

ピアリングポリシーは、BGP、Internet Routing Registry および PeeringDB の最新のエントリ、MANRS に沿ったルーティングセキュリティの実践を要求する。ESnet は RPKI 無効のルーティングを破棄し、新規セッションには IPv6 またはデュアルスタックを要求する。IPv4 のみの新規ピアリングは認められない。

プライベート直接相互接続は100G から開始し、400G が強く推奨される。このしきい値は、大規模な科学データフローとプライベート関係の運用負荷を反映している。ESnet はすべてのネットワークと直接ピアリングする必要はなく、科学的経路を改善する、トランジットへの依存を減らす、または重要なパートナーと接続する接続を追求する。

公開された BGP コミュニティは、ESnet サイト、研究教育ネットワーク、商用ネットワークを区別する。サイトはこれらから独自のポリシーを導き出せるが、下流のネットワークが同じ方法でこれらのマーカーを解釈する義務はない。

Hurricane Electric と Lumen は、ピアリングや研究ネットワーク関係を通じて効率的に到達できない宛先への有料公共トランジットを提供している。これにより到達範囲が補完されるが、ESnet が一般消費者向けインターネットプロバイダーになるわけではない。

RPKI は、不正なアナウンスの一部カテゴリを防止するが、すべての経路漏洩や設定ミスを防ぐわけではない。ハイジャック監視とブラックホーリングが対応を支援する。ブラックホーリングは、攻撃を受けているプレフィックスを意図的に到達不能にすることで他のシステムを保護する。

（ピアリングポリシー）

物理接続、プライベートネットワーク、クラウドパス

ESnet は10、100、400 Gbps の物理アクセスを提供する。ポイント・オブ・プレゼンスの近くでは直接接続が可能であり、離れた施設では、通信事業者からダークファイバーやリット回線を調達するサービスオンランプを利用できる。このローカル通信事業者への依存は、全経路における主要なパフォーマンスまたは障害リスクとなりうる。

レイヤー3 IP は IPv4 および IPv6 ルーティングを提供する。レイヤー3 VPN は、複数サイトを持つプログラム向けに論理的に分離された IP および BGP 環境を作り出す。レイヤー2 VPN は、静的に、または OSCARS を介してポイントツーポイントまたはマルチポイントイーサネットを提供する。これにより、実験、施設、クラウドが制御されたプライベートパスを得ることができる。

プライベートサービスは必ずしも物理的な分離を意味しない。論理的な分離は、共有プラットフォーム上のルーティングインスタンス、ラベル、アクセス制御、運用慣行に依存する。このプラットフォームでの障害は、複数のサービスに影響を与える可能性がある。

Cloud Connect は、AWS、Microsoft Azure、Google Cloud、Oracle へのプライベート接続を提供する。このようなパスは公共インターネットの一部を迂回し、経路により大きな制御をもたらす可能性がある。しかし、クラウドの誤設定、プロバイダの障害、下り（エグレス）コスト、リージョン制限、アイデンティティの問題、ベンダーロックインを解消するわけではない。

ポートフォリオには、セカンダリ DNS、時刻サービス、経路ハイジャック監視、ブラックホーリングも含まれる。各サービスは特定のリスクに対処するが、性能の高いローカルアーキテクチャの代わりにはならない。プライベートパスがストレージを高速化するわけではなく、安全な接続が設定不備のあるクラウドアカウントを自動的に安全にするわけでもない。

価値は、物理アクセス、ルーティング、論理的分離、相互接続、運用支援の組み合わせから生まれる。エンドポイントとサイトネットワークは引き続きローカルの責任である。

（ネットワークサービスメニュー）

OSCARS は容量を予約可能にする

一般のインターネットトラフィックは、その時点で利用可能な容量を使用する。一部の科学データ転送は計画的で大規模であり、遅延が生じると大きな価値を失う。OSCARS は、認可されたユーザーとアプリケーションが、定義された期間にわたってネットワークリソースを予約することを許可する。

予約には、エンドポイント、開始時刻と終了時刻、帯域幅、VLAN 情報、除外する経路、その他の条件を含めることができる。システムはトポロジーと既存の予約を確認し、適切なパスを見つけ、必要な設定をインストールし、期間終了後にそれを削除する。

自動化は、数日かかる手動の調整を、科学ワークフローが要求できるサービスに変える。ネットワークは、ストレージや計算時間と並んで計画可能なリソースとなる。

OSCARS はオープンソースの本番ソフトウェアであり、ESnet 以外でも導入や試行が行われている。ただし、一部の公開ページには過去の情報が含まれているため、そこに記載されているすべての組織が現在も同一のインストールを行っていると見なすべきではない。

予約はアプリケーションのスループットを保証するものではない。低速なストレージ、ローカルでのパケットロス、不適切な OS チューニング、並列データストリームの不足が、予約された速度の達成を妨げる可能性がある。さらに、ポリシーは優先順位、プリエンプション、競合、未使用の予約を規定しなければならない。

OSCARS は、ESnet が運用上の慣行を再現可能なインフラストラクチャへと具体化した方法を示している。ソフトウェアはプロビジョニングを自動化するが、認可とリソース割り当ては引き続き機関の決定事項である。（OSCARS）

SENSE はネットワークとエンドシステムの協調を試みる

ストレージ、転送サービス、計算リソースが不足している場合、予約済み回線だけでは役に立たない。SENSE は、ネットワークとエンドシステムを、アプリケーションが複数の管理ドメインにわたって発見・交渉できるリソースとして記述する。

ワークフローは、2つの施設間である速度でデータセットを転送するなど、望ましい結果を定式化する。SENSE は、関与するリソースのモデルを収集し、パスや転送をプロビジョニングし、テレメトリを観測し、その後リソースを解放する。各組織は独自のポリシー、アイデンティティ、権限を保持する。

LHC データチャレンジ2024では、SENSE ワークフローが Caltech とカリフォルニア大学サンディエゴ校間で330 Gbps を維持した。これはかなりの規模での具体的な実証である。ただし、2024年次報告書は SENSE を依然として研究プロジェクトであり、普遍的な本番サービスではないと位置づけている。

OSCARS は既知のサービスドメイン内でリソースを予約する。SENSE は、複数の所有者とリソースタイプにわたって結果を調整しようとする。後者のタスクは、より大きな科学的利益をもたらす可能性がある一方で、部分的な障害、モデルの矛盾、権限の問題、タイミングの不整合のリスクを高める。

宣言されたワークフローがその性能を達成しない場合、原因はネットワーク、ストレージシステム、資格情報、リソースモデル、アプリケーションにある可能性がある。オーケストレーションは、そのテレメトリが合意された状態のどの部分が満たされなかったかを示すときに、運用上の価値を持つようになる。

したがって、本番成熟度は、単一の最高デモ値ではなく、反復的な利用実績、明確なサポート責任、復旧手順、マルチドメインでの採用によって評価されるべきである。（SENSE;2024年応用研究活動）

EJFAT はイベントデータをリモート計算リソースに直接届ける

従来の流れでは、科学データをファイルに書き込み、保存し、後で転送する。これは堅牢だが、フィードバックが遅れ、ピーク負荷のためにローカル容量が必要になる。EJFAT は、UDP カプセル化されたイベントを観測機器から利用可能な計算ワーカーへ、遠隔のスーパーコンピューティングセンターにあるものも含めて配信する。

FPGA ベースの SmartNIC がイベント ID を読み取り、同一イベントのすべてのフラグメントを単一のワーカーに送信する。制御プレーンは、利用可能な計算ノードに応じて分配を調整する。このイベントアフィニティが、科学的な関連性を認識せずに個々のパケットを分散させる汎用ロードバランサーと EJFAT を区別する点である。

2024年4月、ジェファーソン研究所（バージニア州）のデータが100 Gbps でカリフォルニア州の Perlmutter へストリーミングされ、ディスクへの中間保存なしで処理された。ESnet によれば、その後のテストでは複数の施設で約2万コアが使用された。これらは特定の結果であり、あらゆる観測機器に対する保証ではない。

2026年7月に公表された Facility for Rare Isotope Beams（FRIB）の事例では、約5～6 Gbps で生データがストリーミングされた。15時間で生成された615 GB のデータが、8つの Perlmutter ノードで機械学習推論を用いて20分で処理された。科学的な時間短縮の価値は、ピーク転送速度よりも重要だった。

このモデルは、全国規模の計算資源の共有利用を可能にするが、実験をネットワーク、FPGA、セキュリティ、HPC 割り当てに直接依存させる。障害は、後のファイル転送を遅延させるだけでなく、実行中の測定に対するフィードバックを損なう可能性がある。

EJFAT は高度なプロトタイプであり、発展途上のプラットフォームであって、すべての ESnet ユーザー向けの標準サービスではない。より広範な導入には、観測機器の統合、サポート、セキュリティモデル、パケットロス時の明確な挙動が必要である。（EJFAT;FRIB の成果）

High-Touch、perfSONAR、iperf3 がパスを見える化する

高性能ネットワークは、平均を示すグラフ上では輻輳しているように見えなくても、障害を起こすことがある。マイクロバーストがキューを満たし、パケットが順不同で到着し、損失が一方向でのみ発生し、あるいは2回のテストの間に経路が変化する場合がある。

High-Touch は、従来のサンプリングよりも詳細なパケットおよびフローテレメトリのためにプログラマブルハードウェアを使用する。2024年、このシステムは LHC のスループット、Rubin パスでのパケット並び替え、セキュリティイベントの調査に役立った。高い精度は、ストレージ、計算能力、アクセス保護のコストを伴い、さらなるデータプライバシーの課題を生む。

perfSONAR は、スループット、レイテンシ、損失、経路の挙動を分散測定する。ESnet は設立パートナーであり、30か所以上の拠点を運用し、2024年には世界中で報告された2,000以上の測定ポイントからなるネットワークの一部だった。この分散アーキテクチャは、劣化が始まった区間を特定するのに役立つ。

iperf3 は、IPv4 または IPv6 上で TCP、UDP、SCTP のトラフィックを生成する。ESnet はこのツールを保守しており、特定の条件下で200G パス上で150 Gbps を超えるテストを報告している。合成テストはストレージもアプリケーションも模倣しないが、ネットワークとエンドポイントの問題を切り分けるための制御された基準を提供する。

3つのアプローチは異なる問いに答える。High-Touch は本番トラフィックを高精度で調査し、perfSONAR は機関間の経路を測定し、iperf3 はホストとネットワークの転送可能性能をテストする。これらが組み合わさることで、各運用者が自分たちの区間だけを正常と宣言し、科学ワークフローが遅いまま放置されることを防ぐ。（パフォーマンスツール;2024年運用革新）

時に、トラフィックを減らすことが最善の容量アップグレードである

人気のある科学データセットは、同じ地域で繰り返しアクセスされる。2024年に調査された5つの地域キャッシュは、WAN トラフィックを1日平均33 TB 削減し、リクエストの3分の2をローカルで処理し、平均キャッシュヒット率94％を達成した。

その効果は場所によって異なり、南カリフォルニアでは69.3％、シカゴでは48.4％、ボストンでは6.6％の WAN トラフィック削減となった。データの人気度、ユーザーの地理的分布、ストレージ容量、追い出しポリシーが拠点の有用性を左右する。

キャッシングは、「バックボーンをどれだけ高速化できるか」から「そもそもどのデータがバックボーンを通過する必要があるのか」へと問いを変える。ローカルコピーはレイテンシとトラフィックを削減し、遠隔での障害時にも利用可能であり続ける。一方、再利用性の低いデータのキャッシュは、見合う利益なしにストレージと運用コストを消費する。

この手法は、ネットワークをデータガバナンスに近づける。何をコピーしてよいか、どのように最新性を担保するか、誰がアクセスできるか、誤った内容や古い内容をどのように削除するかといった決定が必要になる。

この研究は、あらゆる科学コミュニティに対して94％のヒット率を保証するものではなく、ユニークなライブデータストリームのための新たな容量に取って代わるものでもない。しかし、データ配置とネットワークアーキテクチャが協調して設計されうることを示している。（2024年応用研究）

大西洋横断科学には容量だけでなく物理的多様性が必要である

ESnet の米国ミッションは、国際的な責務を伴う。2024年次報告書によれば、トラフィックの約半分が大型ハドロン衝突型加速器に関連するものだった。したがって、欧州と北米間の障害は、国内の全ルーターが機能していても、中核的な科学負荷に打撃を与えうる。

2024年から2025年初頭にかけて、報告された大西洋横断容量は約700 Gbps から2.7 Tbps に増加した。ESnet は Aqua Comms と、ニューヨーク、ダブリン、ロンドン間のファイバーペアの25％に関する15年契約を締結し、GÉANT と複数のケーブルシステムにわたって容量とコストを共有している。目標は、4つの物理的に異なる経路で最低3.2 Tbps を確保し、10 Tbps 超への拡張余地を持つことである。

2つの論理回線が同一のケーブル、同一の陸揚げ局、同一の地上チャネルを共有し、同時に故障する可能性がある。海底ケーブルの修理には、許可、船舶、適切な天候、そして数週間から数か月を要することがある。ESnet は同時に3本のケーブル障害を想定して計画しており、単一のバックアップ経路では不十分である。

長期的なスペクトラム権は ESnet にアップグレードに対するより大きな制御を与えるが、プログラムを特定のシステムやパートナーに結びつける。ESnet は、すべてのケーブルを所有したり自ら修理したりすることなく、多様性を設計できる。

GÉANT との協力は、自立したネットワーク間の協力であり、統一されたグローバルな事業者ではない。両組織はコストと容量を共有できるが、各々が自らのインフラストラクチャと組織的責務に責任を負う。したがってエンドツーエンドの性能には、透明性のあるハンドオーバー、共通の測定、障害への協調的な対応が必要である。（大西洋横断マイルストーン;2024年次報告書）

科学的需要は持続負荷、稀なバースト、厳格な期限を組み合わせる

大型ハドロン衝突型加速器は、CERN、各国の研究所、大学との間で継続的に大規模なデータフローを生成する。高輝度運転では、検出器データ、シミュレーション、複製が増加すると見込まれる。ネットワークは通常運用でこの負荷を支えつつ、ケーブルやサイトの障害に備えた代替経路を用意しなければならない。

ベラ・C・ルービン天文台は時間的な制約を課す。約13 GB の画像が約30秒ごとにチリから SLAC へ送られ、突発的な天文現象に関するアラートが生成される必要がある。ESnet は約12,000マイルで7秒未満という目標を掲げている。この経路には南米および国際区間のパートナーネットワークが含まれ、ESnet 単独では制御できない。

DUNE は例外的なバーストを計画している。超新星爆発が起これば、最大600 TB のデータを100秒以内に移動させる必要が生じる可能性があり、同プログラムは20年間で約900 PB を生成すると見込まれる。これらは将来の要件であり、現在の通常トラフィックではない。稀な天文イベントは、追加容量の調達を待つことができない。

核融合研究は、国際的な距離と長い時間軸を結びつける。2026年5月、176 TB の ITER データがマルセイユからサンディエゴの DIII-D へ約80 Gbps で転送された。ITER はまだ建設中であり、このテストは準備を示すものであって、通常の完全運用ではない。計画文書は、将来の一部ワークフローについて1日あたり約2 PB、最低200 Gbps を挙げている。

FRIB、ジェファーソン研究所、光源、電子顕微鏡などでは、データ収集中の解析が必要な場合がある。遠隔の計算リソースと機械学習推論が、貴重な測定時間中にフィードバックを提供できる。気候・地球科学は、大規模シミュレーションとフィールドセンサーを補完する。

平均値はこれらのパターンを記述できない。ESnet は、同じ公共インフラの中で、持続負荷、稀なバースト、国際協力、ライブストリーミング、厳格な期限をサポートしなければならない。（ルービン・ケーススタディ;DUNE ケーススタディ;要件レビュー）

要件レビューは研究計画をネットワークアーキテクチャに翻訳する

ESnet は、ファイバー、ルーター、海底ケーブル容量を調達する前に、最初のデータセットを待つことはできない。研究プログラムは、5年から10年の期間にわたり、観測機器、データ量、ストレージ、計算目標、期限、パートナー、クラウド利用、レジリエンスを記述する。次いでエンジニアリングチームがワークフロー全体を精査する。

レビューは協調設計の一形態である。200 Gbps の要求が、低速なストレージ、単一の建物への引き込み口、不適切なファイアウォールを可視化させるかもしれない。結果として、新しいサイト接続、Science DMZ、追加のケーブル、オーケストレーションソフトウェア、あるいは観測機器の変更が導かれることがある。

2025年に完了し、2026年1月に公表された高エネルギー物理学レビューは、127名の寄稿者と14のケーススタディを約400ページの報告書にまとめた。すべての予測を保証するものではないが、スケジュールや技術が変化する際の共通の基盤を提供する。

科学的需要は平準化されてはいない。稀なイベントや新しい AI ワークフローが、前年の成長率よりも重要になることがある。要件レビューは驚きを減らし、プログラム、サイト、データセンター、ESnet がそれぞれ何を準備すべきかを示す。

このプロセスは責任も分散する。ある研究所は、不適切なキャンパスネットワークを全国バックボーンが補ってくれると想定できない。逆に ESnet は、バックボーンが増強されればサイトが自動的に必要なストレージシステムを用意するとは仮定できない。文書化された計画は、こうした依存関係を可視化する。（レビュー報告書）

Wireless Edge と QUANT-NET がファシリティの限界をテストする

フィールド観測機器は、常に光ファイバー、商用モバイル通信、安定した電源の近くにあるとは限らない。Wireless Edge は、場所に応じて技術を組み合わせる。2026年6月に公表されたネバダ州の地熱設備では、CBRS 帯域のプライベート4G、Wi-Fi HaLow、通常の Wi-Fi、Starlink、マイクロ波、自営のモバイルマストが使用された。

これは1つのサイト向けのソリューションであり、全国的な ESnet サービスでも光ファイバーの代替でもない。地形、天候、周波数、電力、衛星事業者が結果を制約する。重要なのは、ESnet がデータ収集、バックホール、WAN を単一の科学的経路として扱い、最寄りの固定回線接続点で自らの責任を終わらせなかった点である。

QUANT-NET は、バークレー研究所とカリフォルニア大学バークレー校の2拠点間に約5キロメートルにわたる3ノードのテストベッドを構築している。イオントラップ、光子、エンタングルメント交換、ベル測定、時間制約の厳しい調整、モジュラー制御ソフトウェアが含まれる。

ESnet の役割は主に古典的な制御とオーケストレーションにある。実験のたびに手動で設定しなければならないシステムは、共有可能な施設として運用するのが難しい。オープンな制御ソフトウェアは、実験の再現性を高め、異なる装置間の調整を改善しうる。

このプロジェクトは本番運用中の量子インターネットではなく、エンタングルメントを介して大規模な古典的研究データを転送するわけでもない。Wireless Edge と QUANT-NET は、広範な可用性によってではなく、再利用可能な知識、ソフトウェア、技術的手順によって評価されるべきである。（Wireless Edge;量子ネットワーキング研究）

American Science Cloud と ESnet7 は計画の焦点をサイトからワークフローへ移す

Integrated Research Infrastructure と American Science Cloud は、観測機器、データ、ストレージ、人工知能、スーパーコンピューティングを連携環境へと結びつけることを目指している。ESnet は伝送とオーケストレーションの一部を提供する。EJFAT、SENSE、OSCARS、Cloud Connect、High-Touch はそれぞれ部分的な問題を解決するが、単独でシステム全体を構成するわけではない。

Confab26 では、Inder Monga が American Science Cloud のプロジェクト副責任者として紹介され、プログラムにはデモンストレーションや ESnet7 に関するセッションが含まれた。これは進行中の制度的作業を示すものであり、完成した普遍的な科学クラウドではない。アクセスルール、アイデンティティ、リソースインベントリ、サポート、データ責任はいずれも開発途上にあった。

ESnet7 は計画段階にあり、ESnet6 が現在の本番ネットワークである。入手可能な文書は、最終的なアーキテクチャ、完全な資金計画、ベンダー選定、開始時期、移行計画を特定していない。

次世代ネットワークは、速度に加えてテレメトリ、インテリジェンス、パケット検査、調整を重視する可能性が高い。高速なリンクだけでは、アプリケーションに計算能力がどこで利用可能かを伝えたり、マイクロバーストを説明したり、ドメイン横断的なサービスが正しく終了したことを証明したりすることはできない。

したがってガバナンス上の問いは、過度に強力で複雑な中央コントローラーを生み出すことなく、科学ワークフローのどの程度をネットワークが理解し制御すべきかである。オーケストレーションの技術的可能性は、制限された権限と明確な責任と結びついたままでなければならない。（Confab26;2024年応用研究）

連邦資金が施設を支えるが、企業の売上ではない

ESnet は主に、ASCR の活動区分「High Performance Network Facilities and Testbeds」を通じて資金提供を受けている。2027年度の予算要求では1億300万ドルが提案され、前年度の認可額は9,726.1万ドルであった。

この予算項目は、公開されている中で最良の規模指標だが、テストベッド、ソフトウェア保守、研究、アップグレードも含んでいる。ESnet の損益計算書でもなければ、本番バックボーンの年間費用を正確に示すものでもない。

公的資金は、長期的なスペクトラム確保、オープンソース保守、商用需要に先立つ容量構築を可能にする。同時に、プログラムを連邦議会の決定、エネルギー省の優先順位、バークレー研究所の運営契約に依存させることにもなる。

サイトユーザー費用ポリシーに基づき、スポンサーシップや追加的労力に応じて接続費用が機関に転嫁される場合があるが、個々の研究者に請求されることはない。したがって、1億300万ドルを「ESnet の売上」と呼ぶのは誤りである。

独立した会計がないことが財務分析を制約する。公開文書は、ESnet 単独での完全なベンダー集中度、減価償却計画、サイト別原価計算、年間設備投資を示していない。信頼できる記述は、連邦プログラムが、より広範な予算活動の中で、本番運用、刷新、ソフトウェア保守、研究に資金を提供しているということである。（ASCR FY2027 予算;ESCC）

可用性、ルーティングセキュリティ、テレメトリは独自の責務を生む

2024年、特定の指標に含まれる10の Office of Science サイトは、計画保守を除き100パーセントの可用性を達成した。報告書はさらに、より広範な測定で99.99パーセントを挙げている。対象範囲は異なり、すべてのサービス、サイト、国際経路での障害ゼロを意味するものではない。

サイトレジリエンスプログラムは、建物への引き込み、ルーター、電源、共通の故障ドメインを評価する。研究所のケーブル経路、部屋、電源が1つしかなければ、冗長なバックボーンも役に立たない。

RPKI、ハイジャック監視、ブラックホーリング、自動化はリスクを低減するが、排除はできない。誤ったテンプレートは急速に伝播する可能性があり、経路漏洩は正当な送信元を使用しうる。段階的な導入、独立した検証、復旧手順が引き続き必要である。

データポリシーは、東海岸と西海岸でレプリケーションされた、ルーター使用率と NetFlow の無期限保存を認めている。アクティブな perfSONAR 測定データは、バックアップなしで単一ディスクに6か月間保存される。ESnet は個人の加入者を管理していないが、メタデータはエンドポイント、機関、時間的パターンを明らかにしうる。

これらの記述は矛盾しない。ESnet はすべてのエンドポイントユーザーと個人的な会員関係や課金関係を持っているわけではないが、それでも接続やデータフローに関する技術的なメタデータを処理しうる。

可視性の向上は運用とセキュリティを改善すると同時に、データ最小化、アクセス、目的制限、保存期間レビューの要求を高める。High-Touch は診断上の有用性と、収集される情報の機微性の両方を増幅させる。（可用性マイルストーン;データポリシー;ピアリング）

ESnet が示すもの

高速化の歴史は事実である。前身のネットワーク、ESnet4、100G の ESnet5、マルチテラビット級の ESnet6 と続く。より重要なのは、帯域幅だけでは科学的課題を解決できなくなった時点で、組織がアーキテクチャを変更したことである。

Science Data Network は例外的なデータフローを一般トラフィックから分離した。OSCARS は容量を予約可能にした。Science DMZ は機関の境界を再設計した。perfSONAR と iperf3 は検証可能な測定を提供した。SENSE は複数ドメインを調整し、EJFAT は WAN を検出器ループに組み込んだ。キャッシングは需要を減らし、海底スペクトラムは国際的な成長への制御を強化した。

権限は分散されたままである。エネルギー省と ASCR が資金を提供し使命を定める。バークレー研究所がシステムを運用する。カリフォルニア大学が契約上の制度的枠組みを提供する。各サイトがローカルの変更を承認し、パートナーネットワーク、通信事業者、クラウド、ベンダーが他の部分を管理する。パフォーマンスは調整によって生まれ、全経路の所有によってではない。

将来の成熟度も同様に正確に示されなければならない。ESnet7 は計画段階であり、SENSE は直近の完全な報告書で研究と位置づけられ、EJFAT は発展途上のプラットフォーム、QUANT-NET は実験的であり、American Science Cloud は完了していなかった。入手可能な資料には、現行のあらゆる指標で ESnet を世界最速の科学ネットワークと認定する独立したランキングは含まれていない。

最上級の表現よりも、信頼できる結論の方が有用である。ESnet は、分散した科学をエンドツーエンドで運用可能にする点で、公開資料が示す最も高性能な科学ネットワークの一つである。その長期的な価値は、新しい観測機器、データセンター、パートナーが、制御と責任を不透明な中央層に隠すことなく、堅牢なワークフローとして接続できるかどうかによって示されるだろう。

情報源