概要
- Energy Sciences Network(一般に ESnet と呼ばれる)は、米国エネルギー省(Department of Energy)の Office of Science が所管する科学用ネットワークインフラで、Lawrence Berkeley National Laboratory が運用している。商用通信事業者でも独立企業でもなく、科学のために構築された連邦インフラである。
- ESnet6 は、約15,000マイルに及ぶ専用ファイバー、光システム、パケットルーティング、プライベートネットワーク、クラウドや研究ネットワークとの相互接続、測定ツール、プログラマブルなサービスで構成される。2024年の年次報告書には、総容量57Tbps、年間トラフィック1.77エクサバイトと記録されているが、これらの数値はシステムの異なる側面を測ったものであり、すべてのユーザーが57Tbps の経路を利用できるという意味ではない。
- ESnet の最も永続的な貢献のひとつは、エンドツーエンドのエンジニアリングモデルかもしれない。Science DMZ、perfSONAR、iperf3、OSCARS、SENSE、High-Touch、EJFAT は、バックボーンの容量が有用な科学性能に転換されるかどうかを左右する、ローカルシステム、ネットワーク予約、テレメトリ、リアルタイムのデータ移動を扱う。
- 次の戦略的ステップは、単により高速なバックボーンではない。American Science Cloud、統合研究インフラ、ESnet7 の計画、実験機器からのリアルタイムストリーミング、フィールド向け無線ネットワーク、量子ネットワーク制御は、科学ワークフローに直接参加するネットワークを指し示している。成熟度はさまざまであり、計画やデモンストレーションを普遍的な本番サービスとして紹介すべきではない。
科学ネットワークであり、小売インターネットプロバイダーではない
ESnet を理解する最も簡単な方法は、科学データを追いかけることだ。検出器、望遠鏡、顕微鏡、あるいはシミュレーションが、研究所や研究施設で情報を生み出す。ローカルの収集システムがデータを集め、ストレージサーバーと転送サーバーが輸送に備えてデータを整え、研究所のネットワークが管理された境界まで運ぶ。そこから先は、ESnet の接続がデータを米国内を横断させ、大西洋を越えさせ、Department of Energy のスーパーコンピュータに到達させ、研究教育ネットワークを経由させ、商用クラウドに入れることもできる。その結果は、分析済みのデータセット、アラート、モデル、あるいは実験の次のステップに関する決定として戻ってくる。
この経路全体をひとつの組織が制御しているわけではない。実験機器のチーム、研究所のネットワーク、地域研究ネットワーク、クラウドプロバイダー、国際パートナー、スーパーコンピューティング施設は、それぞれ異なる事業者が担っている可能性がある。ESnet はミッション指向の長距離ネットワーク層を提供し、経路がひとつのシステムとして機能するよう他の事業者と協力する。遅いストレージサーバーや混雑したキャンパスリンク、不適切なファイアウォールは、高速な全国バックボーンの容量を無駄にしうる。逆に ESnet の障害は、よく設計されたローカル施設の運用を止めうる。
制度的な位置づけも特殊だ。ESnet は Department of Energy の Office of Science が所管するネットワーク施設であり、主に Advanced Scientific Computing Research(ASCR)を通じて資金提供・監督され、Lawrence Berkeley National Laboratory の Scientific Networking Division が運用している。Berkeley Lab 自体は、Department of Energy のために University of California が研究所運営契約に基づいて管理している。ESnet には、特定された株主も、株式も、企業価値評価も、独立した商業バランスシートもない。ネットワークサービスを販売する企業ではなく、連邦の科学インフラとして記述されるべきものだ。
研究者が ESnet に接するのは、通常は間接的だ。彼らは、トラフィックが ESnet を通過する実験機器、スーパーコンピュータ、研究所サービス、大学の接続、協力ネットワークを利用する。ESnet はサイト単位の機関ユーザーとエンドユーザーを区別し、個々のエンドユーザーを正式に登録・追跡していないとしている。したがって、2024年の年次報告書に記載された3万人超の組織ユーザーという数字は、特定時点の制度的指標であり、正確な加入者数ではない。
この運用モデルは、従来の通信事業者との比較が不完全である理由を説明している。ESnet はルーティング、光輸送、相互接続を運用するだけでなく、要件レビューの実施、オープンソースツールの開発、実験的サービスの構築、サイト横断的なエンドツーエンドの性能問題の修正支援も行う。その製品は小売接続ではない。地理的に分散した科学施設を、ひとつの共有マシンの構成要素として機能させる能力こそが製品なのだ。(ESnet のガバナンス;ネットワークサービス)
歴史は乏しい計算資源と音響カプラーから始まる
ESnet の公式な歴史は、計算資源も長距離通信も乏しかった1970年代半ばに遡る。Lawrence Livermore National Laboratory の Controlled Thermonuclear Research Computer Center では、職員が借用した Control Data Corporation 6600 を4台の音響カプラーで接続した。機器も速度も別の時代のものだが、運用上の課題はいまも見覚えがある。つまり、専門的な科学コミュニティが、参加機関すべてに再現するには高価すぎる計算能力へのリモートアクセスを必要としていたのである。
Department of Energy のさまざまな研究コミュニティは、1970年代後半から1980年代前半にかけて、それぞれ独自のネットワークを開発した。高エネルギー物理学と磁気核融合研究は、施設、協力者、データフローが異なり、HEPnet や MFEnet といった前身ネットワークはそうした境界を反映していた。商用サービスが十分な到達範囲、性能、運用上の注意力を提供していなかった時代には、特定目的のネットワークは合理的だった。同時にそれは重複も生んだ。各プログラムが回線を個別に交渉し、技術を維持し、人材を育成し、長期的な協力と更新が断片化したのである。
1986年に ESnet が正式に設立され、こうした機能はより広範な科学ネットワークに統合された。この変化は技術的であると同時に組織的だった。共有施設なら、複数のプログラムの需要を予測し、全米リンクを運用し、国際接続を調整し、専門人材を維持できる。また、単独プロジェクトの関心事だった能力を、省全体のインフラ計画へと転換できた。
初期モデルは、今も見られるいくつかの特徴を確立した。ユーザーは小売市場ではなく科学ミッションによって定義された。中央コンピュータと実験機器が、共有の公共投資を正当化した。ネットワークの設計は、長期にわたる研究プログラムに従った。運用には、通信システムと障害の科学的帰結の両方を理解できる人材が必要だった。需要は不定期に発生した。ひとつの実験が、通常のベースラインをはるかに超えるトラフィックを生み出すことがあったからだ。
Berkeley Lab にも独自のネットワークの歴史がある。1974年に CDC 6600 を ARPANET に接続し、その後、研究所の研究者たちは TCP の輻輳制御に関する基礎的な研究に貢献した。Van Jacobson と Mike Karels の仕事は、より広い Berkeley Lab の環境に属するものであり、ESnet だけの功績とすべきではない。それでも、制度の重なりは重要だった。プロトコルの挙動、測定、性能を、固定された条件ではなく研究できる工学的問題として扱う研究者たちの近くに、本番運用の科学ネットワークが置かれたのである。
1996年、運用は Berkeley Lab に移管された。この変更により、現在の本拠地は National Energy Research Scientific Computing Center(NERSC)、ネットワーク研究者、ソフトウェアエンジニア、その他の Department of Energy プログラムの隣に置かれることになった。また、本番運用の施設と応用研究組織が人材、ラボ、技術的課題を共有する文化も強化された。(ESnet の歴史)
なぜネットワークは共有の科学施設になったのか
共有の科学施設が存在するのは、一部の能力があまりに高価で、専門的で、相互接続が複雑なため、個々の研究チームが単独で構築できないからだ。粒子加速器、光源、リーダーシップクラスのスーパーコンピュータも同じ論理に従う。ESnet は同じ原則を通信に適用している。長距離ファイバー権、光機器、ルーター、国際容量、24時間体制の運用、サイバーセキュリティ、性能測定、エンジニアリングサポートを、複数のプログラムが利用する単一の施設にまとめているのである。
公共資金の根拠は、科学需要の形態に沿っている。商用通信事業者は高容量回線を販売できるが、通常は、数年後に稼働開始予定の検出器や、契約期間中には決して発生しないかもしれない超新星に伴うデータフロー、小売量は少なく公共的価値の高いワークフローを中心に全国規模のアーキテクチャを設計したりはしない。ESnet は、利用が測定される前に構築できる。その任務は短期的なネットワーク収益の創出ではなく、科学的能力の創出だからだ。
施設モデルは、需要の把握方法も変える。ESnet は Department of Energy の科学プログラムと正式な要件レビューを実施する。研究者と施設チームは、5年から10年の期間で、実験機器、データ量、ストレージの場所、計算先、時間的制約、協力パターン、ローカルのボトルネックを記述する。その結果は、サイト接続の容量、経路の多様性、大西洋横断の調達、オーケストレーション研究、サービスの設計を方向づける。
このプロセスは、新しいコヒーレント光接続ほど目に見えにくいが、より重要かもしれない。海底スペクトラム契約、ルーターの購入、サイトへの第2の物理エントランスは、資金調達から導入まで数年かかる可能性がある。実験がデータを生成し始めるまで待つとすれば、予測可能なインフラ需要が緊急事態と化す。要件レビューは、科学計画をエンジニアリングの準備時間に変換するのである。
レビューは不確実性も明示する。予測は変わりうるし、実験機器のスケジュールは遅れうるし、データリダクションソフトウェアは改善されうるし、クラウド利用は増えうるし、施設がワークフローを再設計することもある。ESnet はケーススタディを保証されたトラフィックの注文として扱わない。証拠を使って要件のレンジを構築し、柔軟性、予備容量、段階的導入のどこが正当化されるかを判断するのだ。
このモデルは、科学者一人ひとりにギガバイト単位で課金することを避ける。中核運用は連邦資金を受け、サイト接続コストの一部は、プログラムのスポンサーシップと Site User Cost Policy に応じて配分される。これでインセンティブの違いが消えるわけではない。スポンサープログラムはより安い接続を好むかもしれないし、ESnet は複数のプログラムに役立つ容量と耐障害性を好むかもしれない。サイトが全国ネットワークを活用するために必要なローカル更新を先延ばしにすることもある。ガバナンスの役割は、こうした決定を科学的成果に整合させることであり、各機関が単にコストを別の予算項目に転嫁するのを許すことではない。(ESnet Site Coordinators Committee とコストポリシー;要件レビュー報告書)
Berkeley Lab が運用し、DOE が使命を定める
ESnet には、通信事業者のような企業階層はない。その権限は、連邦プログラムの連鎖を通じて分散している。Department of Energy の Office of Science が使命を定義する。Advanced Scientific Computing Research(ASCR)が主なプログラム監督と予算監督を担う。Berkeley Lab は、施設の設計・運用・開発を担当する Scientific Networking Division を擁する。University of California は、契約を通じて Department of Energy のために Berkeley Lab を管理する。接続機関は、サイトコーディネーターと ESnet Site Coordinators Committee(ESCC)を通じて参加する。
Inder Monga 氏は ESnet の Executive Director を務め、Berkeley Lab の Scientific Networking Division を統括している。公開されている幹部情報では、Chin Guok 氏が Chief Technology Officer 兼 Planning and Innovation 担当、Adam Slagell 氏が Chief Security Officer、Jon-Paul Herron 氏が Director of Network Engineering、Susan Lucas 氏が Deputy of Business Operations とされている。これらの役職の下には、光エンジニアリング、ルーティング、サイトエンジニアリング、ネットワーク運用、ソフトウェア、測定、オーケストレーション、セキュリティ、プロジェクト管理、科学コミュニティとの連携の各部門がある。
この組織の広がりは、全国ネットワークをファイバーとルーターの集合体とする単純なイメージを修正する。ESnet には、スペクトラムを契約し、BGP を運用し、テレメトリシステムを構築し、オープンソースソフトウェアを保守し、パケットの挙動を調査し、施設を計画し、セキュリティの証拠を管理し、科学要件をネットワーク設計に翻訳できる人材が必要だ。この組織は、運用と開発の両方に同時に取り組んでいる。
公開記録には、未解決のプログラム管理上の問題がある。現在の ESnet のガバナンスページでは、ASCR におけるプログラムマネージャーとして Benjamin Brown 氏が指名されている一方、最近の要件レビュー資料では Carol Hawk 氏が ESnet のプログラムマネージャーとされている。公開情報源が整合的に更新されていないか、責任が変更・分割された可能性がある。入手可能なデータだけでは、追加確認なしにどちらかひとつの現在の体制を採用することはできない。
ESnet Site Coordinators Committee(ESCC)は、接続機関に正式な運用チャネルを提供する。各サイトは、機関の接続に影響する申請を承認し、要件を伝え、政策や計画の議論に参加できるコーディネーターを指名する。これは機関レベルのユーザーガバナンスであり、ネットワーク経由でデータを送る個々の科学者が直接投票する仕組みではない。
この構造は、責任の実践的な分担を生み出す。ESnet は自らのバックボーンとサービスを管理する。接続サイトは、キャンパス機器、Data Transfer Nodes、ローカルセキュリティ、電力を管理する。ASCR はプログラムレベルの資金を管理する。科学プログラムは、遅延や障害の帰結を定義する。国際パートナーは自らのネットワークを管理する。完全なワークフローが機能するのは、これらの異なる決定領域が整合したままの場合だけだ。(ESnet の幹部;ガバナンス)
ESnet4 は通常の IP トラフィックと大規模な科学フローを分離した
2000年代半ば、分散型実験がトラフィックの性質を変え始めた。Large Hadron Collider(LHC)は CERN でデータを生成し、研究所と計算センターからなるグローバルな階層に配信することになっていた。一般的なインターネット接続は引き続き必要だったが、少数の科学転送が通常のリンクを支配するほど大きくなる可能性があった。2つのパターンに対応する単一の無区分ネットワークを構築すると、容量の管理とサービス保証の提供が難しくなった。
ESnet4 はハイブリッドアーキテクチャで応えた。IP コアが一般的な科学通信を輸送した。独立した Science Data Network は、大規模フロー向けに高容量の光回線を使用し、経路の動的プロビジョニングを可能にした。メトロリングが主要研究所を接続し、Internet2 や国際パートナーとの協力が Department of Energy のサイトを超えてシステムを拡張した。
違いは、単に遅いトラフィックと速いトラフィックの違いではなかった。一般的な IP サービスには、広い到達範囲と耐障害性のあるルーティングが必要だ。数テラバイト規模の計画された転送は、開始時刻、容量、エンドポイントが既知の予約レイヤー2経路の恩恵を受けられる。Science Data Network は、予測可能で価値の高い少数のフローが、従来のパケット転送とは異なる制御モデルを正当化しうることを認識した。
OSCARS はこの環境で生まれた。On-demand Secure Circuits and Advance Reservation System は、承認されたユーザーやアプリケーションが、定められた期間のネットワークリソースを要求することを可能にした。このシステムは、経路の発見、トポロジーとポリシーの制約の検証、容量と VLAN リソースの予約、機器への状態の作成、予約終了時の状態の削除を行う必要があった。かつて手作業の調整で行われていた作業を、ソフトウェアが要求できるサービスに変えたのである。
ESnet4 は、生の速度だけがもはや唯一のボトルネックではないことも示した。予約回線は長距離ネットワークの容量を確保できるが、ストレージシステムが十分な速度でデータを読み出せなかったり、ローカルファイアウォールがパケットを破棄したりすれば、アプリケーションは依然として遅い。この認識は、Science DMZ アーキテクチャとエンドツーエンド測定に直接つながった。
この時期は、ESnet の設計に見られる反復パターンを確立した。科学問題はまずトラフィック要件として現れる。施設はその要件を中心に、物理容量、制御メカニズム、運用方法を構築する。その方法が有用と判明すると、ソフトウェアとアーキテクチャの指針は当初の実験を超えて広がる。(ESnet4 と ESnet5 に関する歴史資料;OSCARS)
Science DMZ はボトルネックを機関の境界まで運んだ
全国バックボーンが正常に機能していても、研究者が低い転送性能に直面することはありうる。理由は単純だ。バックボーンは経路の一部にすぎない。エンタープライズファイアウォール、共有キャンパスコア、旧式ルーター、不十分なサーバー、パケットロス、ストレージの制約は、高容量経路の性能を設計速度のごく一部に低下させうる。
Science DMZ は、このエンドツーエンドの現実に対する ESnet の答えだ。このアーキテクチャは、Data Transfer Nodes を、管理された機関の境界に近い高性能経路に置く。セキュリティポリシーは、こうしたシステムが公開する限定的なサービスに合わせて調整され、持続的な科学フローを、多くのエンタープライズアプリケーション向けに設計された汎用ステートフルファイアウォールに通過させることを強いない。
この言葉は、セキュリティを撤去する提案だと誤解されることがある。Science DMZ は依然として、保護されたホスト、ルーター上のアクセス制御リスト、監視、脆弱性管理、限定的なアプリケーション公開、運用の規律に依存している。設計は、制御を適用する場所と方法を変えるのだ。性能やセッション挙動が不適切な機器を、機関の従来型セキュリティ標準の一部だからという理由だけで主要経路に置くことを避ける。
性能測定は、任意のダッシュボードではなく、アーキテクチャの一部だ。perfSONAR ノードは、スループット、パケットロス、遅延、経路変更に関する制御されたテストを実行する。2つのサイトが転送について見解を異にするとき、測定は、問題がホスト、ローカルリンク、地域ネットワーク、ESnet バックボーン、国際パートナーのどこから始まっているかを特定するのに役立つ。こうした証拠がなければ、各事業者が自らの区間は健全だと主張し続け、研究者はデータを転送できないままだ。
Data Transfer Nodes にも独自のエンジニアリングが必要だ。ネットワークインターフェースカード、CPU の配置、メモリ、ディスクや並列ファイルシステム、TCP バッファ、転送ソフトウェアが、達成可能なスループットを左右する。Fasterdata のガイダンスと ESnet の技術コンサルティングは、こうした細部を反復可能な実践に変換する。このアプローチは Department of Energy の研究所をはるかに超えて普及したが、その名称を使うすべての施設を ESnet が運用しているわけではない。
Science DMZ が影響力を持ったのは、購入の問題をシステムの問題に変えたからだ。より速い回線を調達しても、別の地点で制約された経路は解決しない。有用な性能の単位は完全なワークフローであり、ストレージからストレージへ、あるいは実験機器から計算へ、各管理ドメインが測定され明確な責任と結びつく。(Science DMZ ガイダンス;ネットワーク性能ツール)
ESnet5 は大陸横断 100G を本番運用に導いた
次の容量移行は、Advanced Networking Initiative と米国の経済刺激プログラムの資金に支えられた。ESnet は American Recovery and Reinvestment Act を通じて6,200万米ドルを受け取り、100Gbps の長距離プロトタイプを開発し、ESnet5 への移行を支援した。この投資は新しいルーターだけにとどまらない。ESnet は全国ファイバーインフラのスペクトラム容量に関する権利を取得し、波長の導入とアップグレードに対するプログラムの制御を強化した。
ESnet5 は2012年末に本番運用に入った。当時、Department of Energy と ESnet はこれを世界最速の科学ネットワークと表現した。この歴史的主張は、先駆的な大陸横断 100G の導入に伴うものだった。2026年にこれを無限定の世界ランキングとして繰り返すべきではない。研究ネットワークは現在、個別インターフェースの速度、バックボーン総容量、光スペクトラム、実験的デモなど、異なる尺度で容量を公表している。入手可能な証拠は、普遍的な勝者を決める中立的な最新比較を提供していない。
100G の経済的効果は、インターフェースの10倍高速化以上のものだった。科学プロジェクトは、以前ならリンクをはるかに長時間占有したであろう長距離転送を日常的に計画できるようになった。研究所はローカルに複製する代わりに、計算やストレージの一部を集中化できた。国際協力は、より高性能な北米バックボーンを手に入れた。新しい容量はローカルの制約もより迅速に露呈させ、Science DMZ と perfSONAR の価値を高めた。
ESnet5 は、パケットサービスと専用科学経路のハイブリッド関係を維持した。また、自動化の重要性も深めた。100G スケールでは、容量の予約、障害の診断、全国インフラにわたるサービス整合性の維持を、機器の個別設定だけに依存することはできなかった。
このプロジェクトは、公共インフラ投資が、単一の実験がネットワーク全体を使う以前に科学の選択肢を変えることを示している。容量は将来の実験機器のための予備を生むが、この予備は、遊休する小売製品と同じ意味での無駄ではない。その価値には、実験の遅延回避、障害の吸収、次の建設サイクルを待たずに新しいワークフローを試験できることが含まれる。
この論理には規律も必要だ。公表された容量は実際の科学利用に結びつけられなければならず、投資は予測が変わったときに適応可能でなければならない。その後の ESnet のテレメトリ、キャッシュ、オーケストレーションへの取り組みは、物理的拡張の継続を唯一の答えとするのではなく、設置された1ビットごとからより多くの科学的価値を引き出そうとする努力を反映している。(ESnet5 の歴史的発表)
ESnet6 は光・パケット・ソフトウェアのシステム
ESnet6 プロジェクトは2017年に始まり、約6年の設計・建設を経て、2022年10月11日に公開された。Berkeley Lab は発表時点で、約15,000マイルの専用インフラに分散する46Tbps 超の総容量、400Gbps~1Tbps のバックボーンリンクを報告した。その後、2024年の年次報告書は57Tbps と最大1.2Tbps のリンクを記録した。これらの数値は異なる時点のもので、拡張中のシステムを記述しており、静的なネットワークに関する矛盾した定義ではない。
物理層には、長距離ファイバー経路、光回線システム、増幅器、スペクトラム権、コロケーション施設、ローカルな入口ポイントが含まれる。2024年の報告書は、光増幅器を備えた278拠点を計上した。コヒーレント光通信はファイバー上の複数の高速チャネルを輸送し、増幅器と再構成可能な光装置が信号レベルを維持し、波長を転送する。地図上に描かれた経路は、ダークファイバー、スペクトラム、リットサービス、パートナーとの契約のいずれかで制御されている可能性がある。15,000マイルという記述は、Department of Energy がすべてのケーブルの法的所有権を持つことを示すものではない。
光層の上では、ルーターとサービスエッジが IP、プライベートルーティング環境、レイヤー2サービス、ピアリング、クラウド接続を提供する。年次報告書はルーターを備えた78拠点を計上した。個々のサイトは要件に応じて10、100、400Gbps で接続でき、バックボーンリンクは複数のインターフェースや波長を集約してより高い値を達成できる。
ソフトウェア層は、ESnet6 を単なる容量アップグレードと区別する。自動化は機器とサービスの状態を維持する。プログラマブルテレメトリは、運用者により詳細な証拠を提供する。OSCARS は予約経路をプロビジョニングする。SENSE は異なるドメイン間のアプリケーション指向型コーディネーションを実験する。High-Touch はプログラマブルハードウェアを使い、パケットとフローに対するより高い可視性を生み出す。API とテストベッドのインターフェースは、成功した研究を運用に向けて前進させる。
建設では耐障害性にも重点が置かれた。多様な経路、サイトへの複数入口、独立電源、代替ルーター、高可用性拠点は、単一障害で研究所が全国システムから切り離される可能性を減らす。これらの保護の範囲はそれぞれ異なる。2つのローカル回線が同じ管路を通っていれば、冗長バックボーンは役に立たない。2台のルーターが同じ電源に依存していれば、2台目は耐障害性を生まない。
したがって ESnet6 は、階層型の施設として理解されるべきだ。ファイバーは物理的到達範囲を生む。光は容量を生む。ルーターはパケットサービスとプライベートネットワークを生む。ソフトウェアは再現性とプログラマビリティを生む。測定は、約束された経路が実際に機能することを検証する。組織的合意は、ESnet が所有しない境界を越えることを可能にする。(ESnet6 の発表;2024年次報告書)
57Tbps が意味すること――そして意味しないこと
ネットワーク統計は、複数の層をひとつの数値に凝縮することが多い。ESnet が2024年に公表した57Tbps は、システム全体に分散する工学的総容量を表す。これは単一の物理リンク、各研究所が利用できるスループット、常時輸送されているトラフィックに対応するものではない。同じ報告書は、400Gbps~1.2Tbps のバックボーンリンク、400Gbps 以上に接続された米国内の7サイト、2.7Tbps の大西洋横断容量を記述している。それぞれの数値は異なる問いに答えている。
報告書はまた、約15,000マイルのインフラにおいて、ルーターを備えた78拠点と光増幅器を備えた278拠点を記述した。ネットワークは Department of Energy の17の国立研究所すべてを接続し、同省の科学ユーザー施設28件、5か国の研究教育ネットワーク・商用ネットワーク・その他の種別とのネットワーク関係277件、組織ユーザー3万人超、24州に分散する職員・委託事業者137人を記録していた。これらの数値は異なる集団を記述しており、顧客総数のように合算すべきではない。ルーター、施設、パートナーネットワーク、機関ユーザー、人員は別々の指標である。
サイト接続は、機関の境界における容量を表す。バックボーンリンクは、ネットワーク上の地点間の容量を表す。光システムは複数の波長を輸送でき、論理サービスは物理層の一部だけを使うこともある。総容量は、同じ発信元と宛先に同時にサービスできない複数のリソースを合算したものだ。トラフィック量は、ある瞬間に利用可能な最大レートではなく、時間とともに輸送されたデータを測る。
ESnet は2024暦年に1.77エクサバイトを輸送した。2023年の1.7エクサバイトから増加している。増加率4%は、施設が1989年以降報告してきた年間成長率の平均約55%と比べて低い。単一年では、科学需要が安定したことを示すものではない。大規模プロジェクトは不定期に稼働し、ソフトウェアの変更が転送を減らすこともあり、ひとつの実験や国際イベントがトラフィック構成を急速に変えうる。
トラフィックは集中もしている。2024年の報告書は、Large Hadron Collider 関連の活動が総トラフィックのおよそ半分を占めたと述べている。Fermilab が外部最大の送信元で136ペタバイト、NERSC が Department of Energy 内最大の受信先で75.3ペタバイト、Oak Ridge が同省内最大の送信元で58.3ペタバイトだった。これらの数値は重要な負荷を明らかにするが、科学的価値の完全なランキングではない。より小さな転送がより緊急だったり、独自の実験機器を支えていたりすることもある。
したがって容量計画には、複数の視点が同時に必要だ。平均・ピークのトラフィック、経路別利用率、障害時の予備、サイトリンク速度、科学の期限、将来の要件である。平均利用だけを中心に設計されたネットワークは、超新星やケーブル断絶の際に失敗しうる。最大の理論的イベントだけを想定したネットワークは、高価で柔軟性の低い資産を生みかねない。
ESnet の工学的課題は、容量を必要とするワークフローが到達できる場所に容量を置き、その上で末端システムがそれを活用できるかを検証することだ。だからこそ、容量の数値は Science DMZ、測定、オーケストレーション、要件レビューと並べて提示されるべきであり、記事の冒頭に載せる自己完結的なランキングとして提示すべきではない。(ESnet by the Numbers)
AS293 は小売市場ではなく使命のためにルーティングする
ESnet の公開自律システム番号は AS293 である。ネットワークは、Department of Energy のサイト、研究教育ネットワーク、商用ネットワーク、有料トランジットプロバイダーと経路を交換する。ルーティングポリシーは、どの経路が科学トラフィックを輸送できるか、障害がどう扱われるか、どの外部ネットワークが直接相互接続を受けるかを決定する。
ピアリングポリシーは選択的だ。ピア候補は、BGP を使用し、Internet Routing Registry(IRR)と PeeringDB の情報を最新に保ち、RPKI に基づき無効なアナウンスを避け、MANRS に関連するルーティングセキュリティの実践に従う必要がある。ESnet は IPv6 またはデュアルスタックでのピアリングを要求し、IPv4 のみの新規関係は受け入れない。直接のプライベート相互接続は100G ポートから始まり、400G が強く好まれる。
これらの条件は、使命と運用コストを反映している。直接相互接続は、ポート、エンジニアリング時間、監視能力を消費する。ESnet は、公開経路が存在するというだけの理由で、すべてのネットワークとピアリングを結ぶ必要はない。Department of Energy の科学経路を改善し、トランジット依存を減らし、重要な協力者を接続する関係を追求している。パブリックインターネットへのアクセスは、研究ネットワークや直接ピアリングでは効率的に到達できない宛先に対して、Hurricane Electric と Lumen の有料トランジットで補完される。
ネットワークは、ESnet 接続サイト、研究教育ネットワーク、商用ネットワークを区別する BGP コミュニティを公開している。接続機関はこれらのタグをポリシー適用に使えるが、その後の解釈は ESnet の制御の外にある。コミュニティは記述的メタデータであり、すべてのネットワークが同じルーティング決定を下すという普遍的な保証ではない。
ルーティングセキュリティにも限界がある。RPKI 無効アナウンスの拒否は、誤った経路の重要なカテゴリーを遮断するが、すべてのリーク、侵害されたピア、誤ってアナウンスされた有効なオリジン、誤ったオリジン認証を防ぐわけではない。ハイジャック監視は予期しないオリジン変更を検出できるが、検出は伝播後になることがある。ブラックホール化は、攻撃中に宛先アドレスへのトラフィックを破棄することでサイトを保護できるが、その保護は影響を受けるプレフィックスの到達性を犠牲にすることで機能する。
ミッション指向の設計は、サービスの境界に現れる。ESnet はパブリック IP トラフィックを輸送するが、消費者向けトランジット市場の獲得を目指してはいない。その経路ポリシーは、科学的到達範囲、耐障害性、信頼できる相互接続を中心に構成されている。ネットワークの価値は、AS293 に接続する小売顧客の数を最大化することではなく、支えるコミュニティのために生み出す経路の質から来る。(ESnet のピアリングポリシー)
物理接続、プライベートサービス、クラウドへの経路
ESnet のサービスカタログは物理接続から始まる。対象となるサイトは、ローカルまたはリモートのポイント・オブ・プレゼンス経由で10、100、400Gbps に接続できる。施設が専用インフラから遠い場合、Service On-Ramp がダークファイバーまたは通信事業者提供のリット回線を利用できる。アクセス設計は科学経路の一部であり、事業者が提供する最終区間が、主要な性能制約や主要な障害点になることがある。
レイヤー3 IP サービスは、IPv4 と IPv6 のルーティング接続を提供する。レイヤー3仮想プライベートネットワークは、複数サイトのプログラム向けに、物理インフラを他のサービスと共有しながら、IP と BGP を分離した論理環境を生み出す。レイヤー2仮想プライベートネットワークは、ポイントツーポイントまたはマルチポイントのイーサネット接続を提供し、静的に設定するか OSCARS を通じてプロビジョニングする。これらのサービスにより、実験はすべての関係をパブリックインターネットに晒すことなく施設を接続できる。
プライベートサービスは、物理的に隔離されたサービスを意味しない。論理分離は、ルーター設定、タグ、ルーティングインスタンス、アクセス制御、運用プラクティスに依存する。共有プラットフォームの障害は複数のサービスに影響しうるし、設定ミスは意図した分離を損ないうる。価値があるのは、管理されたセグメンテーションと予測可能な接続性であり、共有依存関係が存在しないという主張ではない。
Cloud Connect は、ESnet の経路を AWS、Microsoft Azure、Google Cloud、Oracle などの大規模商用クラウド環境に拡張する。サイトは、パブリックインターネットの通常ルーティングに依存する代わりに、専用のレイヤー2またはレイヤー3接続でプロバイダーの入口に到達できる。これにより経路制御が改善され、変動するトランジットへの依存を減らせる可能性があるが、クラウド側のセキュリティ、プロバイダーの障害、アイデンティティ設計、データ転送料金(エグレス)、リージョン別可用性はなくならない。
クラウドとの関係は、ESnet の役割が変化していることを示している。Department of Energy の科学は、もはや研究所と連邦スーパーコンピュータだけに存在するわけではない。研究者は商用オブジェクトストレージ、専門サービス、オンデマンド計算を利用できる。ESnet は、クラウドが連邦ネットワークの一部であるとか、プライベート回線だけでクラウドアカウントが安全になるといった主張をすることなく、これらのリソースを接続する必要がある。
その他のサービスには、セカンダリ DNS、ネットワーク時刻、ルートハイジャック監視、ブラックホール化が含まれる。それぞれが、光容量が利用可能なままであっても研究を中断させうる補助的依存関係に対処する。名前解決の障害、誤った時刻、ルートリーク、サービス妨害攻撃は、ファイバーを傷つけることなく科学システムを使えなくしうる。
全体として、サービスカタログはネットワークの層間における一連の運用契約を表す。物理接続は経路を確立する。ルーティングは到達範囲を生む。プライベートサービスは論理的境界を生む。クラウド相互接続はシステムを商用インフラに拡張する。セキュリティ・支援サービスは既知の障害モードを減らす。ユーザーは依然として、それぞれの末端で機能するエンドポイントとローカルネットワークを構築する必要がある。(ESnet のネットワークサービスカタログ)
OSCARS が容量を予約可能にする
インターネットトラフィックの大半は、パケットが到着した時点で利用可能な容量を使う。このモデルは一般的な通信にはうまく機能するが、一部の科学転送は、計画され、大規模で、遅延のコストが高い。OSCARS は、承認されたユーザーとアプリケーションが、特定の期間、ネットワークリソースを予約することを可能にする。
予約は、エンドポイント、開始・終了時刻、容量、VLAN 情報、経路除外、その他の制約を指定できる。システムはトポロジーと既存のコミットメントを検査し、許容可能な経路を見つけ、ネットワークに必要な状態を作成し、予約終了時にその状態を削除する。このサービスは、同じ希少リソースが二重に割り当てられるのを防ぎ、利用可能なトポロジーを変えるメンテナンスや障害も考慮しなければならない。
その重要性は運用上のものであり、見かけ上のものではない。回線の手動プロビジョニングには、エンジニア間の数日にわたる調整が必要になることがある。プログラムによる予約は数分で作成でき、実験のワークフローの一部になる。ネットワークは背景にある固定パイプではなくなり、ストレージや計算と同様にソフトウェアが要求できるリソースになる。
OSCARS はオープンソースの本番システムであり、他のネットワークやテストベッドが採用または評価している。公開された採用指標の一部は、歴史的資料も含むページに掲載されている。安全な結論は、システムが ESnet を超えて広がったということだが、記載されたすべての導入が現在も最新であるとか、技術的に同一であると推測すべきではない。
予約はアプリケーションのスループットを保証しない。定義された量のネットワーク容量を確保できるが、ストレージサーバーを速く読み出せるようにしたり、キャンパスネットワークのパケットロスを修復したり、OS を調整したりはできない。アプリケーションが予約レートの一部しか達成できない場合、診断はエンドツーエンドの経路に戻る必要がある。
予約は割り当ての問題も導入する。優先度の高い実験は保証された容量の恩恵を受けられるが、使われない予約は他のユーザーの柔軟性を減らしうる。ポリシーは、誰がサービスを要求できるか、競合をどう解決するか、別の予約のために中断できるかを決める必要がある。これらの決定は、プロビジョニングコードが自動化されていても、施設のガバナンスの一部だ。
OSCARS は、ESnet の応用ソフトウェアがインフラへと変わる最も明確な例のひとつであり続けている。運用実践を反復可能なサービスに変え、認可をめぐる人間のポリシーを維持し、科学アプリケーションにネットワーク要件を表現する管理された方法を提供した。(OSCARS)
SENSE はネットワークと末端システムの調整を試みる
予約されたネットワーク経路は、分散ワークフローの一部しか解決しない。ストレージシステム、転送サービス、計算リソースにも、それぞれの可用性、容量、ポリシーがある。SENSE――Software-defined network for End-to-end Networked Science at the Exascale――は、オーケストレーションを単一のネットワークドメインを超えて拡張する。
プロジェクトは、ネットワークと末端システムを、発見可能なリソースとして表現する。科学アプリケーションは、特定のレートで施設間のデータセットを転送するといった、意図した結果を記述できる。SENSE は参加ドメインのモデルを集め、リソースを交渉し、ネットワークと転送サービスをプロビジョニングし、テレメトリを観測し、ワークフロー終了時にリソースを解放する。
これは単一の回線を設定するより難しい。参加組織は、それぞれの権限とデータモデルを保持する。あるドメインは容量を公開し、別のドメインはストレージエンドポイントや転送サービスを公開する。ポリシー、認証情報、メンテナンスウィンドウも異なる。SENSE は、中央コントローラーがすべてのシステムを指揮できると想定せずに、これらの要素を調整する必要がある。
2024年の Large Hadron Collider Data Challenge では、SENSE が有効化したワークフローが、Caltech と University of California, San Diego 間で330Gbps を維持した。この結果は、アプリケーション指向のオーケストレーションが、特定の実際のワークフローで相当なレートで動作できることを示している。SENSE が ESnet のすべてのサイトで普遍的な本番サービスであることを示すものではない。2024年の報告書は依然として、このプロジェクトを研究段階と記述していた。
OSCARS と SENSE の違いは、自動化の単位の進化を示す。OSCARS は既知のサービスドメイン内でネットワークリソースを予約する。SENSE は、異なる組織に属するシステムを含む完全な経路の交渉を試みる。前者は本番運用の境界がより明確だ。後者は科学的価値が高いが、ガバナンスと統合のリスクも大きい。
運用者にとっての実践的課題は、障害の責任を誰が負うかだ。アプリケーションが意図を宣言し、ワークフローが十分な性能を出せないとき、原因はリソースモデル、ネットワーク、ストレージ、認証情報、アプリケーション、ドメイン間の同期問題にあるかもしれない。オーケストレーションは、交渉された状態のどの部分が逸脱したかを各運用者に示せるほど正確な証拠を提供する必要がある。
SENSE は、アプリケーションが回線だけでなく結果を要求するインフラを指し示している。その進捗は、実証された最大転送レートだけでなく、複数ドメインにわたる反復可能な本番利用、明確なサポート責任、部分障害からの回復能力で測られるべきだ。(SENSE;2024年の応用研究)
EJFAT は科学イベントを遠隔計算に直接届ける
従来の科学データ移動は、通常、ファイルベースの手順に従う。実験がデータを生成し、ローカルシステムがファイルに書き込めるまで処理し、ファイルはストレージに入り、その後の転送で別の施設に送られて分析される。このパターンはよく理解され、運用上も信頼できるが、フィードバックを遅らせ、収集ピークに合わせてローカルのストレージと計算を用意する必要がある。
EJFAT――ESnet–Jefferson Lab FPGA Accelerated Transport――は別の経路を提供する。実験機器から、おそらく遠隔のスーパーコンピューティングセンターにある利用可能な計算ワーカーへ、UDP にカプセル化されたイベントデータをリアルタイムで配布する。FPGA ベースのプログラマブル SmartNIC がイベント識別子を読み、同じイベントに属するすべての断片を単一のワーカーに送る。計算ノードが利用可能またはビジーになると、制御システムが配布を変更できる。
イベントのグルーピングは重要だ。汎用ロードバランサーはパケットをサーバー間に分散できるが、科学処理では、検出器イベントのすべての断片が同じワーカーに届くことが必要になりうる。EJFAT は高速転送機能を計算ワーカーのスケジューリングから分離し、両側を独立に拡張できるようにする。
2024年4月、デモンストレーションがバージニア州の Jefferson Lab からカリフォルニア州の Perlmutter スーパーコンピュータへ、ディスクの中間段階なしでリアルタイム処理するため、100Gbps でデータを送信した。その後のテストでは、ESnet の報告によれば、複数の施設の計算リソースと約2万コアが使用された。これらは特定のデモであり、すべての実験機器がエンジニアリング変更なしでシステムを採用できるという保証ではない。
Facility for Rare Isotope Beams(FRIB)は、より新しい運用例を提供する。ESnet は2026年7月、研究者が EJFAT を通じて実験の生データを約5~6Gbps で遠隔スーパーコンピュータに送信したと報告した。15時間で615GB を生成した1回の実行は、Perlmutter の8ノードで機械学習推論を使い20分で処理された。100G デモより低いネットワークレートでも、この結果の重要性は変わらない。科学的な恩恵は、実際のワークフロー中のより速いフィードバックだった。
リアルタイムストリーミングは、施設の経済性を変える。検出器は、すべてのピークに対応するローカル容量を構築する代わりに、共有計算を利用できる。研究者は、貴重なビームタイムがまだ残っている間に結果を調べられる。このシステムは新しい依存関係も生む。ネットワークの中断、計算割り当ての問題、イベント配布のエラーは、後続のファイル転送を遅らせるだけでなく、実験そのものにリアルタイムで影響しうる。
EJFAT は依然として、先進的なプロトタイプまたは新興プラットフォームであり、普遍的なサポート付きサービスではない。本番採用には、実験機器との統合、セキュリティ、FPGA の可用性、運用責任、スケジューリング合意、UDP パケット喪失時の明確に定義された挙動が必要になる。その重要性は、長距離ネットワークが収集サイクルの一部になれることを示す点にあり、収集サイクルの後に初めて登場するわけではないということだ。(EJFAT;FRIB の科学成果)
High-Touch、perfSONAR、iperf3 が経路を可観測にする
高容量ネットワークは、利用率の集計グラフが明らかにしない形で障害を起こすことがある。短いバーストがキューを溢れさせたり、パケットが順序乱れで到着したり、損失が片方向や特定のトラフィッククラスだけに影響したり、テストの間に経路が変わったりする。セキュリティに関連するフローも、統計サンプリングの中に消えてしまうことがある。
High-Touch は、プログラマブルハードウェアとソフトウェアを使い、従来のサンプリングログよりも詳細なパケット・フローのテレメトリを収集する。2024年には、Large Hadron Collider のスループット、Rubin Observatory のトラフィックに関連するパケット順序乱れ、セキュリティイベントの調査に使われた。目的は診断精度を得て、トラフィックの集計合計が隠してしまう挙動を特定することだ。
より詳細な証拠にはコストが伴う。パケットとフローの情報は、ストレージ、処理、アクセス制御、慎重な解釈を必要とする。通信するエンドポイント、協力パターン、科学活動の時期を明らかにしうる。運用の可視性を提供するために作られたシステムは、したがって、機密性の高いデータ資産になる。
perfSONAR は別の層を扱う。複数組織のパートナーシップが支える分散測定システムで、ESnet は中心的な参加者かつ創設者のひとつだ。2024年には世界で2,000拠点以上が報告され、ESnet は30以上のサイトを運用している。制御されたテストが、参加ノード間のスループット、遅延、損失、経路挙動を測定する。
分散設計が中心だ。研究者が遅い転送を報告しても、適切に設計された perfSONAR ノード間のテストは、基盤となる経路が期待レートを支えているかを示せる。方向別テストは非対称性を切り分けられる。繰り返し測定は、劣化がいつ始まったかを明らかにできる。traceroute データは経路変更を特定できるが、観測された経路とアプリケーションの実際の転送挙動は異なることがある。
iperf3 は、TCP、UDP、SCTP 上のアクティブなスループットテストを提供し、IPv4 と IPv6 に対応する。ESnet はこのオープンソースツールを保守しており、特定条件下で200G 経路上の150Gbps 超のテストを報告している。合成テストはアプリケーションベンチマークではない。ホストとネットワークが制御された条件でトラフィックを輸送できるかを判断する助けとなり、その後にストレージとアプリケーションの挙動を別々に分析できる。
まとめると、High-Touch、perfSONAR、iperf3 は現実に対する異なる視点を提供する。High-Touch は本番フローをより高い精度で観測する。perfSONAR は複数ドメイン間のスケジュール済みまたはオンデマンド測定を提供する。iperf3 はエンドポイントとネットワークのスループットを直接テストする。どの視点も完全ではないが、組み合わせによって、単一の運用者のローカルダッシュボードから分散障害を診断しようとする誘惑は減る。(ネットワーク性能ツール;2024年の運用イノベーション)
キャッシュはトラフィックを高速化ではなく削減できる
容量を追加するだけが科学ネットワークを改善する方法ではない。一部のデータセットは、同じ地域の研究者によって繰り返し要求される。バックボーンが負荷を吸収できたとしても、コピーごとに長距離ネットワークで輸送すれば容量が浪費され、遅延も増える。
ESnet の2024年応用研究報告書は、科学データコミュニティが使う5つの地域キャッシュノードを記述した。研究全体では、キャッシュは長距離トラフィックを平均1日33テラバイト削減した。要求の3分の2がローカルで処理され、キャッシュヒット率の平均は94%だった。効果は場所によって大きく異なり、報告された長距離トラフィック削減は南カリフォルニアで69.3%、シカゴで48.4%、ボストンで6.6%だった。
この違いは示唆的だ。キャッシュの価値は、データセットの人気、ローカルユーザー、ストレージ容量、置換ポリシー、サービス設定に依存する。同じデータを繰り返し分析するコミュニティの近くに置かれたキャッシュは、大規模転送を削減できる。多様な、あるいはめったに繰り返されないデータセットにサービスするキャッシュは、同じ恩恵を生まずにストレージを消費しうる。
キャッシュは制御も変える。ネットワーク運用者がデータ配置に参加し始める一方、科学コミュニティは、どのデータセットをコピーしてよいか、更新をどう維持するか、誰がアクセスを認可されるかを決める必要がある。ストレージ障害や古いコンテンツは、ネットワークに隣接する運用上の懸念になる。
この研究は、最も効率的なビットが、バックボーンに決して入らないビットかもしれない理由を示している。光のアップグレードは供給を増やす。キャッシュは需要を変える。ワークフローのスケジューリングは、転送を利用率の高い時間帯から外に移せる。圧縮やローカルフィルタリングは、送信前にデータを減らせる。成熟したインフラプログラムは、設置されたテラビット数だけで進捗を測るのではなく、これらすべてのメカニズムを評価する。
この結果は、調査された導入に限定されるべきだ。すべての科学データセットが94%のヒット率を達成するわけでも、キャッシュが単発のリアルタイムフロー向けの新規容量を代替できるわけでもないことを証明してはいない。データアーキテクチャとネットワークアーキテクチャを一緒に設計できるという証拠を提供するものだ。(2024年の応用研究活動)
大西洋横断の科学には物理的多様性と容量が必要
ESnet の国内インフラは、国際的義務から切り離せない。高エネルギー物理学は大西洋両岸の施設と計算センターを中心に組織されており、2024年の年次報告書は ESnet トラフィックのおよそ半分を Large Hadron Collider の活動に帰した。したがって、ヨーロッパと北米の間のケーブル障害は、国内の全ルーターが動き続けていても、中心的な科学負荷に影響しうる。
2024年から2025年初めにかけて、ESnet は報告上の大西洋横断容量を約700Gbps から2.7Tbps へ拡大した。このプログラムの重要な部分は、ニューヨーク、ダブリン、ロンドンを結ぶルートのファイバーペアの4分の1に関する Aqua Comms との15年契約だった。ESnet はまた、複数のケーブルシステムで GÉANT と容量・コストを共有している。工学的目標は、物理的に多様な4経路で少なくとも3.2Tbps を達成し、10Tbps 超へ拡張できるアーキテクチャを持つことだ。
容量と多様性の違いは決定的だ。2つの論理サービスが同じケーブル、同じ陸揚げ局、同じ陸上管路を共有していれば、一緒に障害を起こす。海底修理には、障害位置の特定、許可、ケーブル敷設船、適切な気象条件、損傷したファイバーの物理的回収が必要になる。復旧には数週間から数か月かかることがある。そのため ESnet は、単一のバックアップ経路で十分と想定するのではなく、3本のケーブルが同時に障害を起こすシナリオを計画する。
長期スペクトラム権は、既製回線の反復購入よりも、アップグレードに対する施設の制御を強める。同時に、特定のケーブルシステム、陸揚げインフラ、運用パートナーへのコミットメントも生む。ESnet はスペクトラムを契約しても海洋リスクを排除しない。複数システムにわたって容量と耐障害性を設計する能力を得るが、ケーブル所有者、修理プロセス、パートナーネットワークへの依存は続く。
これも「専用(dedicated)」という言葉に注意が必要な文脈だ。ESnet は重要ルートで専用の権利とインフラを管理しているが、物理資産のモデルはさまざまだ。国内・国際経路には、ダークファイバー、スペクトラム、リットサービス、コロケーション、パートナー容量が混在しうる。地図上の線は、すべての区間で同じレベルの所有権や修理に関する権限を示すわけではない。
GÉANT との関係は、研究ネットワークが中央管理なしに協力できる理由を示している。2つの組織はコストを共有し、科学トラフィックを調整できるが、それぞれが自らの機関とメンバーに責任を持ち続ける。エンドツーエンドの性能は依然として、両バックボーンの制御を超えた国の研究ネットワーク、キャンパスシステム、実験施設に依存している。(大西洋横断の節目;2024年次報告書)
科学の需要は継続的な規模、稀なピーク、厳格な期限の組み合わせ
Large Hadron Collider は継続的な規模を提供する。その分散計算モデルは、実験データを CERN、Fermilab、Brookhaven、大学、その他のセンター間で移動させ、持続的な国際トラフィックを生み出す。計画されている高輝度運用は、検出器データ、シミュレーション、レプリケーションを増加させるはずだ。ネットワークは、巨大なフローを日常的に輸送すると同時に、ケーブルや施設の障害を生き延びるのに十分な経路多様性を維持する必要がある。
Vera C. Rubin Observatory は期限を課す。チリの望遠鏡は、約13GB の画像を30秒ごとに生成するよう設計されている。データ経路は SLAC での迅速な処理と、他の観測所が対応できるよう過渡天体に関するアラートの生成を可能にする。ESnet は、各画像を約12,000マイル輸送し、7秒未満で届ける目標を報告している。経路には南米や他国のパートナー研究ネットワークが含まれるため、結果は ESnet のドメインを超えた協調エンジニアリングに依存する。
DUNE は例外的なピークを生む。超新星の際、ニュートリノプログラムは最大600TB を100秒で移動させる必要があると予測している。20年にわたって、プログラムは約900PB を生成する見込みだ。これらは将来の運用のための計画要件であり、現在のトラフィックの記述ではない。容量が利用可能になってからイベントを再スケジュールできないため重要だ。平均利用だけを中心に構築されたネットワークは、科学的価値が最も高い瞬間に失敗しうる。
核融合研究は、国際的な距離と長い開発期間を組み合わせる。2026年5月、テストが ITER からマルセイユのデータ176TB を、サンディエゴの General Atomics の DIII-D 施設へ、ほぼ80Gbps で輸送した。ITER はまだ建設中だったため、この転送は本格的な通常運用ではなく準備態勢を示した。要件資料は、将来の一部の核融合ワークフローについて、1日あたり約2ペタバイト、少なくとも200Gbps を予測している。
FRIB と Jefferson Lab は第3のパターンを示す。実験は、データがまだ到着している間に遠隔分析を必要とすることがある。EJFAT は、ファイルの完了とコピーを待たずに、イベントフローを NERSC や Oak Ridge の計算リソースへ届ける。光源、電子顕微鏡、その他の実験機器も、ローカルフィルタリング、遠隔の人工知能推論、結果を運用者に返す速度について同様の決定に直面する。
気候科学や地球科学は再び需要を広げる。大規模シミュレーションと観測データセットは計算・ストレージ施設間を移動する一方、フィールドセンサーは従来のファイバーが利用できない場所にあることもある。どの公表レートも、これらすべてのニーズを代表しない。ESnet は、同じ施設モデルの中で、持続的な大量転送、稀なピーク、低遅延フィードバック、国際協力、遠隔収集に対応する必要がある。(Rubin Observatory のケーススタディ;DUNE のケーススタディ;要件レビュー)
要件レビューは科学計画をネットワーク設計に変える
ESnet は、実験が最初のデータセットを生成するまで、ファイバー、ルーター、大西洋横断容量の契約を待つわけにはいかない。長距離契約、機器購入、サイト建設、ソフトウェア開発には年単位の時間がかかる。したがって施設は、5年から10年の期間で Department of Energy の科学プログラムと要件レビューを実施する。
研究者と施設チームは、実験機器、予想データ量、ストレージの場所、計算先、時間制約、国際協力者、クラウド利用、耐障害性のニーズを記述する。その後、ネットワークと計算の専門家が完全なワークフローを分析する。より大きなリンクの要求が、ローカルストレージ、経路多様性、セキュリティアーキテクチャ、転送ソフトウェアのより重要な問題を明らかにすることもある。
レビュープロセスはコ・デザイン(共同設計)の一形態だ。科学プログラムは達成しようとしていることを説明し、ESnet はその目標をインフラ依存関係に翻訳し、提案された経路が機能するかを検証する。結果は、サイト接続の容量、新しい経路、海底調達、Science DMZ の導入、オーケストレーション研究、人員採用、次世代ネットワークのスケジュールに影響しうる。
2025年に完了し2026年1月に公開された高エネルギー物理学の主要レビューには、127人の参加者と14件のケーススタディが含まれ、報告書は約400ページに及んだ。その重要性は、すべての予測が正しいことを保証することではない。実験機器は遅れうるし、ソフトウェアはより効率的になりうるし、新しい負荷が現れうる。価値があるのは、研究者、ネットワーク技術者、計算センター、資金提供者が同じ前提を見て、意図的に見直すことができる文書化された記録だ。
科学需要は不連続なため、予測は依然として難しい。実験の存続期間中に超新星が決して起きないこともあれば、人工知能ワークフローが公式レビューのサイクルより速く成長することもある。平均トラフィック成長は予算には有用だが、ケースごとの具体的な計画を代替できない。2024年の ESnet トラフィックの異例に低い4%増は、長期需要が止まったことを示すものではない。単一年が数十年にわたるインフラプログラムを左右すべきでない理由を示しているのだ。
要件レビューは責任も分配する。研究所は、全国バックボーンが不適切なキャンパス経路を修正すると想定できない。ESnet も、容量が構築された後に科学プログラムが適応すると想定できない。依存関係を共有計画に置くことで、後の不一致がより具体的になる。(要件レビュー報告書)
Wireless Edge と QUANT-NET は施設の限界を試す
全国ファイバーネットワークは、固定施設にうまくサービスする。科学実験機器は必ずしもそうした場所で運用されるわけではない。地熱フィールド、環境観測所、一時的な調査キャンペーンでは、通信事業者のサービス、信頼できる電力、経済的に実行可能なファイバー経路が利用できないことがある。ESnet の Wireless Edge プログラムは、プライベートセルラーネットワーク、Wi-Fi、指向性無線、衛星システムが、科学ワークフローをそうした場所まで拡張できるかを調査している。
2026年6月に発表されたネバダ州の地熱フィールドへの導入は、Citizens Broadband Radio Service(CBRS)帯域を使うプライベート4G、長距離 Wi-Fi HaLow、通常の Wi-Fi、Starlink バックホール、指向性無線、自給電源の可搬タワーを組み合わせた。この設計は単一のフィールドの条件に応えたものだ。ESnet の一般的な無線製品ではなく、長距離ファイバーの持続容量を提供できるものでもなかった。地形、気候、周波数帯、電力、衛星プロバイダーは、依然としてサービス経路の一部だった。
最も重要な組織上の点は、ESnet が最寄りのファイバーポイントで止まり、残りを他機関の責任として扱わなかったことだ。その科学連携機能(science engagement)は、収集、バックホール、長距離輸送をひとつのワークフローとして扱った。遠隔の科学サイトは異なる物理的制約に直面するため、このアプローチは画一的な製品よりも価値がありうる。
QUANT-NET は別のフロンティアを探る。ASCR が資金提供するこのプロジェクトは、Berkeley Lab と University of California, Berkeley の2つの拠点を約5キロメートルで結ぶ3ノードの量子ネットワークテストベッドを構築している。作業には、イオントラップ、光子結合、エンタングルメント交換、ベル状態の測定、時間に敏感な制御、モジュール式ソフトウェアフレームワークが含まれる。
ESnet との関係は、主に制御とオーケストレーションにある。量子実験には、古典的通信、正確なタイミング、未だ運用が難しいデバイス間の調整が必要だ。オープンソースの制御ソフトウェアは、実験をより再現可能にし、手動調整を減らせる。このテストベッドは本番の量子インターネットではなく、エンタングルメントで従来型の大量科学データを輸送するものでもない。
したがって Wireless Edge と QUANT-NET は、何を教え、何を再利用できるかで評価されるべきだ。どちらも、ESnet のすべてのユーザーが無線アクセスサービスや量子リンクを受けられることを示すものではない。将来の科学ネットワークが新しい物理媒体と制御システムを必要とするかもしれない領域へ、施設の研究機能を拡張するのだ。(Wireless Edge の導入;量子ネットワーク研究)
American Science Cloud と ESnet7 は計画単位をサイトからワークフローへ変える
Integrated Research Infrastructure(IRI)プログラムと、出現しつつある American Science Cloud は、Department of Energy が施設を記述する方法の変化を反映している。実験機器、ネットワーク、データリポジトリ、スーパーコンピュータを独立したサービスとして扱う代わりに、これらのプログラムは、科学データ、人工知能、高性能計算のための連合(フェデレーション)環境として運用することを目指している。
ESnet の役割は、接続性とオーケストレーションにある。データは実験機器からストレージとアクセラレーターへ移動する必要があり、ユーザーとサービスには管理されたアクセスが必要で、ワークフローは利用可能なリソースを発見する必要があり、テレメトリはシステムが科学的目標を達成しているかを示す必要がある。EJFAT、SENSE、OSCARS、Cloud Connect、High-Touch はこの問題の一部を扱うが、どれも単独で American Science Cloud を構成するものではない。
Confab26 では、Inder Monga 氏が American Science Cloud の Project Deputy として紹介され、プログラムのセッションには次世代ネットワークのデモと計画が含まれた。これは活発な制度的取り組みの証拠であり、2026年8月時点で普遍的な科学クラウドが完成していたという証明ではない。アクセスポリシー、接続リソースのインベントリ、本番サポート、ガバナンスは依然として開発中の論点だった。
ESnet7 も同じ計画環境に登場する。名称は実在し、イノベーションセッションではテレメトリ、パケット検査、データ移動、人工知能、量子ネットワークが検討された。ただし、ESnet6 が依然として現在の本番世代だ。入手可能な証拠では、最終的な公開アーキテクチャ、プロジェクトのベースライン、ベンダー選定、完全な予算、発表日は確認されていない。
この区別は重要だ。ネットワーク世代は、機器の設置よりずっと前から期待を生むからだ。計画プログラムは、研究の優先順位、ベンダー関係、資本要求に影響しうる。完成したバックボーンとして提示すべきではない。最も妥当な解釈は、ESnet が ESnet6 の運用経験と現在のワークフロープロジェクトを活用して、第7世代がどうあるべきかを決定しているというものだ。
速度は引き続き重要だが、証拠は、プログラマビリティとインテリジェンスが同様に中心になりうることを示唆している。より高速なリンクは、アプリケーションにどこで計算が利用可能かを伝えず、マイクロバーストを特定せず、検出器フローのスケジュールを立てず、複数ドメインにわたるサービスが正しく終了したことを証明しない。ESnet7 の戦略的論点は、ネットワークが、管理不能な中央コントローラーと化さずに、科学ワークフローのどこまでを理解し調整するかだ。(Confab26 プログラム;2024年の応用研究)
連邦資金が施設を支えるが、予算項目は収益ではない
ESnet は、バックボーンを一般向けの容量販売で資金調達していない。Department of Energy は主に、ASCR の活動である High Performance Network Facilities and Testbeds を通じて資金を提供している。2027会計年度の予算要求は、このプログラム項目について、以前に承認された欄の9,726万米ドルに対し、1億300万米ドルを提案した。
この数値はプログラム規模の最良の公的指標だが、ESnet の損益計算書ではない。この項目は、ネットワーク関連テストベッド、ソフトウェア保守、アップグレード、研究活動も支援する。本番バックボーンの年間運用コスト、ネットワーク世代ごとの資本投資、個別サイト接続に伴う収益は示さない。
公共資金により、施設は需要が商業化する前に投資できる。長期スペクトラムの取得、オープンソースツールの保守、量は少なく科学的価値の高い実験の支援、即時の利用が正当化する以上の経路多様性の構築が可能だ。同じモデルは、連邦議会の歳出、省の優先順位、Berkeley Lab の運営体制への依存も生む。
サイト接続は必ずしも無償ではない。ESnet の Site User Cost Policy は、スポンサーシップ、対象資格、増分要件に応じて、機関ユーザーが接続関連費用を負担することを認めている。関係の単位はサイトであり、個々の研究者ではない。エンドユーザーが ESnet から個別に課金されたり登録されたりすることはない。
独立した会計がないため、財務分析は限られる。公開資料は、ベンダー集中の全体像、給与、減価償却スケジュール、経路別資産台帳、年間資本予算を明らかにしない。1億300万米ドルを「ESnet の収益」と呼ぶのは不正確だ。より正確な結論は、連邦プログラムが、より広範な活動項目を通じて、本番施設、そのアップグレード、ソフトウェア保守、テストベッドに資金提供しているというものだ。
資金構造は戦略的選択にも影響する。商用ネットワークは、コストを回収できない経路を放棄できる。公共の科学施設は、国家ミッション、科学的機会、長期的能力と、予算制約のバランスを取る必要がある。これにより、即時の金銭的リターンがない投資が正当化されることもあるが、透明な優先順位付けと要件レビューが生み出す証拠も不可欠になる。(ASCR 2027会計年度予算要求;ESCC とサイトポリシー)
信頼性、ルーティングセキュリティ、テレメトリは独自の義務を生む
ESnet の2024年報告書は、重要な可用性の結果を記録した。指標に含まれる Office of Science の10サイトすべてが、計画メンテナンスを除き、サービス可用性100%を達成した。全サイトが同時に99.9%の要件を上回ったのは初めてだった。年次報告書はまた、より広い99.99%の可用性数値も示した。これらは有用な指標だが範囲が異なり、すべてのサービス、機関、国際経路が中断なしだったことを証明するものではない。
Site Resilience Program は、接続施設の複数入口、ルーター、電力、障害ドメインを調査する。これは厄介な現実を反映している。全国バックボーンが冗長でも、研究所が単一の管路やローカル機器に依存し続けることがある。信頼性はバックボーンの地図で終わるのではなく、建物とデータ転送システムにまで届く必要がある。
ルーティングポリシーは別の制御層を提供する。ESnet はピアリング関係で RPKI 無効アナウンスを拒否し、最新のルーティング登録を要求し、ハイジャック監視と宛先ブラックホール化を提供する。これらの制御は既知のリスクを減らすが、ドメイン間ルーティングを無謬にはしない。有効なオリジンがリークやポリシーエラーに関与することは依然としてありえ、ブラックホール化は影響を受ける宛先を到達不能にすることで他のシステムを保護する。
自動化も同様のトレードオフを生む。標準化された設定、インベントリ、オーケストレーションは、手動ミスを減らし回復を速められる。しかし、誤ったテンプレート、ポリシー、データレコードは、複数の機器に急速に伝播しうる。適切な対応には、段階的導入、独立検証、明確なロールバック手順または段階的復旧、単一の自動化アカウントの権限への制限が含まれる。
運用データにも同じ注意が必要だ。施設のデータポリシーは、ルーター利用率情報と NetFlow を無期限に保持し、米国東海岸と西海岸のストレージに複製できると述べている。perfSONAR のアクティブ測定は、バックアップなしで単一ディスクに6か月保持される。ルーター利用率情報と traceroute は公開される一方、フローレコードとセキュリティレコードはアクセス制限の対象だ。
これは、ESnet が個々のエンドユーザーを加入者として正式に追跡していないという説明と矛盾しない。2つの異なるシステムだ。ESnet は個人単位の登録・請求関係を持たないが、ネットワークメタデータは、エンドポイント、通信する機関、時間帯、トラフィックパターンを特定できる。高忠実度のテレメトリは診断とセキュリティを改善するが、最小化、アクセス制御、保持期間の見直し、責任ある利用の必要性も高める。
最も堅牢な耐障害性モデルは、完全な可用性の主張ではない。定義された限界を持つメカニズムの集合だ。物理的多様性、サイトエンジニアリング、ルーティングセキュリティ、測定、インシデント対応、データガバナンス、そして各指標の範囲を公表する姿勢である。(可用性の節目;施設データポリシー;ピアリングポリシー)
ESnet が意味するもの
ESnet の歴史は、より高速なネットワークの連続として読める。専門的な前身システム、ESnet4、大陸横断100G の ESnet5、複数テラビットの ESnet6 である。この年表は実在するが、最も重要な連続性は捉えていない。この施設は、生の容量が問題を解決しなくなったとき、科学の仕事を中心にアーキテクチャを繰り返し変えてきた。
Science Data Network は例外的なフローを通常のトラフィックから分離した。OSCARS は容量を予約可能にした。Science DMZ は機関の境界を変更した。perfSONAR と iperf3 は性能をめぐる論争を測定に変えた。SENSE はアプリケーションの意図を複数の管理ドメインに結びつけた。EJFAT は長距離経路を検出器のサイクルの中に持ち込んだ。キャッシュは需要を変え、大西洋横断スペクトラムは ESnet の国際的成長に対する制御を広げた。
組織の権限は限定的なままだ。DOE と ASCR が使命と資金を定義する。Berkeley Lab が施設を運用する。University of California が契約に基づき研究所を管理する。サイトコーディネーターが自らの機関に影響する変更を承認する。国際パートナーは自らのネットワークを管理する。クラウドプロバイダー、通信事業者、ケーブル所有者、機器サプライヤーは、ESnet が依存する構成要素に対する力を保持している。
この制御の分散は、ソフトウェアが排除できる不便さではない。科学ネットワークが機能する条件そのものだ。実践的な達成は、単一の機関が経路全体を所有しているふりをせずに、ワークフローを届けるのに十分な調整を提供することにある。
同じ規律が将来に関する主張も支配すべきだ。ESnet7 は計画中であり、最も新しい完全な報告書では SENSE は研究段階にあり、EJFAT は先進的プロトタイプまたは新興プラットフォームであり、QUANT-NET は実験的であり、American Science Cloud はまだ構築中だった。成熟度が正確に記述されるとき、証拠は最も有用になる。
ESnet の長期的な重要性は、共有科学施設モデルにある。ネットワークは、要件、運用、ソフトウェア、測定、研究、公共資金を備えた科学機器として扱われる。このモデルは、数千キロメートル離れた検出器とスーパーコンピュータが、両者の間のシステムが単一の経路として設計されなければ、ほとんど共同価値を生まないことを認識している。
したがって問題は、ESnet が普遍的なランキングで最速のネットワークかどうかではない。入手可能な証拠における中立的な最新指標は、その主張を支えない。より強く有用な結論はこれだ。ESnet は、世界で最も高性能な文書化された科学ネットワークのひとつであり、その主な貢献は、分散科学をエンドツーエンドで運用可能にすることである。(ESnet の歴史;ESnet6 の発表;2024年次報告書)
出典
- ESnet のガバナンスとポリシー
- ESnet の歴史
- ESnet 2024年次報告書
- ESnet by the Numbers: 2024
- 2024年の運用イノベーション
- 2024年の応用研究活動
- 大西洋横断スペクトラムの節目
- 可用性の節目
- ESnet の幹部
- ESnet Site Coordinators Committee
- ネットワークサービスカタログ
- ピアリング相互接続とルーティングポリシー
- 施設データ管理ポリシー
- DOE ASCR 2027会計年度予算要求
- Berkeley Lab による ESnet6 の発表
- ESnet4 アーキテクチャと Science Data Network
- ESnet5 の大陸横断100G 発表
- Science DMZ
- OSCARS
- SENSE
- EJFAT
- ネットワーク性能ツール
- 科学要件レビュー
- Wireless Edge の地熱フィールド導入
- 量子ネットワーク研究
- FRIB の直接データストリーミング成果
- Rubin Observatory のケーススタディ
- DUNE のケーススタディ
- Confab26 プログラム
会員向け解説
プロフィールの詳細
適切な会員レベルでログインすると、解説全文と出典メモをご覧いただけます。
Strategic Circle 限定
Strategic Circle
すべての読者に公開されています。参加してログインすると プロフィール解説 を閲覧できます。
Strategic Circle に参加Leadership Alliance 会員限定
Leadership Alliance
対象となる IP 資産の所有者・管理者向けです。ログインすると Leadership Alliance の解説を閲覧できます。
Leadership Alliance に参加
