要点

  • ESnet は、米国エネルギー省(DOE)傘下の科学ユーザーファシリティであり、商用通信会社や独立機関ではなく、ローレンス・バークレー国立研究所が運用している。
  • ESnet6 は、約15,000マイルの専用ファイバー、光・パケットシステム、専用サービス、ピアリング、計測、プログラマブル制御を統合。57 Tbps という数字は総容量であり、ユーザー速度ではない。
  • Science DMZ、perfSONAR、OSCARS、SENSE、High-Touch、EJFAT は、ESnet の際立った貢献が、計測器やサイトエッジから遠隔計算まで、エンドツーエンドのパスエンジニアリングにあることを示している。
  • ESnet7 や American Science Cloud の計画は、ネットワークが科学ワークフローにより深く統合されることを示唆するが、いくつかの要素はまだ実験的なデモ、研究段階のシステム、または発展途上のサービスである。

実験の核心に入り込む科学ネットワーク

2024年4月、バージニア州の Jefferson Lab の実験データが、米国を横断してカリフォルニア州の Perlmutter スーパーコンピューターまで100 Gbps で転送され、ディスクに書き込まれることなく処理された。このデモは ESnet の実験的な EJFAT システムを利用し、データ収集完了後にネットワークを作動させるのではなく、科学ワークフローそのものの中に広域ネットワークを組み込んだ。このシフトは ESnet が直面する核心的な問いを要約している:何千キロも離れた施設を単一のマシンのように機能させるため、ネットワークは装置、ストレージ、遠隔計算を十分に緊密に接続できるか、という問いである。

典型的なパスは、研究所や研究施設内の検出器、望遠鏡、顕微鏡、またはシミュレーションから始まる。ローカルの収集系がデータを集め、ストレージ/転送サーバーがデータを整形し、サイトネットワークがデータを管理された機関境界まで運ぶ。そこから ESnet がトラフィックを米国全土、あるいは大西洋横断、DOE のスーパーコンピューター、研究教育ネットワークのパートナー、または商用クラウド環境へと運ぶ。その結果は、分析済みデータセット、アラート、モデル、あるいは実験の次のステップを決める判断として戻ってくるかもしれない。

このパス全体を単一の組織が管理しているわけではない。装置チーム、ラボネットワーク、地域研究ネットワーク、クラウドプロバイダー、国際パートナー、スーパーコンピューター施設はそれぞれ異なる組織に属している場合がある。ESnet はミッション指向の広域レイヤーを運用し、これらの事業者と連携してパス全体をひとつのシステムとして機能させる。遅いストレージサーバー、混雑したサイトリンク、または不適切なファイアウォールは、高速な国内バックボーンの容量を無駄にする。ESnet 内部の障害が、適切に設計されたローカル施設を遮断することもある。

組織的には、ESnet は DOE 科学局のユーザーファシリティである。Advanced Scientific Computing Research(ASCR)プログラムが主要な監督を行い、ローレンス・バークレー国立研究所(LBNL)の Scientific Networking Division が運用する。バークレー研究所自体は、契約に基づきカリフォルニア大学が DOE のために管理している。ESnet は株式、株主、企業価値評価、または独立した商業予算を持たない。そのため、公共の顧客基盤を持つネットワーク企業ではなく、連邦科学インフラとして理解するのが正確である。

研究者は通常、装置、スーパーコンピューター、ラボサービス、大学接続、または協力ネットワークを通じて間接的に ESnet を利用する。同ファシリティは「サイト機関ユーザー」と「エンドユーザー」を区別しており、すべての個別のエンドユーザーを正式に登録・追跡しているわけではないと述べている。したがって、2024年年次報告書にある「30,000人以上の組織ユーザー」という数字は、加入者数ではなく、機関規模の指標である。

通信キャリアとの通常の比較では、ESnet の役割の一部しか説明できない。ESnet はルーティング、光伝送、ピアリングを運用する一方で、要件レビューを実施し、オープンソースツールを開発し、新しいサービスをテストし、サイトがエンドツーエンドのパフォーマンスを診断するのを支援する。その公共目的は接続を販売することではなく、地理的に分散した科学施設が研究を支える速度、証拠、運用上の透明性をもって協働できるようにすることである。(ESnet ガバナンス;ネットワークサービス

遠隔計算が共有科学ネットワークの必要性を生んだ

ESnet の公式な歴史は1970年代半ばにさかのぼる。当時、計算能力と長距離通信は潤沢ではなかった。ローレンス・リバモア国立研究所の制御核融合研究計算センターでは、4台の音響モデムを介して借り物の Control Data Corporation 6600にスタッフが接続していた。機器も速度も別の時代のものだが、運用上の問題は今も見慣れたものだ:専用の科学コミュニティが、参加機関ごとに複製できない高価な計算資源への遠隔アクセスを必要としていた。

1970年代後半から1980年代初頭にかけて、DOE 内の別々の研究コミュニティが独自のネットワークを構築した。高エネルギー物理学と磁気核融合研究では施設も協力者もデータフローも異なっており、HEPnet や MFEnet といった初期のネットワークがその境界を反映していた。専用ネットワークの構築は、商用サービスが必要な帯域幅、性能、運用上の注意を提供できなかった当時、論理的だったが、重複も生んだ。各プログラムが独立して回線交渉、技術維持、専門知識の蓄積を行ったため、長期的な協力やアップグレードが断片化されたままだった。

1986年の ESnet の正式な設立は、これらの機能をより広範な科学ネットワークへと統合した。この変更は技術的であると同時に組織的なものだった。共有ファシリティはプログラム横断的な需要を予測し、国内リンクを運用し、国際接続を調整し、専門的なスタッフの専門知識を保持できた。容量は単一プロジェクトの問題から、省全体のインフラ計画へと移った。

この初期のモデルは、現在もなお当てはまるいくつかの特性を確立した。ユーザー定義は小売市場ではなく科学ミッションに基づいていた。中央のコンピューターや装置が共有公共投資を正当化した。ネットワーク設計は長期的なタイムラインを持つ研究プログラムに追随した。運用には、通信システムと科学的な障害の結果の両方を理解する人材が必要だった。需要もまた、非定常的だった。単一の実験が通常レベルの何倍ものトラフィックを生成しうるからだ。

バークレー研究所には独自のネットワークの歴史がある。CDC 6600は1974年に ARPANET に接続され、後に同研究所の研究者が TCP 輻輳制御の基礎研究に貢献した。Van Jacobson と Mike Karels の業績はバークレー研究所のより広範な環境に属し、ESnet 単独に帰すべきではない。しかし、その制度的なつながりは重要だ。なぜなら、運用中の科学ネットワークが、プロトコルの振る舞い、計測、パフォーマンスを単に受け入れるべき固定条件ではなく、工学的に研究可能な問題として扱う研究者の近くに位置することになったからである。

運用は1996年にバークレー研究所へ移管された。これにより、ESnet の現在の本拠地が National Energy Research Scientific Computing Center(NERSC)、ネットワーク研究者、ソフトウェアエンジニア、その他の DOE プログラムと隣接することになった。また、運用施設と応用研究組織がスタッフ、ラボ、技術的課題を共有する文化が強化された。(ESnet の歴史

公的資金により ESnet は需要に先んじて構築できる

科学ユーザーファシリティが存在するのは、特定の能力が高価、専門的、または相互接続されているため、各研究チームが独自に構築できないからである。この論理は粒子加速器、光源、最先端のスーパーコンピューターに適用されるが、ESnet はそれを通信に適用する。長距離ファイバー権、光機器、ルーター、国際容量、継続的運用、サイバーセキュリティ、パフォーマンス計測、エンジニアリングサポートが、複数のプログラムにサービスを提供する単一のファシリティに統合される。

公的資金の根拠は、科学需要の形状にある。通信事業者は大容量回線を販売できるが、通常、数年後に稼働を始める検出器、契約期間中に発生しないかもしれない超新星ニュートリノバースト、商業的ボリュームは小さいが公共的価値の高い研究ワークフローを中心に、国内インフラを設計することはない。ESnet は、測定された使用量が現れる前に構築できる。その使命は科学的な能力だからであり、短期的なネットワーク収益ではない。

ファシリティモデルは需要の発見方法も変える。ESnet は DOE の科学プログラムと正式な要件レビューを実施する。研究者や施設チームは、5年から10年の時間軸で、装置、データ量、ストレージ場所、計算先、タイミングの制約、協力パターン、ローカルのボトルネックを記述する。その結果は、サイトリンクのサイジング、パスの多様性、大西洋横断調達、調整研究、サービス設計のインプットとなる。

このプロセスは、新しいコヒーレント光リンクほど華やかではないかもしれないが、より大きな影響を与える可能性がある。海中スペクトラム契約、ルーター購入、あるいはセカンドサイトへの入口設置には、資金確保と実施に何年もかかることがある。実験がデータを生成するまで待つことは、予見可能なインフラニーズを緊急事態に変える。要件レビューは科学的計画を、その中で作業できる工学的リードタイムへと変換する。

レビューは不確実性も明らかにする。予測は変わり、装置のスケジュールは遅れ、データ削減ソフトウェアは改善し、クラウド利用は拡大し、施設内でワークフローが再設計される。ESnet はケーススタディを保証されたトラフィック需要として扱わない。なにがしかの範囲の要件を構築するためにエビデンスを用い、どこで柔軟性、予備容量、段階的展開が正当化されるかを決定する。

ファシリティモデルは、個々の科学者にギガバイト単位で課金することを回避する。中核的な運用は連邦政府が資金を提供し、一部のサイト接続コストはプログラムのスポンサーシップと Site User Cost ポリシーに従って割り当てられる。この取り決めはインセンティブの相違をなくすものではない。スポンサープログラムはより安価な接続を好むかもしれず、ESnet は複数のプログラムに役立つ容量と柔軟性を好み、あるサイトは国内ネットワークを活用するために必要なローカルのアップグレードを遅らせるかもしれない。ガバナンスの役割は、コストを別の予算項目に移すことではなく、これらの決定を科学的成果と整合させることである。(ESnet サイトコーディネーター委員会およびコストポリシー;要件レビュー報告書

DOE がミッションを定義し、バークレー研究所がネットワークを運用する

ESnet は通信キャリアの組織系統を持たない。その権限は連邦プログラムのチェーンに分散している。DOE 科学局がミッションを定義し、ASCR プログラムが主要な監督と予算監視を提供し、バークレー研究所の Scientific Networking Division が施設の設計、運用、開発を行う。バークレー研究所はカリフォルニア大学が DOE のために契約運営しており、接続機関はサイトコーディネーターと ESnet Site Coordinators Committee(ESCC)を通じて参加する。

Inder Monga は ESnet のエグゼクティブディレクターおよびバークレー研究所の Scientific Networking Division のディレクターを務める。現在の公的情報源は、Chin Guok をチーフテクノロジスト兼計画・イノベーションリード、Adam Slagell をセキュリティ責任者、Jon-Paul Herron をネットワークエンジニアリングマネージャー、Susan Lucas をビジネスオペレーション担当副ディレクターとしている。これらの役職の下には、光エンジニアリング、ルーティング、サイトエンジニアリング、ネットワークオペレーション、ソフトウェア、計測、調整、セキュリティ、プロジェクト管理、科学コミュニケーションなどの機能がある。

この構造の幅広さは、国内ネットワークを単なるファイバーとルーターの集合体と見なす単純化を修正する。ESnet は、スペクトラムを購入し、BGP を運用し、計測システムを構築し、オープンソースソフトウェアを保守し、パケットの挙動を調査し、施設を計画し、証拠に基づくセキュリティを管理し、科学要件をネットワーク設計に翻訳できる人材を必要とする。組織は同時に運用側であり、開発側でもある。

公的記録には、プログラム管理に関する未解決の詳細が含まれている。現在のガバナンスページでは Benjamin Brown が ASCR のプログラムマネージャーに指名されているが、最近の要件レビュー資料では Carol Hawk が ESnet プログラムマネージャーとして特定されている。この証拠からは、公的情報源がまだ調整されていないか、責任が変更または分割された可能性があると言えるが、追加の確認なしに排他的な現在の並びを選択することは許されない。

ESnet Site Coordinators Committee は、接続機関に対して正式な運用チャネルを提供する。各サイトは、その機関の ESnet 接続に影響する変更を承認し、要件を伝達し、ポリシーと計画の議論に参加できるコーディネーターを指名する。これは、ネットワークを通過するデータを持つすべての科学者による直接投票ではない、制度化されたユーザーガバナンスである。

その結果、責任の実用的な分散が生まれる。ESnet はバックボーンとサービスを管理し、接続サイトはキャンパスのネットワーク機器、データ転送ノード、ローカルセキュリティ、電力を管理し、ASCR がプログラムレベルの資金を管理し、科学プログラムが遅延や障害の結果を定義し、国際パートナーが自らのネットワークを管理する。エンドツーエンドのワークフローは、これらの別々の権限が整合している場合にのみ成功する。(ESnet リーダーシップ;ガバナンス

ESnet4 は通常トラフィックと例外的な科学フローを分離した

2000年代半ばまでに、分散型実験がトラフィックパターンを変え始めた。大型ハドロン衝突型加速器(LHC)は、CERN でデータを生成し、世界中のラボとコンピューティングセンターの階層を通じて配布する予定だった。通常のインターネット接続は依然として不可欠だったが、少数の科学転送が非常に大規模になり、通常のリンクを占有する可能性があった。両方のモードに単一の無差別ネットワークを構築すると、容量管理とサービスの保証が困難になった。

ESnet4 はハイブリッドアーキテクチャでこの問題に対処した。IP コアは一般的な科学通信を運び、別の Science Data Network は大規模フロー向けに大容量の光回線を使用し、パスの動的プロビジョニングをサポートした。メトロポリタンリングは主要ラボを接続し、Internet2 や国際パートナーとの協力により、システムを DOE サイトを超えて拡張した。

このアーキテクチャは、単純な「速い」「遅い」という分割ではなく、運用要件に従ってトラフィックを分離した。汎用 IP サービスは広範な到達性と柔軟なルーティングを必要としたが、計画された数テラバイトの転送は、開始時間、専用帯域幅、既知のエンドポイントが保証された予約済みレイヤ2パスの恩恵を受ける可能性があった。Science Data Network は、少数の予測可能で価値の高いフローが、通常のパケット転送とは異なる制御モデルを正当化しうることを認識した。

OSCARS はこの環境から生まれた。On-demand Secure Circuits and Advance Reservation System は、認可されたユーザーやアプリケーションが特定の期間ネットワークリソースを要求することを可能にした。システムはパスを見つけ、トポロジやポリシーの制約をチェックし、帯域幅と VLAN リソースを予約し、機器に状態を作成し、予約が終了したら削除する必要があった。これにより、手動の調整に依存していたタスクが、ソフトウェアが要求できるサービスに変わった。

ESnet4 は、生の速度が唯一のボトルネックではないことも実証した。予約回線は広域ネットワーク内の容量を保護できたが、ストレージシステムが十分な速度で読み取れない、またはローカルのファイアウォールがパケットをドロップするためにアプリケーションが遅いままになる可能性があった。この教訓は、Science DMZ アーキテクチャとエンドツーエンドの計測に直接つながった。

この段階は、ESnet の設計における反復的なパターンを確立した。科学上の問題がまずトラフィック要件として現れ、ファシリティはその周りに物理容量、制御メカニズム、および運用方法を構築する。その方法の価値が証明されると、ソフトウェアやエンジニアリングガイダンスが最初の実験を超えて普及する。(ESnet4/ESnet5 歴史資料;OSCARS

Science DMZ はボトルネックがエッジにあることを示した

国内バックボーンは正常に動作していても、科学者は依然として低い転送パフォーマンスに悩まされるかもしれない。理由は単純だ:バックボーンはパスの一部に過ぎないからである。機関のファイアウォール、混雑した大学のネットワークコア、古いルーター、性能不足のサーバー、パケットロス、ストレージの制限により、大容量回線がその設計能力のごく一部にまで低下する可能性がある。

Science DMZ は、このエンドツーエンドの現実に対する ESnet の対応である。このアーキテクチャは、管理された機関境界の近くの高性能パス上にデータ転送ノードを配置する。セキュリティポリシーは、これらのシステムが公開する限定的なサービスに合わせて調整され、あらゆる種類のエンタープライズアプリケーション向けに設計された、ステートフルな汎用ファイアウォールを経由して持続的な科学トラフィックを強制的に通過させることはしない。

この用語は、セキュリティの除去を求めるように誤解される可能性がある。しかし Science DMZ は、ホストの堅牢化、ルーターのアクセス制御リスト、監視、脆弱性管理、公開サービスの最小化、運用規律に依存している。この設計は、特定の制御をどこでどのように適用するかを変えるだけであり、エンタープライズのデフォルトセキュリティ姿勢の一部であるという理由だけで、データパスに不適切なスループットやセッション挙動を持つデバイスを置くことを避ける。

パフォーマンス計測はオプションのダッシュボードではなく、アーキテクチャの一部である。perfSONAR ノードは、スループット、パケットロス、レイテンシ、パス変更について制御されたテストを実行する。2つのサイトがなぜ転送が遅いかについて意見が異なる場合、計測は問題がホスト、ローカルリンク、地域ネットワーク、ESnet バックボーン、または国際パートナーのどこから始まっているかを突き止めるのに役立つ。その証拠がなければ、各事業者は自分のセグメントは正常だと言いがちだが、研究者は依然としてデータを移動できない。

データ転送ノードには独自のエンジニアリングが必要である。NIC、プロセッサの位置、メモリ、ディスクまたは並列ファイルシステム、TCP バッファ、転送ソフトウェアが達成可能なスループットを決定する。ESnet の Fasterdata ガイダンスと技術コンサルテーションは、これらの詳細を再現可能な実践に変える。このアプローチは DOE ラボを超えて広がったが、ESnet はその名前を使用するすべての実装を運用しているわけではない。

Science DMZ は、調達の質問をシステムの質問に再構成したため、影響力を持つようになった。より高速な回線は、他の場所の制約されたパスを修正しない。有効なパフォーマンスの単位は、エンドツーエンドのワークフロー全体(ストレージからストレージ、または装置から計算まで)であり、各管理スコープが計測され、明確な責任が割り当てられる。(Science DMZ ガイダンス;ネットワークパフォーマンスツール

ESnet5 は大陸規模の100G ネットワークを本番サービスにした

次の主要な容量移行は、Advanced Networking Initiative と米国の経済刺激策によって支援された。ESnet は、American Recovery and Reinvestment Act に基づき6,200万ドルを受け、長距離100 Gbps のプロトタイプを開発し、ESnet5 への移行を支援した。この投資は新しいルーターにとどまらず、ESnet は全国ファイバーフットプリント全体のスペクトラム容量権も取得し、プログラムが波長の展開とアップグレードをより大きく制御できるようにした。

ESnet5 は2012年後半に本番稼働を開始した。DOE と ESnet は当時、これを世界最速の科学ネットワークと表現した。この歴史的主張は、当時の先駆的な大陸100G 展開に結びついており、2026年時点の普遍的なランキングとして繰り返すべきではない。現在の研究ネットワークは、個々のインターフェース速度、総バックボーン容量、光スペクトラム、テストベッド実験など、異なる指標で容量数値を公表している。利用可能な証拠には、普遍的な単一の指標で単一の勝者を選ぶための、公平で最近の比較は含まれていない。

100G の経済的影響は、インターフェース速度を10倍に引き上げる以上のものだった。科学プロジェクトは、以前ならるかに長期間リンクを占有したであろう定期的な長距離転送を計画できた。ラボはいくつかの計算やストレージをローカルに複製する代わりに中央集約でき、国際共同研究はより高性能な米国バックボーンを利用できた。新しい容量はローカルの制約をより早く露呈させ、Science DMZ と perfSONAR の重要性を高めた。

ESnet5 は、パケットサービスと専用科学パスのハイブリッド関係を維持した。また、自動化の重要性をさらに深めた。100G の規模では、手作業による機器ごとの設定に頼って、全国フットプリント全体で一貫した容量の予約、障害の診断、サービスの維持を行うことはもはや現実的ではなかった。

このプロジェクトは、公的インフラ投資が、単一の実験が全ネットワークを使用する前に、科学的な選択肢をどのように変えるかを示している。容量は将来の装置のための余裕を生み出すが、余剰容量は商用サービスがアイドル状態にある場合と同じ意味での無駄ではない。その価値には、実験の遅延回避、障害の吸収、別の構築サイクルを待たずに新しいワークフローをテストできることが含まれる。

それでも投資は科学的利用に対して評価されなければならず、予測が変化した場合に設計は適応可能でなければならない。その後の ESnet の計測、キャッシング、調整に関する作業は、継続的な物理的拡張を唯一の回答として扱うのではなく、敷設されたビットあたりからより多くの科学的価値を引き出そうとする試みを反映している。(ESnet5 歴史発表

ESnet6 は光容量とプログラム可能な制御を統合する

ESnet6 プロジェクトは2017年に始まり、約6年間の設計・構築を経て2022年10月11日に正式に発表された。発表時、バークレー研究所は約15,000マイルの専用フットプリントにわたって46 Tbps 以上の総容量を発表し、バックボーンリンクは400 Gbps から1 Tbps の範囲だった。2024年の年次報告書では後に57 Tbps、バックボーンリンクは最大1.2 Tbps という数字が示された。これらの数字は異なる日付と拡張中のシステムに属するものであり、固定されたネットワークの矛盾した定義ではない。

物理層には、長距離ファイバールート、光回線システム、増幅器、スペクトラム権、コロケーション施設、およびローカルサービス挿入ポイントが含まれる。2024年の報告書では278箇所の光増幅器サイトが数えられた。コヒーレント光伝送はファイバー上に複数の高速チャネルを運び、増幅器と再構成可能な光機器が信号レベルを維持し、波長を誘導する。地図上のパスは、ダークファイバー、スペクトラム、調達済み点灯サービス、またはパートナーとの取り決めによって支えられている可能性がある。「15,000マイル」という記述は、DOE がすべてのケーブルを法的に所有していることを証明するものではない。

光層の上では、ルーターとサービスエッジが IP、プライベートルーティング環境、レイヤ2サービス、ピアリング、クラウド接続を提供する。年次報告書では78箇所のルーターサイトが数えられた。個々のサイトは要件に応じて10、100、400 Gbps で接続でき、バックボーンリンクは複数のインターフェースまたは波長を束ねてより高い数値を達成できる。

ソフトウェア層が ESnet6 を単なる容量アップグレードから差別化している。自動化は機器とサービスの状態を維持し、プログラム可能な計測は事業者により詳細な証拠を提供する。OSCARS は予約パスをプロビジョニングし、SENSE は複数のドメインにわたるアプリケーション主導の調整をテストし、High-Touch はより豊富なパケットおよびフローの可視性のためにプログラム可能なハードウェアを使用する。API とテストベッドのフックにより、成功した研究が運用に移行できる。

構築はまた、より大きなレジリエンスを強調した。多様なパス、複数のサイト入口、独立した電力、予備ルーター、高可用性のサービスロケーションは、単一の障害がラボを国内システムから切り離す可能性を低減する。しかし、その保護範囲は様々である。多様なバックボーンは、2つのローカル回線が同じ導管を共有している場合には意味をなさないし、セカンドルーターは両方のデバイスが同じ電力系統に依存している場合には回復力を生み出さない。

したがって、ESnet6 は多層的な施設として理解されるべきである。ファイバーは物理的到達性を提供し、光伝送は容量を生み出し、ルーターはパケットおよびプライベートサービスを提供し、ソフトウェアは再現性とプログラム可能性を付与し、計測は約束されたパスが機能しているかどうかを証明する。制度的な合意により、ESnet が所有しない境界を越えた横断が可能になる。(ESnet6 発表;2024年年次報告書

57 Tbps が意味すること、意味しないこと

ネットワーク統計は、しばしば異なるレイヤーを単一の数字に縮約する。2024年の57 Tbps という数字は、システム全体の総工学容量を表している。それは単一の物理リンクでも、各ラボが利用できるスループットでも、各瞬間に転送されるトラフィックでもない。同じ報告書は、バックボーンリンクを400 Gbps から1.2 Tbps と説明し、7つの米国サイトが400G 以上で接続され、大西洋横断容量が2.7 Tbps であるとしている。それぞれの数字は異なる質問に答えている。

同じ報告書は、78のルーターサイト、約15,000マイルのフットプリントにわたる278の光増幅器サイトを挙げている。全17の DOE 国立研究所を接続し、28の DOE ユーザーファシリティ、5カ国にわたる277の研究・商用・その他のネットワークとの関係、3万人以上の組織ユーザー、24州で働く137人のスタッフと請負業者を数えた。これらの数字は異なる集合を表しており、顧客数として合算すべきではない。ルーター、ファシリティ、パートナーネットワーク、組織ユーザー、および労働力は別個の尺度である。

サイト接続は単一の機関境界での容量を表し、バックボーンリンクはネットワーク内の2点間の容量を表す。光システムは複数の波長を運ぶことができ、論理サービスは物理層の一部のみを使用する可能性がある。総容量は多数のリソースを集約するが、そのすべてが同時に同じ送信元と宛先にサービスできるわけではない。トラフィック量は、ある期間に転送されたデータを測定するものであり、ある瞬間に利用可能なピークレートではない。

ESnet は2024暦年中に1.77エクサバイトを転送し、2023年の1.7エクサバイトから増加した。4%の増加は、同施設が1989年以降報告している年間平均成長率約55%の歴史と比較して低い。単年の数字だけでは科学需要が横ばいになったとは証明されない。大規模プロジェクトは不規則にサービスを開始し、ソフトウェアの変更により転送が減少する可能性があり、単一の実験や国際的なイベントがミックスを急速に変える可能性がある。

トラフィックも集中している。2024年の報告書によれば、LHC 活動が総トラフィックの約半分を占めた。Fermilab は最大の外部送信元で136 PB を送り、NERSC は最大の DOE 受信者で75.3 PB を受け取り、Oak Ridge は最大の DOE 送信元で58.3 PB を送った。これらの数字は主要なワークロードを明らかにするが、科学的価値の完全な順位付けにはならない。はるかに小規模な転送がより時間的制約が厳しいかもしれず、または独自の装置を支えているかもしれない。したがって、容量計画には、ピークトラフィックと平均トラフィック、パスレベルの利用率、障害時予備、サイトリンクレート、科学的マイルストーン、将来の要件といった複数の視点を同時に必要とする。平均利用率のみを中心に設計されたネットワークは、超新星バーストやケーブル切断時に機能不全に陥る可能性がある。一方、理論上の最大イベントを中心に設計されたネットワークは、高価で柔軟性に欠ける資産を構築する可能性がある。

ESnet の工学的課題は、容量を必要とするワークフローがアクセスできる場所に配置し、エンドシステムがそれを利用できることを検証することである。だからこそ、容量の数字は、それ自体が物語るランキングとして記事のトップに置かれるべきではなく、Science DMZ、計測、調整、要件レビューと並べて置かれるべきなのである。(ESnet 数字で見る2024

AS293 は小売市場ではなくミッションをルーティングする

ESnet のパブリック自律システム番号は AS293 である。同ネットワークは、DOE サイト、研究教育ネットワーク、商用ネットワーク、有料トランジットプロバイダーとルートを交換する。ルーティングポリシーは、どのパスが科学トラフィックを運ぶことができ、障害をどのように処理し、どの外部ネットワークが直接ピアリングを取得するかを定義する。

ピアリングポリシーは選択的である。将来のパートナーは BGP を使用し、Internet Routing Registry および PeeringDB に最新情報を維持し、RPKI に基づく無効なアナウンスを回避し、MANRS に沿ったルーティングセキュリティ慣行に従う必要がある。ESnet は IPv6 またはデュアルスタック運用を要求し、IPv4 のみの新しい関係は受け入れない。直接プライベートピアリングは100G ポートから始まり、400G が強く推奨される。

これらの条件は、ミッションと運用コストの両方を反映している。直接ピアリングはポート、エンジニアリング時間、監視能力を消費する。ESnet は単にパブリックパスが存在するという理由だけで、すべてのネットワークとピアリングする必要はない。DOE の科学パスを改善するか、トランジット依存を減らすか、主要な協力者に到達する関係を求める。パブリックインターネットアクセスは、Hurricane Electric と Lumen の有料トランジットによって補完され、研究ネットワークや直接ピアリングだけでは効率的に到達できない宛先に対応する。

ネットワークは、ESnet の位置、研究教育ネットワーク、商用ネットワークを区別する BGP コミュニティを公開している。接続機関はこれらのタグを自身のポリシーに使用できるが、下流ネットワークでの解釈は ESnet の管理外である。これらはメタデータであり、すべてのネットワークが同じルーティング決定を行うという普遍的な保証ではない。

ルーティングセキュリティにも限界がある。RPKI-invalid なアナウンスの拒否は誤ったルートの重要なクラスを防ぐが、すべてのリーク、侵害されたピア、正しいが誤用されたオリジン、または不正確なルートオリジン認可を防ぐわけではない。経路ハイジャック監視は予期しないオリジンの変更を特定できるが、検知が伝播後になる可能性がある。ブラックホールルーティングは、トラフィックを宛先でドロップすることによって攻撃中のサイトを保護できるが、保護はプレフィックスへの到達不能性と引き換えである。

ミッション指向の設計はサービスの境界に現れる。ESnet はパブリック IP トラフィックを運ぶが、コンシューマートランジット市場を獲得しようとはしない。そのポリシーは科学的到達性、回復力、信頼できるピアリングを中心に構成される。ネットワークの価値は、AS293 に接続するリテール顧客の数を最大化することではなく、サービスを提供するコミュニティのために作り出すパスの品質によってもたらされる。(ESnet ピアリングポリシー

専用パスは外部リスクを取り除くことなく到達範囲を拡大する

ESnet のサービスリストは物理接続から始まる。適格サイトは、ローカルまたはリモートの PoP で10、100、400 Gbps で接続できる。施設が専用フットプリントから遠い場合、Service On-Ramp が事業者のダークファイバーまたは点灯回線を使用することがある。アクセス設計は科学パスの一部となり、ベンダー提供のラストマイルが最も重要なパフォーマンス制約または障害点になる可能性がある。

レイヤ3 IP サービスは、IPv4 および IPv6 ルーティングを提供する。仮想プライベートレイヤ3ネットワークは、物理インフラを他のサービスと共有しながら、マルチサイトプログラム向けに論理的に分離された IP および BGP 環境を作成する。レイヤ2 VPN は、静的構成または OSCARS を介して、ポイントツーポイントまたはマルチポイントのイーサネット接続を提供する。これらのサービスにより、実験はインターネット上ですべての関係を公開することなく施設をリンクできる。

プライベートサービスは完全な物理的分離を意味するわけではない。論理的分離は、ルーター構成、タグ、ルーティング状態、アクセスリスト、および運用慣行に依存する。共有プラットフォームの障害は複数のサービスに影響する可能性があり、構成ミスが意図された分離を無効にする可能性がある。価値は、共有依存関係がないと主張することではなく、制御されたセグメンテーションと予測可能な接続性にある。

Cloud Connect は、AWS、Microsoft Azure、Google Cloud、Oracle などの主要な商用クラウド環境への専用パスを提供する。サイトは、パブリックインターネットルーティングの代わりに、専用のレイヤ2またはレイヤ3接続を介してプロバイダーの相互接続ポイントに到達できる。これによりパス制御が改善され、変動するトランジットへの露出が減少するが、クラウドセキュリティ、プロバイダーの停止、アイデンティティ設計、データエグレス料金、またはリージョンの可用性がなくなるわけではない。

クラウドとの関係は、ESnet の役割が変化していることを示している。DOE の科学はもはや連邦のラボやスーパーコンピューターだけに存在するわけではない。研究者は商用オブジェクトストレージ、専門サービス、またはバースト計算を使用する可能性がある。ESnet は、クラウドが連邦ネットワークの一部であるとか、専用回線がクラウドアカウントを本質的に安全にするなどと主張することなく、これらのリソースを接続しなければならない。

その他のサービスには、セカンダリ DNS、ネットワークタイム、経路ハイジャック監視、ブラックホールルーティングが含まれる。それぞれは、光容量が利用可能な場合でも研究を停止させる可能性のある補助的な依存関係に対処する。ネームサービスの障害、時刻エラー、ルートリーク、または DoS 攻撃は、ファイバーを損傷することなく科学システムを使用不能にする可能性がある。

サービスリストは、ネットワークレイヤーを横断する運用契約の集合である。物理接続がパスを定義し、ルーティングが到達性を生み出し、プライベートサービスが論理境界を確立し、クラウド接続が商用インフラへの拡張を可能にし、セキュリティサービスと支援サービスが既知の障害モードを低減する。それでもなお、ユーザーは両端で正しく機能するエンドポイントとローカルネットワークを構築しなければならない。(ESnet サービス一覧

OSCARS は容量を予約可能にする

インターネットトラフィックのほとんどは、パケットが到着したときに利用可能な容量を使用する。このモデルは汎用通信にはうまく機能するが、一部の科学転送はスケジュールされており、大規模で、遅延コストが高い。OSCARS は、認可されたユーザーとアプリケーションに、特定の期間のネットワークリソースを予約する手段を提供する。

予約では、エンドポイント、開始時刻と終了時刻、帯域幅、VLAN 情報、ルートの除外、その他の制約を指定できる。システムはトポロジと既存のコミットメントを検査し、受容可能なパスを見つけ、ネットワーク内に必要な状態を作成し、予約が期限切れになったらそれを削除する。同じ希少リソースの二重割り当てを避け、利用可能なトポロジを変更するメンテナンスや障害を考慮しなければならない。

その重要性は見た目ではなく、運用上のものである。手動の回線プロビジョニングには、エンジニア間の数日にわたる調整が必要になることがあるが、プログラムによる予約は数分で作成でき、実験ワークフローに投入できる。ネットワークは静的なバックグラウンドパイプではなくなり、ストレージや計算とともにソフトウェアが要求できるリソースになる。

OSCARS はオープンソースの本番システムであり、他のネットワークやテストベッドによって採用またはテストされている。一部の公的な採用数値は歴史的な資料を含むページに存在するため、最も安全な結論は、システムが ESnet を超えて普及したが、リストされたすべての実装が現在も同一であると仮定しないことである。

予約はアプリケーションのスループットを保証しない。それは一定量のネットワーク容量を保護できるが、ストレージサーバーを高速に読み込ませたり、サイトネットワーク内のパケットロスを修正したり、オペレーティングシステムを調整したりすることはできない。アプリケーションが予約レートの一部しか達成しない場合、診断は完全なパスに戻らなければならない。

予約は割り当ての問題も提起する。高優先度の実験は保証された容量の恩恵を受けるかもしれないが、未使用の予約は他者が利用できる柔軟性を低下させる。ポリシーは誰が要求できるか、競合をどのように解決するか、予約がプリエンプト可能かどうかを定義しなければならない。プロビジョニングコードが自動化されていても、これらの決定は依然として施設ガバナンスの一部である。

OSCARS は、アプリケーションソフトウェアがインフラに転換する ESnet の最も明確な例の1つである。同システムは、運用慣行を再現可能なサービスに変え、認可に関する人間のポリシーを維持し、科学アプリケーションにネットワーク要件を表現する制御された方法を与えた。(OSCARS

SENSE はアプリケーションがエンドツーエンドの成果を要求できるかどうかをテストする

予約されたネットワークパスは、分散ワークフローの一部を解決するだけである。ストレージシステム、データ転送サービス、計算リソースには、独自の可用性、容量、ポリシーがある。SENSE(Software-defined network for End-to-end Networked Science at the Exascale)は、単一のネットワークドメインを超えて調整を拡張する。

このプロジェクトは、ネットワークとエンドシステムを発見可能なリソースとしてモデル化する。科学アプリケーションは、指定されたレートで2つの施設間でデータセットを移動させるなど、望ましい成果を記述できる。SENSE は参加ドメインからモデルを収集し、リソースをネゴシエートし、ネットワークと転送サービスをプロビジョニングし、計測を監視し、ワークフローが完了したらリソースを解放する。

このタスクは単一の回線をプロビジョニングするよりも困難である。参加機関は独自の権限とデータモデルを保持する。あるドメインはネットワーク容量を公開し、別のドメインはストレージエンドポイントや転送サービスを公開する可能性があり、ポリシー、クレデンシャル、メンテナンスウィンドウは異なる。SENSE は、中央コントローラーがすべてのシステムに命令できると仮定せずに調整しなければならない。

2024年の LHC データチャレンジでは、SENSE 支援ワークフローが Caltech とカリフォルニア大学サンディエゴ校間で330 Gbps を維持した。この結果は、アプリケーション主導の調整が特定のライブパスで大規模なレートで機能できることを示しているが、SENSE がすべての ESnet サイトで汎用の本番サービスであることを証明するものではない。2024年の報告書は、このプロジェクトを依然として研究段階にあると説明している。

OSCARS と SENSE は、異なる作業単位を自動化する。OSCARS は既知のサービスドメイン内でネットワークリソースを予約し、SENSE は異なる機関が所有するシステムを含む完全なパスのネゴシエーションを試みる。前者の方が本番境界は明確だが、後者の方がガバナンスと統合のリスクは大きいものの、より広範な科学的価値を提供する。

事業者にとっての実用的な問題は、障害の所有権である。アプリケーションが意図を通知し、ワークフローのパフォーマンスが低い場合、原因はリソースモデル、ネットワーク、ストレージサービス、クレデンシャル、アプリケーション、またはドメイン間のタイミング問題にある可能性がある。調整には、合意された状態のどの部分が逸脱したかを各事業者に知らせるのに十分な高忠実度の証拠が必要である。

SENSE は、アプリケーションが回線ではなく成果を要求できるアーキテクチャを示している。その進捗は、実験的な最高レートだけではなく、複数のドメインにわたる反復可能な本番利用、サポート責任の明確化、部分的な障害からの回復能力によって判断されるべきである。(SENSE;2024年応用研究活動

EJFAT は科学イベントをリアルタイムで遠隔計算へ送る

伝統的な科学データ転送は、しばしばファイルベースのシーケンスに従う。実験がデータを生成し、ローカルシステムがファイルに書き込むのに十分な量を処理し、ファイルがストレージに入り、その後のプロセスが分析のために別の施設にデータをコピーする。このパターンは理解しやすく、運用上も信頼できるが、フィードバックを遅らせ、ピーク取得を処理できるローカルのストレージと計算を必要とする。

EJFAT(ESnet–Jefferson Lab FPGA Accelerated Transport)は、異なるパスをサポートする。このシステムは、UDP カプセル化されたライブイベントデータを、遠くのスーパーコンピューターセンター内に配置されうる利用可能な計算ワーカーに分配する。FPGA ベースのプログラマブル SmartNIC がイベント識別子を読み取り、同じイベントに属するすべてのフラグメントを単一のワーカーに送る。計算ノードが利用可能またはビジー状態になると、制御システムが分配を変更できる。

イベントフラグメントの統合は重要である。汎用ロードバランサーはパケットをサーバー全体に分散できるが、科学処理では単一の検出器イベントのすべての部分が同じワーカーに到着する必要があるかもしれない。EJFAT は、高レート転送機能と計算ワーカーのスケジューリングを分離し、両側の独立したスケーリングを可能にする。

前述の2024年4月の Jefferson Lab と Perlmutter 間のデモでは、中間ディスクステージなしで100 Gbps に達した。その後のテストでは、ESnet の報告によると、複数の施設と約2万コアにわたって分散した計算リソースが使用された。これらの結果はシステムの可能性を示すが、エンジニアリングの変更なしにすべての装置が採用できることを意味するわけではない。

Facility for Rare Isotope Beams(FRIB)は、より新しい運用例を提供する。2026年7月、ESnet は、研究者が EJFAT を介して約5~6 Gbps で生の実験データを遠隔のスーパーコンピューターにストリーミングしたと報告した。ある15時間のランでは615 GB が生成され、機械学習推論を使用して8つの Perlmutter ノードで20分で処理された。100G デモよりも低いネットワーク速度だからといって結果の重要性が低くなるわけではない。なぜなら、科学的成果は実際のワークフロー中のより迅速なフィードバックだったからである。

ライブストリーミングは施設の経済性を変える。検出器は、すべてのピークに対応するローカル容量を構築する代わりに、共有計算リソースを借りることができ、希少なビームタイムが利用可能な間に研究者が結果を検査できる。しかし、このシステムは新たな依存関係も生み出す。ネットワークの停止、計算の割り当ての問題、またはイベント分配のエラーが、ファイル転送の遅延ではなく、実験の瞬間瞬間に影響を与える可能性がある。

EJFAT は依然として高度なプロトタイプまたは発展途上のプラットフォームであり、世界的にサポートされるサービスではない。本番化には、装置の統合、セキュリティ、FPGA の可用性、運用の所有権、スケジューリング契約、および UDP パケットが失われた場合の明確な動作が必要である。その重要性は、広域ネットワークがデータ収集後に動作するのではなく、取得ループに入り込めることを示す点にある。(EJFAT;FRIB 科学ハイライト

High-Touch、perfSONAR、iperf3 がパスを可視化する

高速ネットワークは、集計された使用量グラフでは現れない方法で障害が発生する可能性がある。マイクロバーストがキューを満たし、パケットが異なる順序で到着し、損失が一方向または単一のトラフィッククラスに影響し、パスがテスト間で変更され、セキュリティ上重要なフローが統計サンプリングの中に隠れる。

High-Touch は、プログラマブルハードウェアとソフトウェアを使用して、従来のサンプリングベースのログよりも豊富なパケットおよびフローデータを収集する。2024年には、LHC スループット、ルービン天文台のトラフィックに関連するパケット順序の再編成、セキュリティイベントの調査に使用された。その目的は診断の精度であり、集計されたトラフィック数値では不明瞭になる振る舞いを特定することである。

より細かい証拠にはコストが伴う。パケットデータとフローデータには、ストレージ、処理、アクセス制御、慎重な解釈が必要であり、通信中のエンドポイント、協力パターン、科学活動のタイミングが明らかになる可能性がある。運用上の可視性のために設計されたシステムは、それによって機密性の高いデータ資産に変わる。

perfSONAR は異なるレイヤーに対応する。これは複数機関のパートナーシップによってサポートされる分散計測システムであり、ESnet は主要な創設参加者の1つである。2024年には世界中で2,000以上のロケーションが報告され、ESnet は30以上を運用している。制御されたテストは、参加ノード間のスループット、レイテンシ、損失、パスの振る舞いを測定する。

この分散設計は不可欠である。研究者が転送の遅さを報告しても、適切に設計された perfSONAR ノード間のテストは、基盤となるパスが期待されるレートをサポートしているかどうかを示す。方向性テストは非対称性を分離し、繰り返し測定は劣化が始まった時期を示し、traceroute データはパスの変更を特定できるが、観測されたルートと実際のアプリケーションの転送挙動は異なる可能性がある。

iperf3 は TCP、UDP、SCTP を介したアクティブなスループットテストを提供し、IPv4 と IPv6 をサポートする。ESnet はこのオープンソースツールを保守しており、特定の条件下で200G パス上で150 Gbps を超えるテストを報告している。合成テストはアプリケーションのベンチマークではないが、制御された条件下でホストとネットワークがトラフィックを移動できる能力を確立するのに役立つ。その後にストレージとアプリケーションの挙動を個別に調べることができる。

High-Touch、perfSONAR、iperf3 は、一緒になって真実に対する異なる視点を提供する。High-Touch は本番フローをさらに詳細に観察し、perfSONAR はスケジュールまたはオンデマンドのドメイン横断パス測定を提供し、iperf3 はホストとネットワークのスループットを直接テストする。どの単一の視点も完全な全体像を提供しないが、組み合わせることで、単一の事業者のローカルダッシュボードから分散障害を診断したくなる誘惑を減らす。(ネットワークパフォーマンスツール;2024年運用イノベーション

キャッシングはトラフィックを高速化する代わりに除去できる

容量の追加だけが科学ネットワークを改善する唯一の方法ではない。一部のデータセットは同じ地域の研究者によって繰り返し要求され、すべてのコピーを広域ネットワーク経由で転送すると、バックボーンがトラフィックを吸収できる場合でも帯域幅が無駄になり、遅延が増加する。

ESnet の2024年の応用研究報告では、科学データコミュニティで使用された5つの地域キャッシングノードが説明された。調査期間中、これらのノードは広域トラフィックを1日平均33 TB 削減した。リクエストの3分の2がローカルで処理され、平均ヒット率は94%だった。しかし、影響はロケーションによって大きく異なり、報告された削減率は南カリフォルニアで69.3%、シカゴで48.4%、ボストンで6.6%に達した。

これらのばらつきは価値の性質を明らかにする。キャッシュの有用性は、データセットの普及度、ローカルユーザー、ストレージ容量、立ち退きポリシー、およびサービス構成に依存する。同じデータを繰り返し分析するコミュニティの近くに配置されたノードは、大規模な転送を排除できるが、多様またはまれにしか要求されないデータを処理するノードは、同様の利益をもたらさずにストレージを消費する可能性がある。

キャッシングはまた、制御の問題を変える。ネットワーク事業者はデータの配置に関与し始めるが、科学コミュニティはどのデータセットを複製してもよいか、どのように鮮度を維持するか、誰がアクセスすべきかを定義しなければならない。ストレージの障害や古いコンテンツは、ネットワークに隣接する運用上の問題となる。

この研究は、最も効率的なビットがそもそもバックボーンにまったく入らないビットである理由を示している。光アップグレードは供給を増加させるが、キャッシングは需要を変化させる。ワークフロースケジューリングは混雑期間から移動させることができ、圧縮またはローカルフィルタリングは転送前にデータを削減できる。成熟したインフラプログラムは、敷設されたテラビット数だけで進捗を評価するのではなく、これらすべてのメカニズムを評価する。

この結果は、研究されたアプリケーションに限定したままにしなければならない。これは、すべての科学データセットが94%のヒット率を達成するか、キャッシングが独自のライブフローに必要な新しい容量を置き換えられることを証明するものではない。しかし、データアーキテクチャとネットワークアーキテクチャを一緒に設計できるという証拠は提供している。(2024年応用研究活動

大西洋横断科学には容量とともに物理的多様性が必要

ESnet の国内フットプリントは、国際的なコミットメントから切り離せない。高エネルギー物理学は大西洋の両側の施設とコンピューティングセンターを中心に組織されており、2024年の年次報告書は ESnet トラフィックの約半分を LHC 活動に帰している。したがって、欧州と北米間のケーブル障害は、すべての国内ルーターが無傷であっても、中核的な科学ワークロードに影響を与える可能性がある。

2024年から2025年初頭にかけて、ESnet は報告された大西洋横断容量を約700 Gbps から2.7 Tbps に拡大した。主要な要素は、ニューヨークとダブリン、ロンドンを結ぶパス上のファイバーペアの1/4に関する Aqua Comms との15年契約だった。ESnet はまた、複数のケーブルシステムにわたって GÉANT と容量とコストを共有している。エンジニアリング目標は、少なくとも4つの物理的に独立したパスにわたって最低3.2 Tbps であり、10 Tbps 以上への成長に対する設計上の余裕を持つことである。

容量と多様性は異なる問題を解決する。2つの論理サービスが同じケーブル、陸揚げ局、または陸上導管を共有する場合、それらは一緒に障害が発生する可能性がある。海底ケーブルの修理には、障害の特定、許可、ケーブル船、適切な天候、損傷したファイバーの物理的回収が必要であり、修理には数週間から数か月かかることがある。そのため ESnet は、単一のバックアップパスで十分と想定するのではなく、3本のケーブルが同時に切断されるシナリオを計画している。

長期スペクトラム権により、固定された完全調達済みの回線を繰り返し購入するよりも、アップグレードの制御が強化される。しかし、それらは特定のケーブルシステム、陸揚げインフラ、運用パートナーへのコミットメントも生み出す。ESnet はスペクトラムをリースしても海洋リスクを排除するわけではなく、ケーブル所有者、修理手順、パートナーネットワークに依存し続けながら、複数のシステムにわたって容量と回復力をエンジニアリングする能力を獲得する。

これは「専用」という記述が正確さを必要とするもう一つの箇所である。ESnet は重要なパス上で専用の権利とアーキテクチャを制御するが、物理的な所有モデルは異なる。国内および国際パスには、ダークファイバー、スペクトラム、点灯サービス、コロケーション、またはパートナー容量が含まれる可能性がある。地図上の線は、すべてのセグメントにわたって同じレベルの所有権または修理権限を明らかにするものではない。

GÉANT との関係は、研究ネットワークが中央制御なしで協力する理由を示している。2つの組織はコストを共有し、科学トラフィックを調整できるが、どちらも自らの機関とメンバーに対して責任を負う。完全なパフォーマンスは、単一のバックボーンの外にある国立研究ネットワーク、大学システム、および実験施設に依存し続ける。(大西洋横断容量のマイルストーン;2024年年次報告書

科学需要は定常負荷、稀なバースト、厳しい期限をもたらす

LHC は定常負荷を提供する。分散コンピューティングモデルは、CERN、Fermilab、Brookhaven、大学、その他のセンター間で実験データを移動させ、持続的な国際トラフィックを生み出す。計画されている高輝度 LHC の運転は、検出器出力、シミュレーション、複製を増加させると予想される。ネットワークは通常の条件下で大規模なフローを運ぶと同時に、ケーブルや施設の障害を切り抜けるのに十分なパスの多様性を保持しなければならない。

Vera C. Rubin 天文台は厳しい期限を提供する。チリの望遠鏡は約30秒ごとに約13 GB の画像を生成するように設計されている。SLAC での高速処理データパスがアラートを発し、他の天文台が過渡天体に応答できるようにする。ESnet は、各画像を約12,000マイルにわたって7秒未満で転送する目標を報告している。このパスには南米の研究ネットワークパートナーや国際パートナーが含まれており、その成果は ESnet だけの範囲を超えた調整されたエンジニアリングにかかっている。

DUNE は例外的なバーストを提供する。超新星イベント中、ニュートリノプログラムは100秒で最大600 TB を移動する必要があると予想している。より広範なプログラムは、20年間で約900 PB を生成すると予想される。これらは将来の運用のための計画要件であり、現在の日々のトラフィックの記述ではない。その重要性は、イベントが容量が利用可能になった後のスケジュールに合わせられないことにある。平均利用率向けに設計されたネットワークは、最も科学的価値の高い瞬間に失敗する可能性がある。

核融合研究は、国際的な距離と長期的な開発期間を組み合わせている。2026年5月、ITER の176 TB のデータのテストがマルセイユからサンディエゴの General Atomics の DIII-D 施設まで約80 Gbps で転送された。ITER はまだ建設中だったため、この転送は定常的な本格運用ではなく、準備態勢を証明した。要件資料は、一部の将来の核融合ワークフローが1日あたり約2ペタバイト、少なくとも200 Gbps に達することを示唆している。

FRIB と Jefferson Lab は3つ目のパターンを示している。すなわち、データがまだ取得されている間に遠隔解析が必要になる可能性がある実験だ。EJFAT は、ファイルの完了とコピーを待つ代わりに、イベントストリームが NERSC や Oak Ridge の計算に到達することを可能にする。光源、電子顕微鏡、その他の装置も、ローカルフィルタリング、遠隔 AI 推論、および結果がオペレーターに戻る速度について同様の選択に直面している。

気候科学と地球科学は、需要の形状を再び拡大する。大規模なシミュレーションと観測データセットは、計算施設とストレージ施設の間を移動し、フィールドセンサーは従来のファイバーが存在しない場所に位置する可能性がある。単一の主要レートではこれらすべてのニーズを記述できない。ESnet は、持続的な大規模転送、稀なバースト、低遅延フィードバック、国際協力、遠隔取得を単一の施設モデル内でサポートしなければならない。(ルービン天文台ケーススタディ;DUNE ケーススタディ;要件レビュー

要件レビューが科学計画をネットワークインフラに変換する

ESnet は、ファイバー、ルーター、または大西洋横断容量を注文する前に、実験が最初のデータセットを生成するまで待つことはできない。長期的な契約、機器調達、サイト建設、ソフトウェア開発には数年を要する。そのため、ファシリティは DOE 科学プログラムと5年から10年の時間枠で要件レビューを実施する。

研究者や施設チームは、装置、予想されるデータ量、ストレージ場所、計算先、タイミングの制約、国際協力者、クラウド利用、回復力のニーズを記述する。次に、ネットワークおよび計算の専門家が完全なワークフローを精査する。より大きなリンクの要求は、ローカルストレージ、パス多様性、セキュリティアーキテクチャ、またはデータ転送ソフトウェアにおける、より重要な問題を明らかにするかもしれない。

レビュープロセスは共同設計の一形態である。科学プログラムは達成しようとしていることを説明し、ESnet はその意図をインフラ依存関係に変換し、提案されたパスが機能しうるかをテストする。その結果は、サイトリンクのサイジング、新しいパス、海洋調達、Science DMZ の展開、調整研究、人員配置、または次世代ネットワークのタイムラインに影響を与える可能性がある。

2025年に完了し2026年1月に公開された主要な高エネルギー物理学レビューでは、127人の参加者と14のケーススタディを、約400ページのレポートにまとめた。その重要性は、すべての予測が正しいと仮定することにあるのではない。装置は遅れ、ソフトウェアはより効率的になり、新しいワークロードが出現する。その価値は、研究者、ネットワークエンジニア、コンピューティングセンター、資金提供者が、同じ一連の仮定を見て、意識的にそれを調整できる文書化された記録にある。

科学需要が非定常的であるため、予測は依然として困難である。超新星は実験の生涯の間に発生しないかもしれないが、AI ワークフローは正式なレビューサイクルよりも速く拡大する可能性がある。トラフィックの平均成長率は予算編成に役立つが、ケース固有の計画に取って代わることはできない。2024年の異常に低い4%のトラフィック増加は、長期需要の停滞を証明するものではなく、単一年が数十年にわたるインフラプログラムを決定すべきでない理由を示しているに過ぎない。

要件レビューは責任も分散させる。ラボは国内バックボーンが不適切なローカルパスを修正すると想定できず、ESnet は容量が構築された後に科学プログラムが適応すると想定できない。依存関係を共有計画の中に置くことで、後の不一致がより可視化される。(要件レビュー報告書

無線・量子プロジェクトが ESnet のミッション境界をテストする

全国光ファイバーネットワークは固定された機関には良好に到達するが、科学装置は常にそのような場所にあるとは限らない。地熱フィールド、環境観測所、一時的なキャンペーンには、通信事業者のカバレッジ、信頼できる電力、または実用的なファイバーパスが欠けている可能性がある。ESnet の Wireless Edge プログラムは、プライベートセルラー、Wi-Fi、指向性無線、衛星がこれらの場所への科学ワークフローを拡張できるかどうかを調査する。

2026年6月に発表されたネバダ州の地熱サイトでの展開では、Citizens Broadband Radio Service スペクトラムを用いたプライベート4G、長距離 Wi-Fi HaLow、従来の Wi-Fi、Starlink リンク、指向性無線、自律電源式ポータブルタワーが組み合わされた。この設計は単一のフィールドサイトの条件に対応したものであり、ESnet による汎用の無線アクセス製品ではなく、長距離ファイバーの持続的な容量を提供できない。地形、天候、スペクトラム、電力、衛星プロバイダーは依然としてサービスパスの一部である。

組織的なポイントは、ESnet が最も近いファイバーポイントで停止し、その先を他の誰かの責任として扱わなかったことである。科学コミュニケーションの機能は、取得、バックホール、および広域トランスポートを単一のワークフローとして扱った。このアプローチは、遠隔の科学サイトが異なる物理的制約に直面するため、標準化された製品よりも有用かもしれない。

QUANT-NET は別の境界を探求する。ASCR 資金によるこのプロジェクトは、バークレー研究所とカリフォルニア大学バークレー校の2つのサイトを約5 km にわたって結ぶ3ノードの量子ネットワークテストベッドを構築する。作業には、イオントラップ、フォトニック相互接続、エンタングルメントスワッピング、Bell 測定、タイミングに敏感な制御、および標準化されたソフトウェアフレームワークが含まれる。

ESnet との関連性は主に制御と調整に関するものである。量子実験には、古典的な通信、精密なタイミング、依然として運用が難しいデバイス間の調整が必要である。オープンソースの制御ソフトウェアは、実験をより再現可能にし、手動チューニングを減らすことができる。しかし、このテストベッドは本番の量子インターネットではなく、エンタングルメントを介して従来の大規模科学データを転送するものでもない。

したがって、Wireless Edge と QUANT-NET は、それらが学習することと再利用可能なものによって測定されるべきである。どちらも、すべての ESnet ユーザーが無線アクセスサービスや量子リンクを取得する証拠を提供するものではない。それらは、将来の科学ネットワークが新しい物理メディアと制御システムを必要とする可能性がある領域に、ファシリティの研究機能を拡張するものである。(Wireless Edge の地熱展開;量子ネットワーキング研究

American Science Cloud と ESnet7 は計画をサイトからワークフローへ移行させる

Integrated Research Infrastructure プログラムと新興の American Science Cloud プロジェクトは、DOE が自らの施設をどのように説明するかにおける変化を反映している。装置、ネットワーク、データストア、スーパーコンピューターを独立したサービスとして扱う代わりに、これらのプログラムはそれらを連合的な科学データ、AI、高性能コンピューティング環境として機能させることを目指している。

ESnet の役割は接続と調整の層である。データは装置からストレージやアクセラレーターへ移動しなければならず、ユーザーとサービスは制御されたアクセスを必要とし、ワークフローは利用可能なリソースを発見しなければならず、計測はシステムが科学的意図を実現しているかどうかを示さなければならない。EJFAT、SENSE、OSCARS、Cloud Connect、High-Touch はそれぞれ問題の一部に対処するが、どれも単独で American Science Cloud を構成するものではない。

Confab26 では、Inder Monga が American Science Cloud プロジェクトの副責任者として特定され、プログラムセッションには次世代ネットワーク向けのデモと計画が含まれていた。これは、2026年8月時点で完成した公共の科学クラウドの証拠ではなく、活発な組織的作業の証拠である。アクセスポリシー、接続リソースのインベントリ、本番サポート、ガバナンスは依然として開発中の問題である。

ESnet7 は同じ計画環境の中に現れる。その名称は本物であり、イノベーションセッションでは計測、パケットインスペクション、データムーバー、AI、量子ネットワーキングが検討された。それでもなお、ESnet6 が現在の本番世代である。利用可能な証拠では、最終的な公的アーキテクチャ、プロジェクトベースライン、ベンダー選定、完全予算、または立ち上げ日はまだ特定されていない。

ネットワーク世代名は、機器が設置されるずっと前から期待を生み出す。計画プログラムは研究優先順位、ベンダーエンゲージメント、資本要求を形作ることができるが、完成したバックボーンとして提示されるべきではない。最も正確な解釈は、ESnet が ESnet6 の運用経験と現在のワークフロープロジェクトを用いて、第7世代がどのような形を取るべきかを定義しているところだということである。

速度は依然として重要だが、証拠はプログラマビリティとインテリジェンスが同等に重要になる可能性を示唆している。より高速なリンクは、計算がどこで利用可能かをアプリケーションに伝えたり、マイクロバーストを特定したり、検出器フローをスケジュールしたり、サービスが複数のドメインにわたって正しく解放されたことを証明したりすることはできない。したがって、ESnet7 の戦略的問いは、ネットワークが科学ワークフローをどこまで理解し調整すべきか、管理が困難な中央コントローラーにならずに済ませるかである。(Confab26 プログラム;2024年応用研究活動

連邦資金が施設を支えるが、予算項目は収益ではない

ESnet は、一般向けに帯域幅を販売してバックボーンに資金を供給しているわけではない。主に、ASCR の High Performance Network Facilities and Testbeds 活動を通じて DOE が資金を提供している。FY2027 予算要求は、この項目に1億300万ドルを提案しており、これは以前の充当額の9,726.1万ドルと比較される。

これらの数字はプログラムレベルの最良の公的指標を提供するが、ESnet の損益計算書ではない。この項目はまた、ネットワーク関連のテストベッド、ソフトウェアの保守、アップグレード、研究活動もサポートしている。本番バックボーンのための別個の年間運用コスト、ネットワーク世代ごとの設備投資、または個々のサイトリンクに起因する収益は開示されていない。

公的資金は、需要が商業的になる前に施設が投資することを可能にする。長期スペクトラム権を購入し、オープンソースツールを保守し、商業的ボリュームは小さいが科学的に価値の高い実験をサポートし、即時の使用量で正当化される以上のパス多様性を構築できる。同じモデルが、議会の歳出、省の優先順位、バークレー研究所の運用枠組みへの依存を生み出す。

サイト接続は常に無料とは限らない。Site User Cost ポリシーは、スポンサーシップ、資格、増分要件に応じて、機関ユーザーが接続関連費用を負担することを認めている。関連の単位はサイトであり、個々の研究者ではない。エンドポイントは、ESnet を通じて個別に課金または登録されることはない。

独立した会計がないため、財務分析は制限される。公的資料では、ベンダーの完全な集中度、給与、減価償却スケジュール、パス別の資産記録、または年間資本予算は開示されていない。したがって、1億300万ドルを「ESnet の収益」と表現することは不正確である。より正確には、連邦プログラムがより広範な活動項目を通じて、本番施設、アップグレード作業、ソフトウェア保守、テストベッドに資金を提供している。

資金構造は戦略的選択にも影響を与える。商業ネットワークはコストを回収できないパスから撤退できるが、公共の科学施設は、国家ミッション、科学的機会、長期的容量と予算制約のバランスを取らなければならない。これにより、即時の財務リターンをもたらさない投資を正当化できるが、優先順位の明確化と要件の証拠が不可欠になる。(FY2027 ASCR 予算要求;ESCC およびサイトポリシー

信頼性と可視性は稼働時間を超えた義務を生む

ESnet の2024年の報告書は注目に値する可用性の結果を記録した:測定された10の科学局サイトすべてが、計画保守を除いて100%のサービス可用性を達成した。これは、すべてのサイトが同時に99.9%の要件を上回った最初の年だった。年次報告書はまた、より広範なアップタイムの数字として99.99%を提供した。これらは有用だが、異なる範囲の指標であり、すべてのサービス、機関、国際パスに障害がなかったことを証明するものではない。

Site Resilience Program は、接続施設内の多様な入口、ルーター、電力、故障ドメインを精査する。これは不快な真実を反映している:国内バックボーンは多様なパスを持つことができるが、ラボは依然として単一のローカル導管やデバイスに依存する可能性がある。回復力はバックボーンマップで止まるのではなく、建物とデータ転送システムにまで到達しなければならない。

ルーティングポリシーは別の制御層を提供する。ESnet はピアで RPKI-invalid アナウンスを拒否し、最新のルーティングレジストリエントリを要求し、経路ハイジャック監視とブラックホールルーティングをサポートする。これらの制御は既知のリスクを低減するが、自律システム間ルーティングを万全にはしない。正しいルートオリジンでもリークやポリシーエラーに結びつく可能性がある。ブラックホールは、ターゲットのプレフィックスを到達不能にすることによって他のシステムを保護する。

自動化も同様のトレードオフを生み出す。標準化された構成、インベントリ、調整は手動エラーを減らし、回復を加速するが、間違ったテンプレート、ポリシー、またはデータレコードが多数のデバイスに迅速に伝播する可能性がある。適切な対応は、段階的展開、独立した検証、明確なロールバックまたはフォワードリカバリー手順、および単一の自動化アカウントの権限の制限である。

運用データも同様の注意を要する。施設データポリシーは、ルーターの使用状況データと NetFlow を無期限に保持し、東西海岸のストア間で複製できると述べている。アクティブな perfSONAR 測定はバックアップなしで単一のディスクに6か月間保持される。ルーターの使用状況データと traceroute は公開されているが、フローログとセキュリティログはアクセスが制限されている。

ESnet は個々のユーザーとのサブスクリプション関係を持っていなくても、詳細な運用データを収集する可能性がある。これらは異なるシステムである。個別の会員資格や請求はないが、ネットワークメタデータはエンドポイント、通信中の機関、タイミング、トラフィックパターンを特定しうる。高忠実度の計測は診断とセキュリティを改善するが、データの最小化、アクセス制御、保持期間のレビュー、責任ある使用の必要性を高める。

信頼できるレジリエンスモデルは、物理的多様性、サイトエンジニアリング、ルーティングセキュリティ、計測、インシデント対応、データガバナンス、および明確に定義されたメトリクスといった、範囲を限定したメカニズムの上に構築される。(可用性のマイルストーン;施設データポリシー;ピアリングポリシー

真のテストは分散科学が実際に機能するかどうかである

ESnet の歴史は、より高速なネットワークの連続として読むことができる。すなわち、先行する専門システム、ESnet4、大陸100G ESnet5、マルチテラビット ESnet6 である。このシーケンスは本物だが、より重要な継続性を見逃している。それは、生の容量を増やすだけでは問題が解決しないときに、施設が繰り返し科学作業を支えるアーキテクチャを変えてきたことである。

Science Data Network は例外的なフローを通常のトラフィックから分離し、OSCARS は容量を予約可能にし、Science DMZ は機関の境界を再設計し、perfSONAR と iperf3 はパフォーマンスに関する論争を測定に変えた。SENSE はアプリケーションの意図を複数の管理ドメインに結び付け、EJFAT は広域パスを検出器ループに組み込み、キャッシングは需要を変え、大西洋横断スペクトラムは国際的な成長に対する ESnet の制御度合いを変えた。

組織の権限は限られたままである。DOE と ASCR がミッションと資金を定義し、バークレー研究所が施設を運用し、カリフォルニア大学が契約に基づき研究所を管理する。サイトコーディネーターは自機関に影響する変更を承認し、国際パートナーは自らのネットワークを管理する。クラウド企業、通信事業者、ケーブル所有者、機器ベンダーは、ESnet が依存するコンポーネントに対する権限を保持する。

この制御の分散は、ソフトウェアが消し去ることができる問題ではない。それは科学ネットワークが運用される条件である。実用的な成果は、単一の組織がパス全体を所有していると主張することなく、ワークフローを提供するのに十分に強力な調整を実現することである。

将来の主張についても同じ規律が適用されるべきである。ESnet7 は依然として計画段階であり、SENSE は最新の完全な報告書によれば研究段階であり、EJFAT は高度なプロトタイプまたは発展途上のプラットフォームであり、QUANT-NET は実験的であり、American Science Cloud は依然として構築中である。これらの証拠の価値は、成熟度の段階を正確に記述することにある。

ESnet の長期的な重要性は、ユーザーファシリティモデルにある。ネットワークは、要件、運用、ソフトウェア、計測、研究、公的資金を備えた科学機器として扱われる。このモデルは、何千キロも離れた検出器とスーパーコンピューターは、その間のシステムがひとつのパスとしてエンジニアリングされなければ、共有価値が限定的であることを認識している。

利用可能な証拠の中に、ESnet を世界最速とランク付けする公平で最新の単一指標は存在しないが、それが最も有用なテストではない。より強力なテストは、装置が必要なレートで遠隔のストレージや計算に到達できるか、パスの一部が故障したときに回復できるか、責任の所在を示す証拠を生成できるかどうかである。ESnet の地位は、American Science Cloud、ライブストリーミング、および将来の ESnet7 プログラムがデモや計画からサポートされる科学サービスへ移行するにつれて、これらの本番成果によって確固たるものになるか、弱まることになるだろう。(ESnet の歴史;ESnet6 発表;2024年年次報告書

情報源