摘要

  • 能源科学网络(Energy Sciences Network,简称 ESnet)是由劳伦斯伯克利国家实验室运营的、隶属于美国能源部科学办公室的网络基础设施,而非商业电信公司。
  • ESnet6 将约 15,000 英里的光纤基础设施与光传输、路由、私有网络、云连接、测量工具以及可编程服务相连接。
  • Science DMZ、perfSONAR、OSCARS、SENSE 和 EJFAT 表明,科学性能取决于仪器、存储、网络和计算中心之间的整个路径。
  • American Science Cloud 和 ESnet7 可能将网络更深入地嵌入科研工作流,但目前处于不同的规划、研究与成熟阶段。

科学网络,而非大众市场互联网服务提供商

理解 ESnet 的最佳方式是通过一个科学数据集。探测器、望远镜、显微镜或模拟程序在一处研究设施中生成信息。采集系统收集这些信息,存储和传输服务器对其进行预处理,本地网络将其传输至一个受控的出口点。从那里,一条 ESnet 连接可以将数据穿越全美国、跨越大西洋,送至能源部的一台超级计算机、通过合作伙伴网络,或进入商业云。返回的则是经过分析的数据集、警报、模型或决定下一步实验步骤的指令。

没有任何单一组织能掌控这条完整路径。仪器团队、实验室网络、区域研究网、云提供商、国际合作伙伴和计算中心可能分属不同运营者。ESnet 提供面向任务导向的广域网层,并与这些组织协作。缓慢的存储、拥塞的校园链路或不匹配的防火墙可能让一条高速国家骨干网形同虚设;反过来,ESnet 内部的故障也可能将设计精良的本地设施与整个科研系统隔绝。

在制度上,ESnet 的归属十分清晰。它是美国能源部科学办公室的一项用户设施,主要由先进科学计算研究(ASCR)项目资助和监督,并由劳伦斯伯克利国家实验室的科研网络部门负责运营。伯克利实验室由加州大学代表能源部进行管理。ESnet 没有股东、没有上市、没有独立的企业估值或商业资产负债表,因此只能被描述为政府资助的研究基础设施。

研究人员通常通过仪器、超级计算机、实验室服务、大学或合作伙伴网络间接使用 ESnet。ESnet 区分机构站点用户和终端用户,并且不维护一份包含每个个人的正式参与者名单。因此,2024 年年度报告中提及的“超过 30,000 个组织用户”是一项机构指标,而非精确的个人订阅数。

与普通运营商的类比并不恰当。ESnet 运营光传输和 IP 路由,但也进行需求分析、维护开源软件、测试新服务,并协助站点解决端到端问题。其真正的价值在于让地理上分散的设施能够像一个共享的科学机器一样协同工作。 (ESnet 治理;网络服务)

历史始于稀缺的计算机与声学耦合器

官方历史可追溯至 20 世纪 70 年代中期,当时计算能力和远程通信都十分稀缺。在劳伦斯利弗莫尔国家实验室的受控热核研究计算机中心,员工通过四台声学调制解调器连接了一台借来的 Control Data Corporation 6600。技术属于另一个时代,但问题至今可辨:一个专门的科学社区需要远程访问一台因价格昂贵而无法在每个参与站点复制的计算机。

20 世纪 70 年代末至 80 年代初,能源部下属的不同研究项目各自建立了专用网络。高能物理与磁约束聚变拥有不同的设施、合作伙伴和数据流;诸如 HEPnet 和 MFEnet 等前身系统反映了这些边界。当商业服务无法提供所需的覆盖范围、性能或运营关注时,专用网络是合理的。但它们也导致了重复的线路、技术和运维团队。

随着 1986 年 ESnet 的正式成立,这些职能被整合。一个共享的设施能够跨项目进行规划、运营国家连接、协调国际互联,并保留专业人才。由此,容量从一个实验的单次决策转变为一项该部门的全系统基础设施任务。

早期的模式已经包含了持续至今的特征:基于科学任务的访问权限、共同资助的资源、多年期规划、理解科学后果的运维团队,以及可能被单个实验暂时主导的不均衡需求。

伯克利实验室有其自身的网络历史。1974 年,该实验室将一台 CDC 6600 接入了 ARPANET;此后,研究人员为 TCP 拥塞控制做出了贡献。Van Jacobson 和 Mike Karels 的工作属于实验室的广义背景,不能单独归功于 ESnet。然而,制度上的邻近催生了一种文化,将协议行为、测量和性能视为可以研究和改变的技术问题。

1996 年,运营移交至伯克利实验室,使其靠近国家能源研究科学计算中心、网络研究、软件开发以及能源部的其他项目。由此形成了如今生产运营与应用研究共存于同一制度环境中的模式。 (ESnet 历史)

为什么网络建设成了用户设施

科学用户设施集中了对于单个研究小组而言过于昂贵、过于专业或高度互联的能力。粒子加速器、光源或领先的超级计算机都遵循这一逻辑。ESnet 将其应用于通信领域。长途光纤与频谱、光学设备、路由器、国际带宽、持续运营、网络安全、测量以及技术咨询被集中提供。

科学需求的形式解释了公共资金的合理性。运营商可以出售一条高速线路,但很少会围绕一个数年后才启动的探测器、一次可能的超新星爆发,或者一个市场容量小但公共价值高的工作流来设计其全国架构。ESnet 可以在出现可测量的流量之前进行投资,因为目标是科学能力,而非短期收入。

正式的需求评审会确定未来的需要。研究项目会描述未来五到十年内的仪器、数据量、存储位置、计算目标、时间限制、合作伙伴以及本地瓶颈。由此可能带来更大的站点连接、额外的物理路径、跨大西洋容量、新的编排软件或本地数据架构的变更。

这个过程比一条新的光纤链路更不显眼,但可能更为关键。一条海底电缆上的频谱、第二个建筑物入口或一台新路由器可能需要多年的资金、采购和建设时间。如果 ESnet 等到实验产生全部数据才采取行动,一项可预见的基础设施问题就会变成紧急事件。

评审并不能使预测变得确定。仪器会延迟,数据缩减软件会改进,云使用量会增加,科学工作流会被重新设计。因此,ESnet 将评审结果视为可能需求的带宽范围,并决定在何处保留冗余容量、采用灵活架构或进行渐进式投资是合理的。

访问仍然是机构性的。根据资助和增量成本,站点可能承担部分连接费用。单个研究人员既不为每吉字节付费,也不与 ESnet 签订个人合同。然而,没有面向最终用户的账单并不意味着免费:光纤、电力、设备、人员、主机托管和维修均由公共预算或站点配比资金承担。

成功的衡量标准与商业运营商不同。ESnet 必须在可用性、未来需求、科学访问、弹性和研究之间取得平衡。因为这些决策涉及公共资金和长期资产,所以需要有文档化的假设和可验证的成果。 (治理;ESCC)

伯克利实验室运营系统,能源部确定任务

制度链条从能源部经由科学办公室和先进科学计算研究项目延伸到伯克利实验室及其科研网络部门。加州大学通过合同管理该实验室。因此,联邦任务和资金与日常网络运营是分开的。

Inder Monga 是 ESnet 的执行主任兼科研网络部门主任。Chin Guok 是首席技术官,负责规划与创新;Adam Slagell 是首席安全官;Jon-Paul Herron 领导网络工程;Susan Lucas 是业务运营副主任。该组织囊括了光学、路由、站点工程、系统、软件、安全、测量、自动化、项目以及科学外联等领域的专家。

这种结构的广度修正了将国家网络视为光纤和路由器集合的印象。ESnet 必须采购频谱、运行 BGP、建设遥测系统、维护开源工具、研究数据包行为、管理安全凭证,并将科学计划转化为具体的基础设施。该组织既是运营商,也是开发环境。

站点通过 ESnet 站点协调员委员会参与治理。每个机构指定一名人员,该人员可批准其 ESnet 连接的变更并传达本地需求。这是机构性的用户治理,并非直接由所有通过 ESnet 传输数据的研究人员进行投票。

公开来源在一项项目职能上存在细微不一致。当前的治理页面将 Benjamin Brown 列为负责的 ASCR 项目经理,而更新的需求评审文件则将 Carol Hawk 列为 ESnet 项目经理。可靠的表述应当记录这种不确定性,而不是编造出一个专属的当前责任归属。

ESnet 既不是自治机构,也不是纯粹的技术官僚网络。合同、联邦预算、实验室管理和站点协调限制了其技术权力。同时,当一个工作流跨越多个机构,且没有一方控制完整路径时,问责制就变得更加困难。 (ESnet 领导层;治理)

ESnet4 分离了通用流量与超大规模科学数据流

2000 年代中期,大型强子对撞机和其他分布式实验产生的数据传输无法很好地融入统一的通用 IP 网络。因此,ESnet4 将 IP 核心与利用多条 10 Gbps 光连接和动态电路功能的科学数据网络(Science Data Network)相结合。

科学流量并不需要离开 IP 协议。更确切地说,少数超大数据流所需的资源不同于一般通信。常规连接保持路由方式,而计划性的数据移动则可使用高容量、可预留的路径。城域环网以及与 Internet2 的合作将实验室和接入点(PoP)连接起来。

这种架构为 OSCARS 提供了生产环境。带宽和 VLAN 资源可通过软件进行预留,并在使用后释放,而非完全依赖人工设置。网络开始以编程方式提供资源。

这种分离增加了设备和运维工作量,且并未消除本地存储或校园问题。但它表明,不同的流量模式可能需要不同的机制,同时整个路径必须保持可观测性。 (ESnet4 架构)

Science DMZ 将瓶颈转移到了机构边缘

随着骨干网速度提升,本地缺陷变得更加明显。一条 100 Gbps 的广域网无济于事,如果数据必须穿过一台通用企业防火墙、服务器读取速度过慢或接口存在丢包。ESnet 及其合作伙伴开发了 Science DMZ,专门应对这种端到端瓶颈。

该模型将高性能数据传输节点(Data Transfer Node,DTN)置于靠近机构边缘的一个受控路径上。安全措施可以利用路由器访问控制列表、主机加固、入侵检测、流分析以及受限服务,而不是强迫大流量传输穿越与办公和企业应用相同的状态检测防火墙。perfSONAR 提供关于吞吐量、延迟、丢包和路径变化的连续测量。

Science DMZ 并非一个不受保护的网络。控制措施被适配到专门系统上,这些系统仍需补丁、监控、身份管理和本地责任。从数据路径中移除一个不合适的设备并不会消除安全任务。

数据传输节点本身也必须合适。网卡、CPU 分配、内存、TCP 缓冲区、磁盘以及并行文件系统决定了一条长途链路是否能达到其设计性能。ESnet 的 Fasterdata 建议和技术咨询将这些细节转化为可重复的流程。

该模型已扩展到能源部之外。ESnet 可被称作其开发者和主要推动者,但并不运营或拥有每一处实施。性能和防护取决于机构如何整合存储、数据传输节点、安全和本地网络。

Science DMZ 也改变了故障排除的方式。单靠距离不再能解释糟糕的性能;端点、接口、边界和广域网必须共同测量。任何一个薄弱环节都可能决定整条链路的性能。 (Science DMZ)

ESnet5 将洲际 100 Gbps 投入生产运行

《美国复苏与再投资法案》(American Recovery and Reinvestment Act)提供了 6200 万美元用于高级网络倡议(Advanced Networking Initiative),支持了一条 100 Gbps 长途原型线路,并推动了向 ESnet5 的过渡。该网络于 2012 年底投入生产,拥有国家光纤基础设施上的频谱使用权,并与 Internet2 紧密合作。

当时,能源部和 ESnet 将其称为世界上速度最快的科学网络。作为关于早期洲际 100G 生产部署的历史陈述,这一说法是成立的。但这并非一个适用于 2026 年的中立排名,因为多个研究网络已部署 400G,并采用了不同的接口速度、骨干带宽和光频谱术语。

这项投资超出了路由器的范畴。频谱使用权使 ESnet 在后续升级中拥有了比重复购买成品线路更多的控制权。然而,这也使该项目长期绑定到特定的路线、设施和供应商上。

ESnet5 提供了额外的容量,并再次暴露了本地瓶颈。一个站点需要合适的连接、Science DMZ、高速存储以及接收端的计算能力。因此,更高的速度提升了 perfSONAR 和端到端工程的价值。

其持久贡献在于将 100G 从一项技术演示转变为一套可运营的科学基础设施。同时,ESnet5 为 ESnet6 打下了光学、运维和软件基础。 (ESnet5 100G 启动)

ESnet6 是一个光学、分组交换和基于软件的系统

ESnet6 项目于 2017 年正式启动,并于 2022 年完成,历时约六年的设计与建设。公开启动仪式在 2022 年 10 月 11 日举行。伯克利实验室当时称其聚合容量超过 46 Tbps,覆盖约 15,000 英里的专用光纤基础设施,骨干链路速度在 400 Gbps 至 1 Tbps 之间。到 2024 年年度报告,聚合容量上升至 57 Tbps,而部分骨干链路的构建容量达到了 1.2 Tbps。

这些数字来自不同年份,描述的是一个不断增长的系统。它们也不能代表整个架构。ESnet6 涵盖了光纤和频谱使用权、光线路系统和放大器、核心与服务路由器、可编程遥测、自动化、私有网络、按需线路、云和互联网互联、性能测量以及安全控制。

光层传输多个波长,并可聚合多个分组链路。因此,一条标称为 1.2 Tbps 的链路不一定是一个可完整供站点使用的单一以太网接口。可用容量取决于信道、保护机制、路由、设备及策略。

ESnet6 被构建为一个软件驱动的网络,而不仅仅是 ESnet5 的更高速版本。自动化配置服务并使设备处于更一致的状态。遥测辅助诊断,而科研挂钩和测试平台功能允许在限定的生产边界内进行实验。

新的软件层减少了人工操作,但也扩大了一个错误的影响范围。一个错误的模板、路由策略或库存信息可能扩散到许多设备上。因此,安全的自动化需要渐进式部署、独立审查、受限权限以及文档化的恢复流程。

因此,一代网络的升级会同时更新光学、分组层、软件、运维和容量假设。其质量体现在迁移过程、可用性和科学效益上,而不仅仅是公布的最高数值。 (ESnet6 启动;2024 年年度报告)

57 Tbps 意味着什么——又不意味着什么

2024 年年度报告列出了约 15,000 英里的光纤基础设施、78 个路由器站点、278 个光放大器站点、400 Gbps 至 1.2 Tbps 的骨干链路、57 Tbps 的聚合容量。此外,还有 2.7 Tbps 的跨大西洋容量,以及七个至少具备 400G 接口的美国站点。

ESnet 连接了全部 17 个能源部国家实验室,并报告了 28 个能源部用户设施、与五个国家的 277 个研究网、商业网及其他网络的关系、超过 30,000 个组织用户,以及分布在 24 个州的 137 名员工和合同人员。这些数字描述了不同的统计范围,不应相加得出所谓“客户数量”。路由器、设施、伙伴网络、机构用户和员工是不同的指标。

聚合容量是分布式资源的总和,并非单一路径的吞吐量。物理站点连接以 10、100 或 400 Gbps 提供。一条骨干链路可能由多个信道或接口组成。任一时刻的实际流量都低于建成容量,并且分布并不均匀。

2024 年,ESnet 传输了 1.77 艾字节,较 2023 年的 1.7 艾字节增长了 4%。ESnet 从 1989 年起计算的历史年平均增长率约为 55%。一个疲软的单年数据是重要的,但这并不能证明未来的仪器、人工智能或罕见事件需要的容量会更少。

此外,流量高度集中。根据年度报告,大约一半的流量与大型强子对撞机的活动有关。费米实验室是最大的外部发送方,达到 136 拍字节;国家能源研究科学计算中心(NERSC)是能源部内部最大的接收方,达到 75.3 拍字节;橡树岭国家实验室是能源部内部最大的发送方,达到 58.3 拍字节。这些数字显示了关键的工作负载,但并未体现全部的科学价值。

“专用光纤”并不能证明对每一根光缆均拥有法律意义上的所有权。基础设施可能包括裸光纤、频谱、专线服务、运营商基础设施和合作伙伴路径。ESnet 在关键线路上控制着专用权利,而所有权和维修责任则因具体路由而异。

57 Tbps 的指标描述了系统的规模,而非其科学影响力。这种影响力取决于传输、路由、站点网络、存储、计算和应用是否作为一个完整的工作流正常运作。 (ESnet 数据一览)

AS293 为使命而路由,而非面向终端用户市场

ESnet 的公共自治系统是 AS293。它与能源部站点、研究网络、商业网络和付费中转提供商交换路由,其策略以科学可达性、弹性和受控互联为目标。

其对等互联策略要求使用 BGP、在互联网路由注册中心(IRR)和 PeeringDB 中保持最新记录,并遵循与 MANRS 一致的路由安全实践。ESnet 会丢弃 RPKI 无效的路由公告,并要求新会话支持 IPv6 或双栈;不接受新的纯 IPv4 对等互联。

私有直连的起始速率为 100G,并强烈偏好 400G。这一门槛反映了大规模科学数据流以及维护私有关系的运维开销。ESnet 不必与每个网络直接对等,而是寻求能够改善科学路径、减少中转依赖或连接关键合作伙伴的互联关系。

公开的 BGP Community 值用于区分 ESnet 站点、研究与教育网络以及商业网络。站点可据此制定自己的策略,但下游网络没有义务以相同方式解读这些标记。

Hurricane Electric 和 Lumen 提供付费公共中转服务,以到达无法通过对等或研究网络关系有效触达的目的地。这补充了覆盖范围,但并未使 ESnet 成为面向消费者的互联网服务提供商。

RPKI 防止了一类无效的路由公告,但无法防范所有路由泄露或错误配置。劫持监控和黑洞(Blackholing)机制支持应急响应;黑洞通过有意使受攻击前缀不可达来保护其他系统。 (对等互联策略)

物理连接、私有网络与云路径

ESnet 提供 10、100 或 400 Gbps 的物理接入。靠近接入点(PoP)可实现直接连接;对于距离较远的设施,可使用服务接入点(Service On-Ramp),由运营商提供裸光纤或专线电路。这种对本地运营商的依赖,可能成为整个路径中最重要的性能或故障风险来源。

三层 IP 提供 IPv4 和 IPv6 路由。三层 VPN 为拥有多个站点的项目创建逻辑隔离的 IP 和 BGP 环境。二层 VPN 提供点对点或点对多点的以太网服务,可通过静态方式或 OSCARS 实现。实验、设施和云租户可借此获得受控的私有路径。

私有服务并不必然意味着物理隔离。逻辑隔离依赖于在共享平台上运行的多个路由实例、标签、访问控制和运维实践。该平台上的一个缺陷可能影响多项服务。

云连接(Cloud Connect)提供通往 AWS、微软 Azure、谷歌云和 Oracle 的私有连接。这样的路径避开了部分公共互联网,并能更好地控制路由。但这并不能消除云端的错误配置、服务商故障、出口费用、区域限制、身份问题或供应商锁定。

服务组合还包括辅 DNS、时间服务、路由劫持监控和黑洞。每项服务都针对特定的风险,但无法替代高性能的本地架构。一条私有路径无法让存储变快,一条安全连接也不会自动保护一个配置不当的云账户。

价值源于物理接入、路由、逻辑隔离、互联和运维支持的整合。端点和站点网络仍处于本地责任范围内。 (网络服务菜单)

OSCARS 使容量可预约

通用互联网流量使用当时可用的容量。而有些科学传输是有计划的、体量大的,一旦延迟就会损失巨大价值。OSCARS 允许被授权的用户和应用程序在预定的时间段内预约网络资源。

一项预约可以包含端点、起始和结束时间、带宽、VLAN 信息、排除的路由等条件。系统会检查拓扑结构和现有的预约,找到合适的路径,安装必要的配置,并在到期后将其移除。

自动化将需要多日的人工协调转变为一个可由科学工作流调用的服务。网络由此成为与存储和计算时间一样的、可规划的资源。

OSCARS 是开源的生产级软件,已在 ESnet 外部得到部署或测试。然而,部分公开页面含有历史信息,因此不应将其中提到的每个组织都视为当前、完全一致的安装案例。

预约并不能保证应用层吞吐量。缓慢的存储、本地丢包、不合适的操作系统调优或过少的并行数据流,都可能阻碍达到预约速率。同时,策略必须规定优先级、抢占、冲突以及未使用预约的处理方式。

OSCARS 展示了 ESnet 如何将一项运维实践转化为可重复的基础设施。该软件实现了供应的自动化,而授权和资源分配则仍是机构层面的决策。 (OSCARS)

SENSE 尝试协调网络与终端系统

仅仅有一条预留的线路,却不具备所需的存储、传输服务或计算资源,那是无用的。SENSE 将网络和终端系统描述为可由应用跨多个管理域发现和协商的资源。

一个工作流会表述其期望的结果,例如以特定的速率在两个设施之间传输一个数据集。SENSE 收集所涉资源的模型,配置路径和传输,观测遥测数据,并在完成后释放资源。每个机构保留自己的策略、身份和权限。

在 2024 年的 LHC 数据挑战中,一个 SENSE 工作流在加州理工学院(Caltech)与加州大学圣迭戈分校(UC San Diego)之间维持了 330 Gbps 的速率。这是一个具有相当规模的具体实证。然而,2024 年年度报告仍将 SENSE 称为研究项目,而非一个通用的生产服务。

OSCARS 在一个已知的服务域内预约资源。SENSE 则试图跨多个所有者和资源类型协调出一个结果。后一项任务可能带来更大的科学效益,但同时也增加了局部故障、模型冲突、权限问题以及时序错配的风险。

如果一个声明的工作流未能达到其性能,原因可能在于网络、存储系统、凭证、资源模型或应用本身。只有当编排的遥测数据能够显示是哪个部分未能达到商定状态时,它才能真正具备运维价值。

因此,生产成熟度应以可重复的使用、明确的支持责任制、恢复能力和多域采用来衡量,而非仅看最高演示值。 (SENSE;2024 年应用研究)

EJFAT 将事件数据直接送至远程计算资源

传统的流程是将科学数据写入文件、存储起来,然后再传输。这种方式很健壮,但会延迟反馈,并需要为峰值负载准备本地容量。EJFAT 将负载均衡器用于封装 UDP 的事件,从仪器直接分发到可用的计算节点,包括远程超算中心的节点。

一块基于 FPGA 的智能网卡读取事件 ID,并将同一事件的所有片段发送至同一工作节点。控制平面则根据可用计算节点调整分配。这种事件关联性使 EJFAT 区别于一般的负载均衡器,后者只能分发单个数据包,而不了解科学上的关联性。

2024 年 4 月,来自弗吉尼亚州杰斐逊实验室(Jefferson Lab)的数据以 100 Gbps 流式传输到位于加利福尼亚州的 Perlmutter 超级计算机,并绕过磁盘直接进行处理。根据 ESnet 的说法,后续测试动用了多个设施中约 20,000 个核心。这些是特定的结果,并不保证适用于所有仪器。

发表于 2026 年 7 月的稀有同位素束流装置(FRIB)案例,以大约 5 至 6 Gbps 的速率流式传输原始数据。在 15 小时内产生的 615 GB 数据,在 20 分钟内被分配到 8 个 Perlmutter 节点上,利用机器学习推理完成了处理。科学上的时间增益比峰值速率更为重要。

该模型使共享的国家级计算资源成为可能,但也使实验直接依赖于网络、FPGA、安全环境和 HPC 资源分配。一次故障不仅可能推迟后续的文件传输,更可能干扰正在进行的实验中的实时反馈。

EJFAT 是一个先进的原型或新兴平台,而非面向所有 ESnet 用户的标准化服务。更广泛的采用需要仪器集成、支持、安全模型以及明确的丢包行为。 (EJFAT;FRIB 成果)

High-Touch、perfSONAR 与 iperf3 使路径可见

一个高性能的网络也可能失效,却在平均图表上看起来并未满载。微突发可能填满队列,数据包可能乱序到达,丢包可能只发生在一个方向上,或者两次测试之间路径已经改变。

High-Touch 利用可编程硬件实现比常规采样更细粒度的数据包和流遥测。2024 年,该系统协助调查了 LHC 的吞吐量、Rubin 路径上的数据包重排序以及安全事件。更高的精度会消耗内存、计算能力和访问保护措施,并引入额外的数据隐私问题。

perfSONAR 分布式地测量吞吐量、延迟、丢包和路径行为。ESnet 是其创始合作伙伴,运营着 30 多个站点,并在 2024 年属于一个全球报告的、包含 2000 多个测量点的网络。这种分布式架构有助于识别性能下降开始的区段。

iperf3 通过 IPv4 或 IPv6 生成 TCP、UDP 或 SCTP 流量。ESnet 维护该工具,并报告了在特定条件下于 200G 路径上超过 150 Gbps 的测试结果。合成测试不能模拟存储或应用,但它提供了一个受控的基线,用以区分网络问题和端点问题。

这三种方法回答不同的问题。High-Touch 高精度地检查生产流量,perfSONAR 测量机构间的路径,iperf3 测试主机和网络可传输的极限性能。它们共同防止了这样的情形:每个运维者只宣称自己负责的网段是健康的,而整个科学工作流却依然缓慢。 (性能工具;2024 年运维创新)

有时,减少数据流量才是最好的容量升级

热门的科学数据集往往会被同一区域的用户反复请求。2024 年考察的五个区域缓存,平均每天减少了 33 TB 的广域网流量,在本地满足了三分之二的请求,并且平均缓存命中率达到 94%。

效果因站点而异:南加州减少了 69.3% 的广域网流量,芝加哥减少了 48.4%,而波士顿仅减少了 6.6%。数据的流行度、用户地理分布、存储容量和淘汰策略决定了一个站点的收益。

缓存将问题从“骨干网能变多快?”转变为“哪些数据真的需要穿越骨干网?”。一份本地副本可以降低延迟和流量,并能在远程发生故障时继续保持可用。然而,一个缓存了大量低复用率数据的站点,则只会消耗存储和运维资源,却无法带来对等的收益。

这种做法也使网络更接近数据治理领域。必须决定什么可以复制、如何保证新鲜度、谁可以访问,以及如何移除错误或过时的内容。

这项研究并不保证所有科研社区都能达到 94% 的命中率,也无法替代针对独特实时数据流的新增容量。但它表明,数据放置策略和网络架构可以协同设计。 (2024 年应用研究)

跨大西洋科学需要物理多样性,而不仅仅是容量

ESnet 的美国本土任务隐含着国际责任。根据 2024 年年度报告,大约一半的流量与大型强子对撞机有关。因此,欧洲与北美之间的一个故障就可能命中一项核心科学负载,即便所有国内路由器都正常工作。

2024 年至 2025 年初,报告的跨大西洋容量从约 700 Gbps 增长到 2.7 Tbps。ESnet 与 Aqua Comms 签署了一项为期 15 年的合同,获得纽约、都柏林和伦敦之间一对光纤中 25% 的频谱使用权,并与 GÉANT 在多条海缆系统上分摊容量和成本。其目标是拥有至少 3.2 Tbps 的容量,分布在四条物理上不同的路径上,并具备超过 10 Tbps 的扩展潜力。

两条逻辑线路可能共用同一根海缆、同一个登陆站或同一条陆上管道,并同时发生故障。海底光缆的修复可能需要许可、船只、适宜天气,以及数周甚至数月的时间。ESnet 按同时发生三起海缆故障的场景进行规划;单靠一条备用路由是远远不够的。

长期频谱权利使 ESnet 在升级方面拥有更多控制权,但也将项目绑定在特定的系统和合作伙伴之上。ESnet 可以在不拥有或亲自维修每一根海缆的情况下设计多样性。

与 GÉANT 的合作是独立网络之间的协作,而非一个统一的全球运营商。双方可以分摊成本和容量,同时各自对自己的基础设施和机构承诺负责。因此,端到端性能需要透明的交接、共享的测量和协调的故障响应。 (跨大西洋里程碑;2024 年年度报告)

科研需求结合了持续负荷、罕见突发与严格时限

大型强子对撞机持续在欧洲核子研究组织(CERN)、国家实验室和大学之间产生巨大的数据流。高亮度运行阶段预计将增加探测器数据、模拟数据和复制数据量。网络必须在正常运行时承载这些载荷,同时为海缆或站点故障预留替代路由。

维拉·C·鲁宾天文台(Vera C. Rubin Observatory)则设定了时间限制。大约每 30 秒,一张约 13 GB 的图像就要从智利传送到 SLAC 国家加速器实验室,以便生成关于暂现天文事件的警报。ESnet 的目标是沿长约 12,000 英里的路径,在 7 秒内完成传送。该路径涉及南美及国际链路上的多个伙伴网络,ESnet 并非独自控制一切。

DUNE 实验则规划了一种极端的数据突发。在一次超新星爆发中,可能需要在 100 秒内移动高达 600 TB 的数据,而该项目在二十年内预计将产生约 900 PB 的数据。这些都是未来的需求,而非当前的常规流量。一次罕见的天文事件不可能等到新增容量采购完毕才发生。

聚变研究则将国际距离与漫长的时间跨度结合在一起。2026 年 5 月,176 TB 的 ITER 数据以接近 80 Gbps 的速率从法国马赛传输到位于圣迭戈的 DIII-D 装置。ITER 仍处于建设中;这次测试展示的是准备状态,而非正式的满负荷运行。规划文件显示,部分未来工作流将达到每天约 2 PB 的数据量和至少 200 Gbps 的速率。

FRIB、杰斐逊实验室、光源和电子显微镜等设施有时需要在数据采集期间同时进行分析。远程计算资源和机器学习推理可在宝贵的实验时间内提供反馈。气候和地球科学则带来大规模的模拟数据和野外传感器数据。

一个平均值无法描述这些模式。ESnet 必须在同一公共基础设施内支持持续负荷、罕见突发、国际合作、实时流式传输和严格的时间窗口。 (Rubin 案例研究;DUNE 案例研究;需求评审)

需求评审将研究计划转化为网络架构

ESnet 不能等到第一批数据到来才开始采购光纤、路由器或海底电缆容量。研究项目会描述未来五到十年内的仪器、数据量、存储、计算目标、时间限制、合作伙伴、云使用情况以及弹性要求。然后,工程师团队会审查整个工作流。

评审是一种协同设计形式。一个 200 Gbps 的需求可能会暴露缓慢的存储、单一的建筑物入口或不合适的防火墙。其结果可能是一个新的站点连接、Science DMZ、额外的光缆、编排软件或对仪器本身的更改。

于 2025 年完成并在 2026 年 1 月发布的高能物理综合评审,汇集了 127 位贡献者和 14 个案例研究,形成了一份约 400 页的报告。它不能保证每一项预测,但当时间表和技术发生变化时,它提供了一个共同的出发点。

科学需求并非平稳增长。一次罕见事件或一个新的 AI 工作流,可能比上一年度流量的整体增长更为重要。需求评审能够减少意外,并揭示出项目、站点、计算中心以及 ESnet 各自需要准备什么。

这个过程也分担了责任。一个实验室不能假定国家骨干网能弥补其不合适的校园网络。反过来,ESnet 也不能假定一个站点在骨干网升级后会自动配备所需的存储系统。文档化的规划使这些依赖关系变得可见。 (评审报告)

无线边缘与 QUANT-NET 测试设施的边界

野外仪器并不总是位于有光纤、有商业移动通信覆盖或有可靠电力供应的地方。无线边缘(Wireless Edge)根据地点组合使用多种技术。2026 年 6 月公布的一个位于内华达州的地热项目中,使用了基于 CBRS 频谱的私有 4G、Wi-Fi HaLow、普通 Wi-Fi、Starlink、定向微波以及自供电的移动桅杆。

这是针对特定地点的解决方案,并非全国性的 ESnet 服务,也不能替代光纤。地形、天气、频谱、能源和卫星供应商都会限制最终效果。关键在于,ESnet 将数据采集、回传和广域网视为一个完整的科学链路,而不是将自己的责任终止于最近的固定连接点。

QUANT-NET 在伯克利实验室与加州大学伯克利分校的两个站点之间构建了一个约五公里的三节点测试平台。它涉及离子阱、光子、纠缠交换、贝尔态测量、时间关键型协调以及模块化的控制软件。

ESnet 的角色主要集中在经典控制和编排上。一个每次实验都需要人工设置的系统,难以作为共享设施来运营。开放的控制软件可以使实验更具可重复性,并改善不同设备之间的协调。

该项目并非一个已投产的量子互联网,也无法通过纠缠来传输大规模经典科研数据。无线边缘和 QUANT-NET 的价值应当根据可复用的知识、软件和技术方法来评判,而非按地理覆盖范围。 (无线边缘;量子网络研究)

American Science Cloud 与 ESnet7 将规划从站点转向工作流

综合研究基础设施(Integrated Research Infrastructure)与 American Science Cloud 旨在将仪器、数据、存储、人工智能和超级计算连接成一个联邦化的环境。ESnet 提供传输和部分编排能力;EJFAT、SENSE、OSCARS、云连接和 High-Touch 分别解决了某个局部问题,但它们单独并不构成整个系统。

在 Confab26 会议上,Inder Monga 被提名为 American Science Cloud 的项目副主任,议程中包含了演示以及关于 ESnet7 的会议。这证明了正在进行的机构性工作,而非宣告一个已完成的通用科学云。访问规则、身份、资源目录、支持以及数据责任制仍在发展之中。

ESnet7 正处于规划阶段,而 ESnet6 仍是当前的生产网络。现有文件并未给出最终架构、全额资金、供应商选择、启动时间或迁移计划。

下一代网络除了速度之外,可能会更加强调遥测、智能、数据包检测和协调能力。一条更快的链路无法告诉应用哪里有空闲的计算资源,无法解释微突发,也无法证明一个跨域服务已正确结束。

因此,治理问题在于:一个科学工作流应当在多大程度上被网络所理解和控制,而不至于创造出一个过于强大且过于复杂的中央控制器。编排的技术可能性必须与有限的授权和明确的责任制相结合。 (Confab26;应用研究)

联邦拨款支撑设施,但并非企业营收

ESnet 主要通过 ASCR 下的“高性能网络设施和测试平台”活动获得资金。2027 财年的预算申请提议为 1.03 亿美元,而此前已批准栏目的金额为 9726.1 万美元。

这条预算线是公众可获得的最佳规模指标,但它也包含了测试平台、软件维护、研究和升级费用。它既不是 ESnet 的盈亏账目,也不是生产骨干网年度成本的精确数字。

公共资金使得长期频谱持有、开源维护以及在出现商业需求前就建设容量成为可能。但这也使该计划依赖于国会决策、能源部的优先事项以及伯克利实验室的运营合同。

站点用户成本政策(Site User Cost Policy)可根据资助情况和增量成本,将连接费用分摊给机构;单个研究人员不会收到账单。因此,将那 1.03 亿美元称为“ESnet 的营收”是错误的。

缺少独立的账户限制了财务分析的深度。公开资料没有显示完整的供应商集中度、折旧安排、分站点成本核算或仅针对 ESnet 的年度资本支出。可靠的结论是:一项联邦计划在一个更广泛的预算活动中,同时为生产、更新、软件维护和研究提供资金。 (ASCR FY2027 预算;ESCC)

可用性、路由安全与遥测带来各自的责任

2024 年,包含在特定统计口径内的十个科学办公室站点实现了 100% 的可用性(不含计划内维护)。报告还提到了一个更广泛测量下的 99.99% 可用性。两者范围不同,且不意味着所有服务、所有站点和国际路径均零故障。

站点弹性计划(Site Resilience Program)检查建筑物入口、路由器、电力供应和共同的故障域。如果一座实验室只有一条光缆路由、一个机房或一个电源,那么冗余的骨干网也无济于事。

RPKI、劫持监控、黑洞和自动化降低了风险,但无法完全消除风险。一个错误的模板可能迅速传播,一次路由泄露可能使用合法的源 AS。因此,渐进式部署、独立审查和恢复流程仍是必需的。

数据政策允许无限期存储路由器利用率和 NetFlow 数据,并在东、西海岸之间进行复制。活跃的 perfSONAR 测量数据则被无备份地存储在单块磁盘上,保存六个月。尽管 ESnet 没有维护个人订阅者名单,但元数据仍可能揭示出端点、机构和时间模式。

这两点并不矛盾。ESnet 与每个终端用户之间确实不存在基于成员或账单的个人关系,但它仍然可以处理关于连接和数据流的技术元数据。

更高的可见性改善了运营和安全,同时也提高了对数据最小化、访问控制、目的限制和留存审查的要求。High-Touch 在增强诊断价值的同时,也提高了所获信息的敏感度。 (可用性里程碑;数据政策;对等互联)

ESnet 代表什么

速度编年史是真实的:从早期网络到 ESnet4,再到具备 100G 的 ESnet5,直至多太比特级别的 ESnet6。但更重要的是,每当带宽单独已不足以解决科学问题时,该组织就改变了其架构。

科学数据网络将超常数据流与通用流量分离。OSCARS 使容量变得可预约。Science DMZ 重新设计了机构边界。perfSONAR 和 iperf3 提供了可验证的测量。SENSE 协调了多个领域,而 EJFAT 则将广域网带入了探测器的反馈环路。缓存减少了需求,海底光缆频谱增强了对国际扩展的控制。

权力仍然是分散的。美国能源部与 ASCR 负责资助和确立使命。伯克利实验室运营系统。加州大学提供制度性的合同框架。各站点批准本地变更,而合作网络、运营商、云服务商和制造商则控制其他部分。性能通过协调产生,而非通过拥有完整路径。

未来的成熟度必须同样精准地加以表述。ESnet7 处于规划中;SENSE 在最近的完整报告中被描述为研究项目;EJFAT 是一个新兴平台;QUANT-NET 是实验性质的;American Science Cloud 尚未完成。现有材料中没有独立的排名证实,ESnet 在所有当前指标上都是世界最快的科研网络。

一个可靠的结论,比一个最高级形容词更加有用。ESnet 之所以属于公开记录中能力最强的科研网络之一,是因为它能使分布式的科学工作在端到端层面可运营。其长期价值将体现在,能否将新的仪器、计算中心及合作伙伴连接成健壮的工作流,同时不让控制和责任消失在不透明的中央层之中。

来源