Кратко

  • Energy Sciences Network (ESnet) — сетевая инфраструктура DOE Office of Science, эксплуатируемая Национальной лабораторией им. Лоуренса в Беркли; это не коммерческий оператор связи
  • ESnet6 объединяет около 15 000 миль волоконно-оптической инфраструктуры: оптический транспорт, маршрутизацию, частные сети, облачные подключения, средства измерений и программируемые сервисы
  • Science DMZ, perfSONAR, OSCARS, SENSE и EJFAT показывают, что научная производительность зависит от всего пути между прибором, хранилищем, сетью и вычислительным центром
  • American Science Cloud и ESnet7 могут глубже встроить сеть в научные рабочие процессы, но находятся на разных стадиях планирования, исследований и зрелости

Научная сеть, а не интернет-провайдер для массового рынка

ESnet проще всего объяснить через научный набор данных. Детектор, телескоп, микроскоп или симуляция создают информацию в исследовательском учреждении. Системы сбора собирают её, серверы хранения и передачи готовят данные, а локальная сеть доставляет их до контролируемой точки перехода. Оттуда канал ESnet может отправить данные через США, через Атлантику — к суперкомпьютеру Department of Energy, через партнёрскую сеть или в коммерческое облако. Обратно приходит проанализированный набор данных, предупреждение, модель или решение о следующем шаге эксперимента.

Ни одна организация не контролирует весь этот путь. Команда прибора, лабораторная сеть, региональная исследовательская сеть, облачный провайдер, международный партнёр и вычислительный центр могут принадлежать разным операторам. ESnet предоставляет магистральный уровень, ориентированный на научные задачи, и работает с этими организациями. Медленное хранилище, перегруженный кампусный канал или неподходящий файрвол могут свести на нет быстрый национальный магистральный канал; в свою очередь, сбой внутри ESnet способен отрезать хорошо устроенную локальную площадку от остальной научной системы.

Институционально ESnet классифицирован однозначно. Это пользовательская установка (User Facility) DOE Office of Science, финансируется и курируется в основном программой Advanced Scientific Computing Research, а эксплуатируется Научным сетевым подразделением Национальной лаборатории им. Лоуренса в Беркли. Berkeley Lab управляется University of California по контракту с Department of Energy. У ESnet нет акционеров, биржевого листинга, отдельной корпоративной оценки или коммерческого баланса, поэтому его следует описывать как финансируемую государством исследовательскую инфраструктуру.

Исследователи обычно сталкиваются с ESnet косвенно — через прибор, суперкомпьютер, лабораторный сервис, университет или партнёрскую сеть. ESnet различает институциональных пользователей площадок (Site User) и конечных пользователей (Endpoint User) и не ведёт формальный список каждого отдельного человека. Более 30 000 организационных пользователей, указанных в годовом отчёте за 2024 год, — это институциональный показатель, а не точное число индивидуальных подписчиков.

Сравнение с обычным оператором связи неполно. ESnet эксплуатирует оптический транспорт и IP-маршрутизацию, но также проводит анализ потребностей, сопровождает открытое ПО, тестирует новые сервисы и помогает площадкам решать сквозные проблемы. Реальная ценность — в том, чтобы территориально разнесённые учреждения работали как части общей научной машины. (Управление и политики ESnet;Сетевые сервисы)

История началась с дефицита вычислительных мощностей и акустических модемов

Официальная история тянется к середине 1970-х годов, когда вычислительные мощности и удалённая связь были дефицитом. В центре Controlled Thermonuclear Research Computer Center Ливерморской национальной лаборатории им. Лоуренса сотрудники подключили арендованный Control Data Corporation 6600 через четыре акустических модема. Технология принадлежит другой эпохе, но проблема по-прежнему узнаваема: специализированному научному сообществу требовался удалённый доступ к компьютеру, который был слишком дорог, чтобы дублировать его на каждой площадке.

В конце 1970-х и начале 1980-х годов разные исследовательские программы Department of Energy строили собственные сети. Физика высоких энергий и магнитный синтез имели разные объекты, партнёров и потоки данных; предшественники, такие как HEPnet и MFEnet, отражали эти границы. Специализированные сети имели смысл, когда коммерческие сервисы не могли обеспечить нужный охват, производительность или оперативное внимание. Но они также приводили к дублированию линий, технологий и операционных команд.

С официальным созданием ESnet в 1986 году эти функции были объединены. Общая структура могла планировать для всех программ, эксплуатировать национальные соединения, координировать международные подключения и сохранять специализированный персонал. Мощность перестала быть индивидуальным решением эксперимента и стала инфраструктурной задачей министерства.

Ранняя модель уже содержала черты, которые сохраняются до сих пор: доступ по научной миссии, совместно финансируемые ресурсы, многолетнее планирование, операционные команды, понимающие научные последствия, и неравномерный спрос, который временами может определяться одним экспериментом.

У Berkeley Lab была собственная сетевая история. В 1974 году местный CDC 6600 подключили к ARPANET; позднее исследователи внесли вклад в управление перегрузкой TCP. Работы Вана Джейкобсона и Майка Карелса относятся к более широкому лабораторному контексту и не должны приписываться одному ESnet. Однако институциональная близость способствовала культуре, в которой поведение протоколов, измерения и производительность рассматривались как технические проблемы, которые можно исследовать и менять.

В 1996 году эксплуатация перешла в Berkeley Lab, рядом с National Energy Research Scientific Computing Center, исследованиями сетей, разработкой ПО и другими программами Department of Energy. Так сложилась нынешняя модель, в которой производственная эксплуатация и прикладные исследования ведутся в одной институциональной среде. (История ESnet)

Почему сеть стала пользовательской установкой

Научная пользовательская установка объединяет возможности, которые для отдельных исследовательских групп слишком дороги, слишком специализированы или слишком взаимосвязаны. Ускоритель частиц, источник синхротронного излучения или ведущий суперкомпьютер следуют этой логике. ESnet применяет её к связи. Дальняя волоконно-оптическая магистраль и спектр, оптика, маршрутизаторы, международная ёмкость, круглосуточная эксплуатация, кибербезопасность, измерения и инженерное консультирование предоставляются совместно.

Форма научного спроса объясняет государственное финансирование. Оператор может продать быстрый канал, но редко станет планировать свою национальную архитектуру под детектор, который запустится через несколько лет, под возможную вспышку сверхновой или под рабочий процесс с малым рыночным объёмом и высокой общественной ценностью. ESnet может вкладываться до появления измеримой нагрузки, потому что целью является научная возможность, а не краткосрочная выручка.

Формальные обзоры требований (Requirements Reviews) определяют будущие потребности. Исследовательские программы описывают приборы, объёмы данных, места хранения, вычислительные цели, временные границы, партнёров и локальные узкие места на горизонте пяти–десяти лет. Из этого могут следовать более крупные подключения площадок, дополнительные физические маршруты, трансатлантическая ёмкость, новое ПО оркестрации или изменения в локальной архитектуре данных.

Этот процесс менее заметен, чем новый оптический канал, но может быть важнее. Спектр на подводном кабеле, второй ввод в здание или новый маршрутизатор могут требовать годы финансирования, закупок и строительства. Если бы ESnet ждал, пока эксперимент начнёт выдавать полный объём данных, предсказуемый инфраструктурный вопрос превратился бы в чрезвычайную ситуацию.

Обзоры не делают прогнозы точными. Приборы задерживаются, ПО сокращения данных улучшается, использование облаков растёт, а научные рабочие процессы перестраиваются. Поэтому ESnet использует результаты как диапазон возможных требований и решает, где оправданы резервная ёмкость, гибкая архитектура или поэтапные инвестиции.

Доступ остаётся институциональным. В зависимости от спонсорства и дополнительных затрат площадки могут покрывать часть своих расходов на подключение. Отдельные исследователи не платят за гигабайт и не заключают личный контракт с ESnet. Отсутствие счетов конечным пользователям не означает бесплатность: волокно, электричество, оборудование, персонал, размещение и ремонт финансируются из государственных бюджетов или взносов площадок.

Успех измеряется иначе, чем у коммерческого оператора. ESnet должен балансировать доступность, будущий спрос, научный доступ, устойчивость и исследования. Поскольку эти решения касаются государственных средств и долгоживущих активов, они требуют документированных допущений и проверяемых результатов. (Управление;ESCC)

Berkeley Lab управляет системой, DOE определяет миссию

Институциональная цепочка идёт от Department of Energy через DOE Office of Science и Advanced Scientific Computing Research к Berkeley Lab и его Научному сетевому подразделению. University of California управляет лабораторией по контракту. Федеральная миссия и финансирование отделены от повседневной эксплуатации сети.

Индэр Монга — исполнительный директор ESnet и директор Научного сетевого подразделения. Чин Гуок — технический директор, отвечает за планирование и инновации; Адам Слагелл — директор по безопасности; Джон-Пол Херрон руководит сетевым инжинирингом; Сьюзан Лукас — заместитель по операционным вопросам. В организации работают специалисты по оптике, маршрутизации, инженерии площадок, системам, ПО, безопасности, измерениям, автоматизации, проектам и работе с научными сообществами.

Широта этой структуры корректирует представление о национальной сети как о наборе волокон и маршрутизаторов. ESnet должен закупать спектр, вести BGP, строить телеметрию, сопровождать открытые инструменты, изучать поведение пакетов, управлять удостоверениями безопасности и превращать научные планы в конкретную инфраструктуру. Организация одновременно является оператором и средой разработки.

Площадки участвуют через Комитет координаторов площадок ESnet (ESnet Site Coordinators Committee). Каждое учреждение назначает человека, уполномоченного утверждать изменения своего подключения к ESnet и передавать локальные требования. Это институциональное управление пользователями, а не прямое голосование всех исследователей, чьи данные идут через ESnet.

Открытые источники не полностью сходятся в одном программном вопросе. Текущая страница об управлении называет Бенджамина Брауна программным менеджером ASCR, тогда как более новые документы обзоров требований называют Кэрол Хоук программным менеджером ESnet. Устойчивое описание сохраняет эту неопределённость, а не придумывает исключительную текущую ответственность.

ESnet не является ни автономным агентством, ни чисто технократической сетью. Контракты, федеральный бюджет, руководство лаборатории и координация площадок ограничивают техническую власть. В то же время подотчётность становится сложнее, когда рабочий процесс проходит через несколько учреждений и ни одно из них не контролирует весь путь. (Руководство ESnet;Управление)

ESnet4 отделил общий трафик от исключительно крупных научных потоков

В середине 2000-х годов Большой адронный коллайдер и другие распределённые эксперименты создавали передачи, которые плохо вписывались в единую сеть общего IP-трафика. Поэтому ESnet4 сочетал IP-ядро с Science Data Network, использовавшей несколько оптических каналов 10 Гбит/с и функции динамических каналов.

Наука не должна была покидать IP. Скорее, нескольким очень крупным потокам данных требовались иные ресурсы, чем обычной связи. Обычные соединения оставались маршрутизируемыми, тогда как запланированные перемещения данных могли использовать высокоскоростные и резервируемые пути. Кольца уровня мегаполиса и сотрудничество с Internet2 соединяли лаборатории и точки присутствия.

Эта архитектура дала OSCARS производственный контекст. Полосу пропускания и ресурсы VLAN можно было резервировать программно и снимать после завершения, а не настраивать только вручную. Сеть начала предоставлять ресурсы программным способом.

Разделение увеличило расходы на оборудование и эксплуатацию и не устранило локальные проблемы хранения или кампуса. Однако оно показало, что разным типам трафика могут требоваться разные механизмы, при этом весь путь должен оставаться наблюдаемым. (Архитектура ESnet4)

Science DMZ перенесла узкое место на границу учреждения

С более быстрой магистралью локальные слабости стали заметнее. Канал 100 Гбит/с мало помогает, если данные проходят через корпоративный файрвол, сервер читает слишком медленно или интерфейс теряет пакеты. ESnet и партнёры разработали Science DMZ именно для работы с этим сквозным узким местом.

Модель размещает мощные узлы передачи данных (Data Transfer Nodes) на контролируемом пути вблизи границы учреждения. Безопасность может использовать списки контроля доступа на маршрутизаторах, усиление хостов, обнаружение вторжений, анализ потоков и ограниченный набор сервисов вместо того, чтобы пропускать крупные передачи через тот же файрвол с отслеживанием состояния, что и офисные приложения. perfSONAR даёт непрерывные измерения пропускной способности, задержки, потерь пакетов и изменений маршрута.

Science DMZ — не незащищённая сеть. Контроль адаптируется к специализированным системам, которые по-прежнему требуют обновлений, мониторинга, управления удостоверениями и локальной ответственности. Удаление неподходящего устройства из пути данных не устраняет задачу безопасности.

Сами узлы передачи данных тоже должны быть подходящими. Сетевые карты, привязка CPU, память, буферы TCP, диски и параллельные файловые системы определяют, выходит ли дальняя линия на запланированную производительность. Рекомендации ESnet Fasterdata и инженерное консультирование переводят эти детали в повторяемые процедуры.

Модель распространилась за пределы Department of Energy. ESnet можно называть разработчиком и важным инициатором, но он не эксплуатирует и не владеет каждым внедрением. Производительность и защита зависят от того, как учреждение интегрирует хранилище, узлы передачи данных, безопасность и локальную сеть.

Science DMZ также изменила диагностику. Расстояние больше не объясняет плохую производительность; конечная точка, интерфейс, периметр и WAN должны измеряться вместе. Слабое звено может определять производительность всей цепочки. (Science DMZ)

ESnet5 вывел континентальные каналы 100 Гбит/с в промышленную эксплуатацию

American Recovery and Reinvestment Act выделил 62 млн долларов США на Advanced Networking Initiative и поддержал прототип дальних каналов 100 Гбит/с, а также переход к ESnet5. Сеть была введена в эксплуатацию в конце 2012 года на основе прав на спектр на национальной волоконно-оптической территории и в тесном сотрудничестве с Internet2.

Department of Energy и ESnet тогда называли её самой быстрой научной сетью мира. Как историческое утверждение о раннем континентальном производственном развёртывании 100G его можно использовать. Это не нейтральный рейтинг на 2026 год, поскольку несколько исследовательских сетей используют 400G и применяют разные термины для скорости интерфейсов, ёмкости магистрали и оптического спектра.

Инвестиции выходили за рамки маршрутизаторов. Права на спектр дали ESnet больше контроля над будущими модернизациями, чем повторная покупка готовых каналов. Однако они же на десятилетия привязали программу к определённым маршрутам, объектам и поставщикам.

ESnet5 дал дополнительную ёмкость и снова сделал локальные узкие места заметными. Площадке требовались подходящие подключения, Science DMZ, быстрое хранилище и принимающая вычислительная мощность. Более высокая скорость повысила ценность perfSONAR и сквозного инжиниринга.

Устойчивый вклад состоял в том, чтобы перевести 100G из технической демонстрации в эксплуатируемую научную инфраструктуру. Одновременно ESnet5 подготовил оптические, операционные и программные основы для ESnet6. (Запуск ESnet5 100G)

ESnet6 — оптическая, пакетная и программная система

Проект ESnet6 формально начался в 2017 году и был завершён в 2022 году после примерно шести лет проектирования и строительства. Публичный запуск состоялся 11 октября 2022 года. Berkeley Lab тогда сообщил о совокупной ёмкости более 46 Тбит/с на примерно 15 000 миль выделенной волоконно-оптической инфраструктуры, с магистральными соединениями от 400 Гбит/с до 1 Тбит/с. В годовом отчёте за 2024 год совокупный показатель вырос до 57 Тбит/с, а отдельные конструкции магистрали достигали 1,2 Тбит/с.

Эти цифры относятся к разным годам и описывают растущую систему. Они также не отражают всю архитектуру. ESnet6 включает волокно и права на спектр, оптические линейные системы и усилители, магистральные и сервисные маршрутизаторы, программируемую телеметрию, автоматизацию, частные сети, каналы по требованию, облачные и интернет-подключения, измерение производительности и средства контроля безопасности.

Оптический уровень передаёт несколько длин волн и может агрегировать несколько пакетных каналов. Соединение, обозначенное как 1,2 Тбит/с, не обязательно является одним интерфейсом Ethernet, полностью доступным площадке. Полезная ёмкость зависит от каналов, механизмов защиты, маршрута, оборудования и политик.

ESnet6 строился как сеть под управлением ПО, а не просто более быстрая версия ESnet5. Автоматизация настраивает сервисы и поддерживает оборудование в более согласованном состоянии. Телеметрия помогает диагностике, а исследовательские интерфейсы и функции тестовой среды позволяют проводить эксперименты в определённых границах производственной сети.

Новый программный уровень сокращает ручную работу, но расширяет радиус действия ошибки. Неправильный шаблон, политика маршрутизации или данные об оборудовании могут распространиться на множество устройств. Поэтому безопасная автоматизация требует поэтапного внедрения, независимых проверок, ограниченных прав и документированных процедур восстановления.

Таким образом, поколение сети обновляет одновременно оптику, пакетный уровень, ПО, эксплуатацию и допущения о ёмкости. Качество проявляется в миграции, доступности и научной пользе, а не только в наибольшей опубликованной цифре. (Запуск ESnet6;Годовой отчёт 2024)

Что означают 57 Тбит/с — и чего они не означают

В годовом отчёте за 2024 год указано около 15 000 миль волоконно-оптической инфраструктуры, 78 площадок с маршрутизаторами, 278 площадок с оптическими усилителями, магистральные соединения от 400 Гбит/с до 1,2 Тбит/с и совокупная ёмкость 57 Тбит/с. Кроме того, 2,7 Тбит/с трансатлантической ёмкости и семь площадок в США с подключениями не менее 400G.

ESnet соединял все 17 национальных лабораторий Department of Energy и сообщал о 28 пользовательских установках DOE, 277 связях с исследовательскими, коммерческими и другими сетями в пяти странах, более 30 000 организационных пользователях, а также о 137 сотрудниках и подрядчиках в 24 штатах. Эти цифры описывают различные совокупности и их нельзя складывать в одно число клиентов. Маршрутизаторы, площадки, партнёрские сети, институциональные пользователи и персонал — отдельные показатели.

Совокупная ёмкость суммирует распределённые ресурсы и не является пропускной способностью отдельного пути. Физические подключения площадок предлагаются на 10, 100 или 400 Гбит/с. Магистральный канал может состоять из нескольких каналов или интерфейсов. Реальный трафик в любой момент времени ниже построенной ёмкости и распределён неравномерно.

В 2024 году ESnet передал 1,77 эксабайта, после 1,7 эксабайта в 2023 году, рост на четыре процента. ESnet рассчитывает исторический средний рост около 55 процентов в год с 1989 года. Слабый отдельный год значим, но не доказывает, что будущим приборам, искусственному интеллекту или редким событиям потребуется меньше ёмкости.

Трафик также концентрирован. Согласно отчёту, примерно половина приходилась на деятельность Большого адронного коллайдера. Fermilab был крупнейшим внешним отправителем со 136 петабайтами, NERSC — крупнейшим получателем внутри Department of Energy с 75,3 петабайта, а Oak Ridge — крупнейшим отправителем внутри министерства с 58,3 петабайта. Такие цифры показывают важные рабочие нагрузки, но не отражают всю научную ценность.

«Выделенное волокно» не доказывает юридического владения каждым кабелем. Инфраструктура может включать тёмное волокно, спектр, арендованные каналы, инфраструктуру оператора и партнёрские маршруты. На ключевых направлениях ESnet контролирует выделенные права, тогда как владение и обязанности по ремонту различаются по маршрутам.

Показатель 57 Тбит/с описывает размер системы, а не её научное воздействие. Последнее зависит от того, работают ли транспорт, маршрутизация, сеть площадки, хранилище, вычисления и приложение как полный рабочий процесс. (ESnet в цифрах: 2024)

AS293 маршрутизирует для миссии, а не для розничного рынка

Публичная автономная система ESnet — AS293. Она обменивается маршрутами с площадками Department of Energy, исследовательскими сетями, коммерческими сетями и платными транзит-провайдерами и выстраивает свою политику вокруг научной доступности, устойчивости и контролируемых межсетевых соединений.

Политика пиринга требует BGP, актуальных записей в Internet Routing Registry и PeeringDB, а также практик безопасности маршрутизации в духе MANRS. ESnet отклоняет маршруты, невалидные по RPKI, и требует IPv6 или dual stack для новых сессий; новые пиринги только на IPv4 исключены.

Частные прямые подключения начинаются с 100G, при этом явное предпочтение отдаётся 400G. Порог отражает большие научные потоки данных и операционные издержки частных отношений. ESnet не обязан пиринговаться напрямую с каждой сетью; он ищет соединения, которые улучшают научные маршруты, снижают зависимость от транзита или подключают важных партнёров.

Опубликованные BGP-сообщества разделяют площадки ESnet, исследовательские и образовательные сети, а также коммерческие сети. Площадки могут строить на их основе собственную политику, но нижестоящие сети не обязаны интерпретировать метки одинаково.

Hurricane Electric и Lumen предоставляют платный публичный транзит к направлениям, которые неэффективно достижимы через пиринг или исследовательские сети. Это дополняет охват, не превращая ESnet в интернет-провайдера для частных клиентов.

RPKI предотвращает один класс невалидных анонсов, но не все утечки маршрутов или ошибки конфигурации. Мониторинг перехвата маршрутов и blackholing поддерживают реагирование; blackholing защищает другие системы, делая атакуемый префикс намеренно недостижимым. (Политика пиринга)

Физические подключения, частные сети и облачные пути

ESnet предлагает физический доступ на 10, 100 или 400 Гбит/с. Рядом с точкой присутствия возможно прямое подключение; удалённые объекты могут использовать сервисный вход (Service On-Ramp), при котором тёмное волокно или арендованный канал заказывается у оператора. Эта зависимость от локального оператора может стать главным риском производительности или доступности всего пути.

IP на третьем уровне предоставляет IPv4 и IPv6 маршрутизацию. VPN третьего уровня создаёт логически разделённые IP- и BGP-среды для программ с несколькими площадками. VPN второго уровня обеспечивают Ethernet точка-точка или точка-многоточка, статически или через OSCARS. Эксперименты, установки и облака могут получать контролируемые частные пути.

Частные сервисы не обязательно означают физическую изоляцию. Логическое разделение зависит от экземпляров маршрутизации, меток, контроля доступа и операционных практик на общей платформе. Ошибка в платформе может затронуть несколько сервисов.

Cloud Connect предоставляет частные подключения к AWS, Microsoft Azure, Google Cloud и Oracle. Такой путь обходит часть публичного интернета и может дать больше контроля над маршрутом. Он не устраняет ошибки конфигурации облака, сбои провайдера, плату за трафик, региональные ограничения, вопросы идентификации или зависимость от поставщика.

В портфель также входят вторичный DNS, службы времени, мониторинг перехвата маршрутов и blackholing. Каждый сервис закрывает определённые риски, но не заменяет надёжную локальную архитектуру. Частный путь не ускоряет хранилище, а безопасное соединение не делает автоматически безопасным плохо настроенный облачный аккаунт.

Ценность рождается из взаимодействия физического доступа, маршрутизации, логического разделения, межсетевых соединений и операционной поддержки. Конечная точка и сеть площадки остаются локальной ответственностью. (Меню сетевых сервисов)

OSCARS делает ёмкость резервируемой

Обычный интернет-трафик использует доступную в данный момент ёмкость. Некоторые научные передачи спланированы, велики и при задержке теряют существенную ценность. OSCARS позволяет авторизованным пользователям и приложениям резервировать сетевые ресурсы на заданный период времени.

Резервирование может включать конечные точки, время начала и окончания, полосу пропускания, информацию о VLAN, исключённые маршруты и другие условия. Система проверяет топологию и существующие резервирования, находит подходящий путь, устанавливает необходимую конфигурацию и снимает её после завершения.

Автоматизация превращает многодневную ручную координацию в сервис, который может запросить научный рабочий процесс. Сеть становится планируемым ресурсом наряду с хранилищем и вычислительным временем.

OSCARS — производственное ПО с открытым исходным кодом; его применяли или тестировали за пределами ESnet. Некоторые публичные страницы содержат исторические сведения, поэтому не каждую названную там организацию следует считать текущей идентичной установкой.

Резервирование не гарантирует пропускную способность приложения. Медленное хранилище, локальные потери пакетов, неправильная настройка ОС или слишком малое число параллельных потоков могут помешать достижению зарезервированной скорости. Политика также должна регулировать приоритеты, вытеснение, конфликты и неиспользуемые резервирования.

OSCARS показывает, как ESnet перевёл операционную практику в повторяемую инфраструктуру. ПО автоматизирует предоставление ресурсов, тогда как авторизация и распределение остаются институциональными решениями. (OSCARS)

SENSE пытается координировать сеть и конечные системы совместно

Зарезервированный канал не помогает, если не хватает хранилища, сервиса передачи или вычислительного ресурса. SENSE описывает сети и конечные системы как ресурсы, которые приложение может обнаруживать и согласовывать через несколько административных доменов.

Рабочий процесс формулирует желаемый результат, например передачу набора данных между двумя учреждениями с определённой скоростью. SENSE собирает модели задействованных ресурсов, предоставляет пути и передачи, наблюдает телеметрию и затем освобождает ресурсы. Каждая организация сохраняет собственную политику, идентичность и полномочия.

В рамках LHC Data Challenge 2024 рабочий процесс SENSE удерживал 330 Гбит/с между Caltech и Калифорнийским университетом в Сан-Диего. Это конкретное живое подтверждение значительного масштаба. Тем не менее годовой отчёт за 2024 год по-прежнему называет SENSE исследовательским проектом, а не универсальным производственным сервисом.

OSCARS резервирует ресурсы внутри известной сервисной домены. SENSE пытается координировать результат через нескольких владельцев и типы ресурсов. Вторая задача потенциально даёт больше научной пользы, но повышает риск частичных сбоев, конфликтов моделей, проблем с правами и временной рассинхронизации.

Если объявленный рабочий процесс не достигает своей производительности, причина может быть в сети, системе хранения, учётных данных, модели ресурса или приложении. Оркестрация становится операционно ценной, когда её телеметрия показывает, какая часть согласованного состояния не выполнена.

Производственную зрелость следует измерять повторным использованием, чёткой ответственностью за поддержку, восстановлением и принятием в нескольких доменах, а не только максимальной демонстрационной цифрой. (SENSE;Прикладные исследования 2024)

EJFAT доставляет данные событий напрямую удалённому вычислительному ресурсу

Традиционная схема записывает научные данные в файлы, сохраняет их и передаёт позже. Это надёжно, но задерживает обратную связь и требует локальной ёмкости для пиковых нагрузок. EJFAT распределяет события, инкапсулированные в UDP, от прибора доступным вычислительным узлам, в том числе в удалённых суперкомпьютерных центрах.

Смарт-NIC на базе FPGA считывает идентификатор события и отправляет все фрагменты одного события одному исполнителю. Контроллер подстраивает распределение под доступные вычислительные узлы. Эта привязка событий отличает EJFAT от обычного балансировщика нагрузки, который распределял бы отдельные пакеты без знания научной взаимосвязи.

В апреле 2024 года данные Jefferson Lab из Вирджинии передавались со скоростью 100 Гбит/с в Perlmutter в Калифорнии и обрабатывались без промежуточной записи на диск. Согласно ESnet, более поздние тесты использовали около 20 000 ядер в нескольких учреждениях. Это конкретные результаты, а не гарантия для любого прибора.

Описанный в июле 2026 года случай Facility for Rare Isotope Beams передавал сырые данные со скоростью около 5–6 Гбит/с. Объём 615 ГБ, сгенерированный за пятнадцать часов, был обработан с помощью машинного обучения на восьми узлах Perlmutter за двадцать минут. Научный выигрыш во времени был важнее пиковой скорости.

Модель делает возможным совместное национальное использование вычислительных мощностей, но ставит эксперимент в прямую зависимость от сети, FPGA, безопасности и выделения ресурсов HPC. Сбой может не просто задержать последующую передачу файлов, а нарушить обратную связь во время текущего измерения.

EJFAT — продвинутый прототип или формирующаяся платформа, а не стандартный сервис для всех пользователей ESnet. Более широкое внедрение требует интеграции с приборами, поддержки, моделей безопасности и чёткого поведения при потере пакетов. (EJFAT;Результат FRIB)

High-Touch, perfSONAR и iperf3 делают путь видимым

Высокопроизводительная сеть может отказывать, не выглядя загруженной на усреднённых графиках. Микровсплеск может заполнить очередь, пакеты могут приходить не по порядку, потери могут происходить только в одном направлении, или путь может меняться между двумя тестами.

High-Touch использует программируемое оборудование для более детальной телеметрии пакетов и потоков, чем обычная выборка. В 2024 году система помогала исследовать пропускную способность LHC, переупорядочивание пакетов на пути Rubin и события безопасности. Более высокая точность стоит памяти, вычислительных мощностей и защиты доступа, а также создаёт дополнительные вопросы конфиденциальности.

perfSONAR распределённо измеряет пропускную способность, задержку, потери и поведение маршрута. ESnet — соучредитель, эксплуатирует более 30 площадок и в 2024 году был частью всемирной сети более чем из 2 000 точек измерения. Распределённая архитектура помогает определить участок, где начинается деградация.

iperf3 генерирует TCP-, UDP- или SCTP-трафик через IPv4 или IPv6. ESnet сопровождает инструмент и сообщал о тестах более 150 Гбит/с на путях 200G при определённых условиях. Синтетический тест не заменяет хранилище или приложение, но даёт контролируемую основу для отделения проблем сети от проблем конечных точек.

Эти три подхода отвечают на разные вопросы. High-Touch исследует производственный трафик с высокой точностью, perfSONAR измеряет пути между учреждениями, а iperf3 проверяет переносимую производительность хостов и сети. Вместе они не позволяют каждому оператору объявлять здоровым только свой участок, пока научный рабочий процесс остаётся медленным. (Инструменты производительности;Операционные инновации 2024)

Иногда меньше трафика — лучшее обновление ёмкости

Популярные научные наборы данных многократно запрашиваются в одном регионе. Пять региональных кэшей, изученных в 2024 году, в среднем снижали трафик WAN на 33 ТБ в день, обслуживали две трети запросов локально и достигали средней доли попаданий в кэш 94 процента.

Эффект различался: 69,3 процента сокращения WAN в Южной Калифорнии, 48,4 процента в Чикаго и 6,6 процента в Бостоне. Популярность данных, география пользователей, размер хранилища и политика вытеснения определяют пользу площадки.

Кэширование меняет вопрос с «Насколько быстрой может стать магистраль?» на «Какие данные вообще должны пересекать магистраль?». Локальная копия может снизить задержку и трафик и оставаться доступной при сбое на удалённом участке. Кэш с малым числом повторно используемых данных, наоборот, потребляет хранилище и операционные ресурсы без сопоставимой пользы.

Метод приближает сеть к управлению данными. Нужно решать, что можно копировать, как обеспечивается актуальность, кто имеет доступ и как удаляются ошибочные или устаревшие материалы.

Исследование не гарантирует 94-процентную долю попаданий для любого научного сообщества и не заменяет новую ёмкость для уникальных живых потоков данных. Однако оно показывает, что размещение данных и сетевая архитектура могут проектироваться совместно. (Прикладные исследования 2024)

Трансатлантической науке нужна физическая избыточность, а не только ёмкость

Миссия ESnet в США влечёт международные обязательства. Согласно годовому отчёту за 2024 год, примерно половина трафика приходилась на Большой адронный коллайдер. Сбой между Европой и Северной Америкой может ударить по центральной научной нагрузке, даже если все внутренние маршрутизаторы работают.

В период с 2024 года до начала 2025 года заявленная трансатлантическая ёмкость выросла примерно с 700 Гбит/с до 2,7 Тбит/с. ESnet заключил с Aqua Comms 15-летний контракт на 25 процентов волоконной пары между Нью-Йорком, Дублином и Лондоном и делит с GÉANT ёмкость и затраты на нескольких кабельных системах. Цель — не менее 3,2 Тбит/с на четырёх физически различных маршрутах, с потенциалом роста более 10 Тбит/с.

Два логических канала могут использовать один кабель, одну береговую станцию или один наземный канал и выйти из строя вместе. Ремонт подводных кабелей может требовать разрешений, судна, подходящей погоды и недель или месяцев. ESnet планирует одновременный выход из строя трёх кабелей; поэтому одного резервного маршрута недостаточно.

Долгосрочные права на спектр дают ESnet больше контроля над модернизациями, но привязывают программу к определённым системам и партнёрам. ESnet может проектировать избыточность, не владея каждым кабелем и не ремонтируя его самостоятельно.

Сотрудничество с GÉANT — кооперация независимых сетей, а не единый глобальный оператор. Обе организации могут делить ёмкость и затраты, сохраняя ответственность за собственную инфраструктуру и институциональные обязательства. Поэтому сквозная производительность требует прозрачных стыков, совместных измерений и скоординированного реагирования на сбои. (Трансатлантический рубеж;Годовой отчёт 2024)

Научный спрос сочетает постоянную нагрузку, редкие всплески и жёсткие сроки

Большой адронный коллайдер постоянно генерирует большие потоки данных между CERN, национальными лабораториями и университетами. Режим высокой светимости, вероятно, увеличит данные детекторов, симуляции и репликацию. Сеть должна выдерживать эту нагрузку в обычном режиме и одновременно держать альтернативные маршруты для отказа кабеля или площадки.

Обсерватория Vera C. Rubin задаёт временную границу. Изображение объёмом около 13 ГБ должно доставляться примерно каждые тридцать секунд из Чили в SLAC, чтобы можно было формировать предупреждения о временных астрономических событиях. ESnet называет целью менее семи секунд на дистанции около 12 000 миль. Путь включает партнёрские сети в Южной Америке и на международных линиях, которые ESnet не контролирует в одиночку.

DUNE планирует необычайный всплеск. При вспышке сверхновой может потребоваться переместить до 600 ТБ за 100 секунд, тогда как программа за двадцать лет должна произвести около 900 ПБ. Это будущие требования, а не сегодняшний обычный трафик. Редкое астрономическое событие не может ждать, пока будет закуплена дополнительная ёмкость.

Исследования термоядерного синтеза сочетают международную дистанцию с длинным горизонтом планирования. В мае 2026 года 176 ТБ данных ITER были переданы из Марселя в DIII-D в Сан-Диего со скоростью почти 80 Гбит/с. ITER ещё строился; тест показал подготовку, а не штатную полную эксплуатацию. В плановых документах для некоторых будущих рабочих процессов называются примерно 2 ПБ в день и не менее 200 Гбит/с.

FRIB, Jefferson Lab, источники синхротронного излучения и электронные микроскопы частично требуют анализа во время сбора данных. Удалённые вычислительные ресурсы и машинное обучение могут давать обратную связь во время дорогого времени измерений. Климатические и геонауки добавляют крупные симуляции и полевые датчики.

Среднее значение не описывает эти паттерны. ESnet должен поддерживать постоянную нагрузку, редкие всплески, международное сотрудничество, потоковую передачу и жёсткие сроки в рамках одной публичной инфраструктуры. (Кейс Rubin;Кейс DUNE;Обзоры требований)

Обзоры требований переводят исследовательские планы в сетевую архитектуру

ESnet не может ждать первых данных, чтобы закупить волокно, маршрутизаторы или подводную ёмкость. Исследовательские программы на горизонте пяти–десяти лет описывают приборы, объёмы, хранилища, вычислительные цели, сроки, партнёров, использование облаков и устойчивость. Затем инженерные команды проверяют полный рабочий процесс.

Обзор — это форма совместного проектирования. Требование 200 Гбит/с может выявить медленное хранилище, единственный ввод в здание или неподходящий файрвол. Результатом может быть новое подключение площадки, Science DMZ, дополнительный кабель, ПО оркестрации или изменение прибора.

Обзор физики высоких энергий, завершённый в 2025 году и опубликованный в январе 2026 года, объединил 127 участников и 14 кейсов в отчёт объёмом около 400 страниц. Он не гарантирует каждый прогноз, но создаёт общую основу, когда графики и технологии меняются.

Научный спрос не бывает гладким. Редкое событие или новый ИИ-рабочий процесс могут оказаться важнее роста прошлого года. Обзоры требований снижают неожиданности и показывают, что должны подготовить программа, площадка, вычислительный центр и ESnet.

Процесс также распределяет ответственность. Лаборатория не может предполагать, что национальная магистраль компенсирует плохую кампусную сеть. ESnet, в свою очередь, не может предполагать, что площадка автоматически создаст нужные системы хранения после расширения магистрали. Документированное планирование делает такие зависимости видимыми. (Отчёты обзоров)

Wireless Edge и QUANT-NET проверяют границы установки

Полевые приборы не всегда находятся рядом с волокном, коммерческой мобильной связью или надёжным электроснабжением. Wireless Edge сочетает технологии в зависимости от площадки. Геотермальная установка в Неваде, описанная в июне 2026 года, использовала частный 4G в спектре CBRS, Wi-Fi HaLow, обычный Wi-Fi, Starlink, радиорелейную линию и автономную мобильную мачту.

Это было решение для одной площадки, а не национальный сервис ESnet и не замена волокну. Рельеф, погода, частоты, энергоснабжение и спутниковые провайдеры ограничивают результат. Важно, что ESnet рассматривал сбор данных, транспортную сеть и WAN как один научный путь, а не заканчивал свою ответственность на ближайшем стационарном подключении.

QUANT-NET строит тестовую сеть из трёх узлов между Berkeley Lab и двумя площадками Калифорнийского университета в Беркли на дистанции примерно пять километров. В неё входят ионные ловушки, фотоны, обмен запутанностью, измерения Белла, чувствительная к времени координация и модульное управляющее ПО.

Роль ESnet в основном связана с классическим управлением и оркестрацией. Систему, которую приходится настраивать вручную для каждой попытки, сложно эксплуатировать как общую установку. Открытое управляющее ПО может сделать эксперименты более воспроизводимыми и улучшить координацию разных устройств.

Проект — не квантовый интернет в производстве и не передача больших классических научных данных через запутанность. Wireless Edge и QUANT-NET следует оценивать по воспроизводимым знаниям, ПО и техническим процедурам, а не по массовой доступности. (Wireless Edge;Квантовые исследования)

American Science Cloud и ESnet7 переносят планирование с площадок на рабочие процессы

Integrated Research Infrastructure и American Science Cloud должны соединить приборы, данные, хранилище, искусственный интеллект и суперкомпьютеры в федеративную среду. ESnet обеспечивает транспорт и часть оркестрации; EJFAT, SENSE, OSCARS, Cloud Connect и High-Touch решают отдельные задачи, но по отдельности не образуют всю систему.

На Confab26 Индэр Монга был назван заместителем руководителя проекта American Science Cloud, а в программе были демонстрации и сессии по ESnet7. Это доказывает текущую институциональную работу, а не завершённое универсальное научное облако. Правила доступа, идентичность, инвентаризация ресурсов, поддержка и ответственность за данные находились в процессе разработки.

ESnet7 — это планирование, тогда как ESnet6 остаётся текущей производственной сетью. В доступных документах нет окончательной архитектуры, полного финансирования, решения по поставщикам, сроков запуска или плана миграции.

Следующее поколение, вероятно, будет делать акцент на телеметрии, интеллекте, инспекции пакетов и координации наряду со скоростью. Более быстрый канал не может сообщить приложению, где доступны вычислительные мощности, объяснить микровсплеск или доказать, что кросс-доменный сервис корректно завершён.

Поэтому вопрос управления звучит так: сколько научного рабочего процесса сеть должна понимать и направлять, не создавая слишком мощного и слишком сложного центрального контроллера. Техническая возможность оркестрации должна сочетаться с ограниченными полномочиями и ясной ответственностью. (Конференция Confab26;Прикладные исследования)

Федеральное финансирование обеспечивает установку, но это не корпоративная выручка

ESnet финансируется в основном через направление ASCR High Performance Network Facilities and Testbeds. Бюджетная заявка на 2027 финансовый год предлагала 103 млн долларов США после 97,261 млн долларов в предыдущей утверждённой колонке.

Бюджетная строка — лучший доступный публичный индикатор масштаба, но включает также тестовые стенды, сопровождение ПО, исследования и модернизации. Это не отчёт о прибылях и убытках ESnet и не точная оценка ежегодных затрат на производственную магистраль.

Государственное финансирование позволяет долгосрочный спектр, сопровождение открытого ПО и ёмкость до появления коммерческого спроса. В то же время оно ставит программу в зависимость от решений Конгресса, приоритетов Department of Energy и операционного контракта Berkeley Lab.

Политика оплаты для пользователей площадок может перекладывать часть затрат на подключение на учреждения в зависимости от спонсорства и дополнительных работ; отдельные исследователи счетов не получают. Поэтому называть 103 млн долларов «выручкой ESnet» было бы неверно.

Отсутствие отдельных счетов ограничивает финансовый анализ. В открытых документах нет полной концентрации поставщиков, плана амортизации, пообъектного учёта затрат или ежегодных капитальных расходов только по ESnet. Устойчивая формулировка такова: федеральная программа финансирует производство, обновление, сопровождение ПО и исследования в рамках более широкой бюджетной деятельности. (Бюджет ASCR на 2027 ФГ;ESCC)

Доступность, безопасность маршрутизации и телеметрия создают собственные обязательства

В 2024 году десять площадок DOE Office of Science, входивших в определённый показатель, достигли 100-процентной доступности без планового обслуживания. В отчёте также упоминалось 99,99 процента для более широкого измерения. Области измерения различны и не означают нулевых сбоев для всех сервисов, площадок и международных маршрутов.

Программа устойчивости площадок (Site Resilience Program) проверяет вводы в здания, маршрутизаторы, электропитание и общие зоны отказа. Резервная магистраль не помогает, если у лаборатории только один кабельный маршрут, одна комната или один источник питания.

RPKI, мониторинг перехвата маршрутов, blackholing и автоматизация снижают риски, но не устраняют их. Ошибочный шаблон может быстро распространиться, а утечка маршрута может использовать валидный источник. Поэтапное внедрение, независимые проверки и восстановление остаются необходимыми.

Политика данных установки разрешает неограниченное хранение данных об использовании маршрутизаторов и NetFlow с репликацией на Восточном и Западном побережьях. Активные измерения perfSONAR хранятся шесть месяцев на одном диске без резервной копии. Метаданные могут раскрывать конечные точки, учреждения и временные паттерны, хотя ESnet не ведёт индивидуальных подписчиков.

Эти утверждения не противоречат друг другу. У ESnet нет личных отношений членства или выставления счетов с каждым конечным пользователем, но он может обрабатывать технические метаданные о соединениях и потоках данных.

Большая видимость улучшает эксплуатацию и безопасность и одновременно повышает требования к минимизации данных, доступу, ограничению целей и пересмотру сроков хранения. High-Touch усиливает как диагностическую пользу, так и чувствительность собираемой информации. (Рубеж доступности;Политика данных установки;Пиринг)

В чём смысл ESnet

Хроника скоростей реальна: сети-предшественники, ESnet4, ESnet5 с 100G и ESnet6 в диапазоне мультитерабит. Важнее то, что организация меняла архитектуру каждый раз, когда одной пропускной способности переставало хватать для решения научной проблемы.

Science Data Network отделила исключительные потоки данных от общего трафика. OSCARS сделала ёмкость резервируемой. Science DMZ перестроила институциональный периметр. perfSONAR и iperf3 дали проверяемые измерения. SENSE координировала несколько доменов, а EJFAT встроила WAN в контур детектора. Кэширование снизило спрос, а подводный спектр увеличил контроль над международным ростом.

Власть остаётся распределённой. Department of Energy и ASCR финансируют и определяют миссию. Berkeley Lab управляет системой. University of California обеспечивает институциональную контрактную основу. Площадки утверждают локальные изменения, тогда как партнёрские сети, операторы, облака и производители контролируют другие части. Производительность возникает из координации, а не из владения всем путём.

Будущая зрелость должна называться так же точно. ESnet7 — планирование, SENSE в последнем полном отчёте описан как исследование, EJFAT — формирующаяся платформа, QUANT-NET — эксперимент, а American Science Cloud не завершён. В доступных материалах нет независимого рейтинга, который подтверждал бы, что ESnet является самой быстрой научной сетью мира по всем текущим показателям.

Устойчивый вывод полезнее превосходной степени. ESnet принадлежит к самым мощным публично документированным научным сетям, потому что делает распределённую науку операционно возможной от начала до конца. Его долгосрочная ценность проявится в том, смогут ли новые приборы, вычислительные центры и партнёры соединяться в надёжные рабочие процессы, не растворяя контроль и ответственность в непрозрачном центральном слое.

Источники