Резюме

  • Energy Sciences Network (ESnet) — научно-сетевая инфраструктура Управления науки Министерства энергетики США, эксплуатируемая Lawrence Berkeley National Laboratory. Это не коммерческий оператор связи и не самостоятельное юридическое лицо, а финансируемая из федерального бюджета научная инфраструктура.
  • ESnet6 объединяет около 15 000 миль выделенной оптоволоконной базы, оптическую передачу, пакетную маршрутизацию, частные сети, стыки с облачными и научно-образовательными сетями, измерения и программируемые сервисы. Указанные в отчёте за 2024 год 57 Тбит/с — это агрегированная пропускная способность, а 1,77 эксабайта — годовой трафик; это не означает, что каждому пользователю доступен канал 57 Тбит/с.
  • Важный вклад ESnet — отношение к производительности сети как к сквозной задаче. Science DMZ, perfSONAR, iperf3, OSCARS, SENSE, High-Touch и EJFAT улучшают локальные системы, резервирование сети, телеметрию и обработку потоковых данных, превращая пропускную способность магистрали в реальный научный результат.
  • Следующий этап — не просто рост скорости. American Science Cloud, Integrated Research Infrastructure, планы ESnet7, потоковая передача с приборов в реальном времени, полевые беспроводные сети и управление квантовыми сетями встраивают сеть непосредственно в научные рабочие процессы. Однако зрелость этих элементов различается: планы и демонстрации нельзя представлять как общедоступные производственные сервисы.

Не розничный провайдер, а сеть для науки

Проще всего понять ESnet, проследив путь одних научных данных. Детектор, телескоп, микроскоп или симуляция создают информацию на исследовательском объекте; системы сбора принимают её, а хранилища и серверы передачи готовят к перемещению. Локальная сеть доставляет данные до управляемой границы, за которой ESnet передаёт их по территории США, в исследовательские центры за Атлантикой, в суперкомпьютеры Министерства энергетики США, в научно-образовательные сети и коммерческие облака. Обратно возвращаются проанализированные данные, оповещения, модели или информация для принятия решения о следующем шаге эксперимента.

Весь этот путь не контролируется одной организацией. Команда установки, локальная сеть лаборатории, региональная исследовательская сеть, облачный провайдер, международные партнёры и суперкомпьютерный центр, скорее всего, являются разными эксплуатационными субъектами. ESnet предоставляет уровень глобальной сети, ориентированный на научную миссию, и взаимодействует с другими операторами, чтобы весь путь работал.

Медленное хранилище, перегруженная кампусная линия или неправильно настроенный межсетевой экран могут свести на нет быструю национальную магистраль, а сбой на стороне ESnet может остановить даже правильно спроектированный локальный объект.

Институциональное положение тоже однозначно. ESnet — пользовательский объект Управления науки Министерства энергетики США, финансируемый и контролируемый в основном по линии Advanced Scientific Computing Research (ASCR) и эксплуатируемый подразделением Scientific Networking Division лаборатории Berkeley Lab. Сама Berkeley Lab управляется University of California по контракту с Министерством энергетики США. У ESnet нет акционеров, публичных акций, самостоятельной корпоративной стоимости и отдельной финансовой отчётности как у коммерческой компании.

Поэтому её следует описывать как федеральную научную инфраструктуру, а не как предприятие, продающее сетевые услуги.

Исследователи обычно не заключают договоров напрямую с ESnet. Их трафик проходит через ESnet, когда они пользуются научными установками, суперкомпьютерами, лабораторными сервисами, университетскими сетями или сетями совместных исследований. ESnet различает институциональных пользователей (site user) и пользователей конечных точек (endpoint user), но не ведёт формального учёта отдельных конечных пользователей как абонентов. Показатель «более 30 000 организационных пользователей» из годового отчёта за 2024 год — это оценка институционального масштаба на определённый момент, а не число индивидуальных абонентов.

С учётом такой модели эксплуатации роль ESnet нельзя объяснить только сравнением с обычными операторами связи. ESnet управляет оптической передачей, маршрутизацией и взаимодействием сетей, но одновременно занимается анализом требований, разработкой открытого ПО, экспериментальными сервисами и улучшением производительности площадок. Она предлагает не розничные каналы доступа, а способность удалённых научных объектов работать как одна общая система. (Управление ESnet;Сетевые сервисы)

Истоки: дефицитные большие ЭВМ и акустические модемы

Официальная история ESnet восходит к середине 1970-х годов, когда и компьютеры, и дальняя связь были дефицитом. В Controlled Thermonuclear Research Computer Center Ливерморской национальной лаборатории им. Лоуренса позаимствованную машину Control Data Corporation 6600 подключили четырьмя акустическими модемами. Оборудование и скорости принадлежали другой эпохе, но эксплуатационная проблема остаётся актуальной: специализированному научному сообществу требовался удалённый доступ к дорогим вычислительным ресурсам, которые нельзя было воспроизвести в каждом учреждении.

В конце 1970-х и начале 1980-х годов разные исследовательские направления Министерства энергетики США строили собственные сети. В физике высоких энергий и магнитном термоядерном синтезе объекты, партнёры и потоки данных различались, поэтому HEPnet и MFEnet отражали границы соответствующих сообществ. Когда коммерческие сервисы не обеспечивали нужный охват, производительность и эксплуатационную поддержку, выделенные сети были рациональным решением.

Но поскольку каждая программа самостоятельно закупала каналы и содержала технологии и специалистов, инвестиции и эксплуатация дублировались, а долгосрочное обновление и междисциплинарное взаимодействие оставались фрагментированными.

Официальное создание ESnet в 1986 году объединило эти функции в более широкую научную сеть. Изменение было не только техническим, но и организационным. Общая инфраструктура позволяет прогнозировать спрос нескольких программ, эксплуатировать национальные каналы, координировать международные стыки и содержать профильных специалистов. Пропускная способность перестала быть проблемой отдельного эксперимента и стала частью инфраструктурного планирования всего Министерства энергетики США.

Уже в ранней модели проявились черты, сохраняющиеся до сих пор. Пользователи определяются научной миссией, а не розничным рынком; центральные компьютеры и научные установки обосновывают общие государственные инвестиции. Проектирование сети следует долгосрочным исследовательским планам, а эксплуатация требует специалистов, понимающих и телекоммуникации, и научные последствия сбоев. Спрос неравномерен: один эксперимент может создать трафик, многократно превышающий обычный уровень.

У Berkeley Lab была и собственная традиция сетевых исследований. В 1974 году CDC 6600 подключили к ARPANET, после чего исследователи внесли вклад в фундаментальные работы по управлению перегрузками TCP. Достижения Van Jacobson и Mike Karels относятся к исследовательской среде Berkeley Lab в целом и не должны приписываться только ESnet. Тем не менее культура отношения к поведению протоколов, измерениям и производительности как к инженерным задачам, которые можно изучать, была близка операционной философии ESnet.

Эксплуатация ESnet перешла в Berkeley Lab в 1996 году. Так нынешняя операционная база оказалась в одной среде с National Energy Research Scientific Computing Center (NERSC), сетевыми исследователями, разработчиками ПО и другими программами Министерства энергетики США. Именно тогда закрепилась сегодняшняя модель, при которой производственная сеть и прикладные исследовательские организации делят кадры, исследовательскую базу и технические задачи. (История ESnet)

Почему сеть стала пользовательским научным объектом

Научные пользовательские объекты существуют, чтобы разделять возможности, которые слишком дороги, специализированы или взаимозависимы для создания каждой исследовательской группой по отдельности. Как и ускорители частиц, источники излучения или суперкомпьютеры, ESnet применяет эту идею к связи. Права на дальнее оптоволокно, оптическое оборудование, маршрутизаторы, международную ёмкость, круглосуточную эксплуатацию, кибербезопасность, измерение производительности и техническую поддержку объединяют в одном объекте, которым пользуются несколько научных программ.

Характер научного спроса объясняет необходимость государственного финансирования. Коммерческий оператор связи может продать канал высокой ёмкости, но не обязательно станет проектировать общенациональную сеть под детектор, который заработает через несколько лет, под сверхновую, которая может и не вспыхнуть в течение срока контракта, или под научный процесс с небольшим коммерческим трафиком, но высокой общественной ценностью. ESnet способна вкладываться до появления измеримого спроса, потому что её миссия — научные возможности, а не краткосрочная выручка сети.

Модель пользовательского объекта меняет и способ понимания спроса. ESnet проводит формальные обзоры требований с научными программами Министерства энергетики США. Исследователи и команды объектов описывают установки на горизонте пяти-десяти лет, ожидаемые объёмы данных, места хранения, вычислительные площадки, временные ограничения, структуру коллабораций и локальные узкие места. Результаты влияют на ёмкость подключения площадок, резервирование маршрутов, трансатлантическую ёмкость, исследования в области оркестрации и проектирование сервисов.

Эта работа менее заметна, чем новая оптическая линия, но иногда важнее. Контракты на подводный спектр, закупка маршрутизаторов и второй физический вход на площадку могут занимать годы от получения финансирования до внедрения. Если начать подготовку после того, как эксперимент выдал первые данные, предсказуемая инфраструктурная потребность превращается в чрезвычайную ситуацию. Обзор требований переводит научный план в инженерный горизонт подготовки.

В то же время обзор требований делает неопределённость явной. Графики установок сдвигаются, ПО сокращения данных совершенствуется, использование облака растёт, объекты перепроектируют рабочие процессы. ESnet не рассматривает один кейс как утверждённый заказ на трафик. Она создаёт несколько сценариев и определяет, где нужны гибкость, резервная ёмкость и поэтапное внедрение.

В такой модели отдельным исследователям не выставляют счета за гигабайты. Основная эксплуатация финансируется из федерального бюджета, а часть расходов на подключение площадок может покрываться спонсорством программ или в соответствии с Site User Cost Policy. Но различие стимулов сохраняется. Программа-спонсор хочет низкой стоимости подключения, ESnet — ёмкости и устойчивости, полезных нескольким программам, а площадка может откладывать локальную модернизацию, необходимую для полноценного использования национальной сети. Задача управления — не переносить расходы в другую статью бюджета, а связывать такие решения с научным результатом. (ESnet Site Coordinators Committee и политика расходов;Отчёты обзоров требований)

Berkeley Lab эксплуатирует, DOE определяет миссию

У ESnet нет корпоративной иерархии, характерной для оператора связи. Полномочия распределены по цепочке федеральных программ. Управление науки Министерства энергетики США задаёт миссию, Advanced Scientific Computing Research отвечает за основной программный надзор и бюджет. Scientific Networking Division лаборатории Berkeley Lab проектирует, эксплуатирует и развивает объект, а University of California управляет Berkeley Lab по контракту с Министерством энергетики США. Подключённые организации участвуют через координаторов площадок и ESnet Site Coordinators Committee.

Inder Monga — исполнительный директор ESnet и руководитель Scientific Networking Division в Berkeley Lab. Согласно опубликованной информации о руководстве, Chin Guok занимает должность технического директора и отвечает за планирование и инновации, Adam Slagell — директор по безопасности, Jon-Paul Herron — директор по проектированию сети, Susan Lucas — заместитель руководителя по операционной деятельности. Ниже расположены функции оптической инженерии, маршрутизации, инженерии площадок, эксплуатации сети, ПО, измерений, оркестрации, безопасности, управления проектами и научного взаимодействия.

Широта этой организации корректирует упрощённое представление о национальной сети как о наборе волокна и маршрутизаторов. ESnet нужны специалисты, способные закупать спектр, работать с BGP, строить телеметрию, сопровождать открытое ПО, исследовать поведение пакетов, планировать объекты, управлять информацией о безопасности и переводить научные требования в проект сети. ESnet — одновременно эксплуатационная и разрабатывающая организация.

В открытых данных есть неразрешённое расхождение по программному управлению. Текущая страница управления ESnet называет Benjamin Brown программным менеджером ASCR, тогда как недавние материалы обзоров требований называют программным менеджером ESnet Carol Hawk. Возможно, открытые страницы обновляются не синхронно, произошла передача обязанностей или роли разделены. Без дополнительного официального подтверждения нельзя считать кого-либо одного единственным действующим ответственным.

ESnet Site Coordinators Committee даёт подключённым организациям формальный эксплуатационный канал. Каждая площадка назначает представителя, который согласует изменения, влияющие на её подключение, передаёт требования и участвует в обсуждении политик и планов. Это институциональное пользовательское управление, а не прямое голосование каждого исследователя, пользующегося сетью.

Такая схема создаёт практичное разделение ответственности. ESnet управляет собственной магистралью и сервисами. Подключённые площадки управляют кампусным оборудованием, узлами передачи данных, локальной безопасностью и электропитанием. ASCR управляет финансированием на уровне программ, а научные программы определяют последствия задержек и сбоев. Международные партнёры управляют своими сетями. Чтобы полный рабочий процесс работал, эти разные зоны решений должны быть согласованы. (Руководство ESnet;Управление)

ESnet4 отделила обычный IP-трафик от гигантских научных потоков

К середине 2000-х годов распределённые эксперименты начали менять характер сетевого трафика. Большой адронный коллайдер должен был генерировать данные в CERN и распределять их по лабораториям и вычислительным центрам по всему миру. Обычное подключение к интернету оставалось необходимым, но небольшое число научных передач могло вырасти настолько, что занимало бы обычные каналы. Обработка двух таких разных моделей в одной однородной сети усложнила бы управление ёмкостью и гарантии сервиса.

ESnet4 ответила гибридной архитектурой. Обычную научную связь несло IP-ядро, а для крупных научных потоков отдельная Science Data Network предоставляла оптические каналы высокой ёмкости. Крупные лаборатории соединялись городскими кольцами, а сотрудничество с Internet2 и международными партнёрами расширяло сеть за пределы площадок Министерства энергетики США.

Различие состояло не в простом делении на «медленную» и «быструю» связь. Обычный IP-сервис требует широкой доступности и гибкой маршрутизации. Для запланированной передачи нескольких терабайт лучше подходит зарезервированный канал уровня 2 с ясными временем начала, полосой и конечными точками. Science Data Network признала, что для небольшого числа предсказуемых и ценных потоков нужна иная модель управления, чем обычная пересылка пакетов.

Из этой среды появилась OSCARS. On-demand Secure Circuits and Advance Reservation System позволила авторизованным пользователям и приложениям запрашивать сетевые ресурсы на указанный период. Система ищет маршрут, проверяет топологию и политические ограничения, резервирует полосу и ресурсы VLAN, применяет состояние на оборудовании и удаляет его по окончании бронирования. Работа, ранее требовавшая ручной настройки инженеров, стала сервисом, запрашиваемым из ПО.

ESnet4 показала и то, что скорость не является единственным узким местом. Даже если зарезервированный канал выделил ёмкость в глобальной сети, приложение останется медленным, если хранилище не читает данные достаточно быстро или локальный межсетевой экран отбрасывает пакеты. Этот опыт напрямую привёл к Science DMZ и сквозным измерениям.

В этот период закрепился повторяющийся проектный шаблон ESnet. Сначала научная проблема проявляется как требование к трафику, затем объект совместно строит физическую ёмкость, механизмы управления и эксплуатационные методы. Когда метод доказывает эффективность, ПО и проектные руководства выходят за пределы исходного эксперимента. (Материалы ESnet4;OSCARS)

Science DMZ выявила узкие места на границах организаций

Даже когда национальная магистраль работает исправно, скорость передачи у исследователя может быть низкой, потому что магистраль — лишь часть пути. Универсальные межсетевые экраны, общее кампусное ядро, устаревшие маршрутизаторы, недостаточно производительные серверы, потери пакетов и ограничения хранилищ существенно снижают фактическую скорость канала высокой ёмкости.

Science DMZ — ответ ESnet на эту сквозную проблему. Высокопроизводительный узел передачи данных размещают на выделенном маршруте рядом с управляемой границей организации. Политики безопасности настраивают под специализированные системы с ограниченным набором сервисов, а не пропускают длительные научные передачи через универсальный межсетевой экран с сохранением состояния.

Название Science DMZ иногда ошибочно воспринимают как отказ от безопасности. На самом деле эта схема требует усиленных хостов, списков контроля доступа на маршрутизаторах, мониторинга, управления уязвимостями, ограниченного набора открытых приложений и эксплуатационной дисциплины. Меняется место и способ контроля, но не исчезает ответственность за безопасность.

Измерение производительности — часть архитектуры, а не произвольная приборная панель. Узлы perfSONAR измеряют пропускную способность, потери пакетов, задержку и изменения маршрута в контролируемых условиях. Когда две площадки по-разному видят проблему передачи, измерения позволяют сузить, где начинается неисправность: хост, локальная линия, региональная сеть, магистраль ESnet или международный партнёр. Без измерений каждый оператор может сообщать, что его участок в порядке, а исследователь так и не сможет переместить данные.

Узлы передачи данных тоже требуют специальной инженерии. Сетевые интерфейсы, привязка CPU, память, диски или параллельная файловая система, буферы TCP и ПО передачи влияют на реальную пропускную способность. Руководство Fasterdata и техническая поддержка ESnet превратили эти знания в воспроизводимую практику. Подход вышел за пределы объектов Министерства энергетики США, но не каждая реализация с названием Science DMZ эксплуатируется ESnet.

Science DMZ получила широкое признание, потому что превратила вопрос закупки оборудования в вопрос системного проектирования. Покупка более быстрого канала не решает проблему, если узким местом остаётся другой участок. Осмысленная единица производительности — полный рабочий процесс от хранилища до хранилища или от установки до вычислительных ресурсов, где каждую административную зону нужно измерять и делать ответственность явной. (Science DMZ;Инструменты производительности)

ESnet5 вывела 100G в общенациональную эксплуатацию

Следующий скачок ёмкости поддержали Advanced Networking Initiative и меры экономического стимулирования в США. ESnet получила 62 миллиона долларов по American Recovery and Reinvestment Act и продвинула прототип дальней связи 100 Гбит/с и переход к ESnet5. Инвестиции касались не только новых маршрутизаторов: они включали права на спектр в общенациональном оптоволокне, что дало ESnet более прямой контроль над развёртыванием и обновлением длин волн.

ESnet5 вышла в производственную эксплуатацию в конце 2012 года. Тогда Министерство энергетики США и ESnet называли её самой быстрой научной сетью в мире. Это историческое утверждение следует понимать в контексте первопроходческого общенационального развёртывания 100G. Его нельзя без оговорок повторять как мировой рейтинг 2026 года. Современные исследовательские сети публикуют разные показатели: скорость отдельных интерфейсов, агрегированную ёмкость магистралей, оптический спектр, экспериментальные испытания, — а в предоставленных материалах нет нейтральной базы для сравнения.

Эффект 100G был шире десятикратного роста скорости интерфейсов. Научные данные, ранее надолго занимавшие канал, стало можно планировать как обычную дальнюю передачу. Лаборатории получили возможность централизовать часть вычислений и хранения, не дублируя их в каждой точке. Международные коллаборации получили более ёмкую магистраль внутри США. Одновременно рост ёмкости быстрее обнажил локальные ограничения и повысил ценность Science DMZ и perfSONAR.

ESnet5 сохранила гибрид пакетных сервисов и выделенных маршрутов для науки. Возросла и роль автоматизации. В масштабах 100G резервирование ёмкости, диагностику сбоев и поддержание единообразия сервисов по всей стране нельзя обеспечивать только ручной настройкой каждого устройства.

Проект показал, что государственные инфраструктурные инвестиции меняют научный выбор до полной загрузки отдельным экспериментом. Резервная ёмкость — это подготовка к будущим установкам и сбоям, а не нераспроданный товар розничного сервиса в привычном смысле. Возможность опробовать новые рабочие процессы, не дожидаясь следующего строительного цикла, тоже входит в эту ценность.

Однако такая логика требует дисциплины. Заголовки о ёмкости должны связываться с реальным научным использованием, а инвестиции — адаптироваться, если прогнозы спроса меняются. Последующие работы ESnet по телеметрии, кэшированию и оркестрации были попыткой получить больше научной ценности из уже установленной ёмкости, а не считать физическое расширение единственным ответом. (Анонс ESnet5)

ESnet6 объединила оптику, пакеты и программное обеспечение

Проект ESnet6 начался в 2017 году и после примерно шести лет проектирования и строительства был официально представлен 11 октября 2022 года. На момент запуска Berkeley Lab сообщила о более чем 46 Тбит/с агрегированной ёмкости на примерно 15 000 миль выделенной инфраструктуры и о магистральных каналах от 400 Гбит/с до 1 Тбит/с. Годовой отчёт за 2024 год, отражая последующее расширение, указывает 57 Тбит/с и каналы до 1,2 Тбит/с. Это показатели разных моментов времени, а не противоречащие друг другу определения одной неизменной сети.

Физический уровень включает дальнее оптоволокно, оптические линейные системы, усилители, права на спектр, площадки размещения оборудования и локальные точки подключения. В отчёте за 2024 год насчитано 278 площадок оптического усиления. Когерентные оптические технологии передают по волокну несколько высокоскоростных каналов, усилители и реконфигурируемые оптические устройства поддерживают сигнал и направляют длины волн в нужную сторону. Даже один маршрут на карте может состоять из разных элементов: тёмного волокна, спектра, готового сервиса и партнёрских контрактов.

Выражение «около 15 000 миль» не означает, что каждый кабель юридически принадлежит Министерству энергетики США.

Над оптическим уровнем маршрутизаторы и границы сервисов предоставляют IP, частные среды маршрутизации, сервисы уровня 2, пиринговые стыки и облачные подключения. В отчёте за 2024 год указано 78 площадок с маршрутизаторами. Площадки подключаются на скорости 10, 100 или 400 Гбит/с в зависимости от требований, а магистраль может агрегировать несколько интерфейсов или длин волн, формируя большую ёмкость.

Программный уровень отличает ESnet6 от простого наращивания ёмкости. Автоматизация поддерживает состояние оборудования и сервисов, программируемая телеметрия даёт более подробные эксплуатационные свидетельства. OSCARS настраивает зарезервированные маршруты, SENSE пытается координировать несколько доменов по требованиям приложений. High-Touch создаёт детальную наблюдаемость пакетов и потоков на программируемом оборудовании. Стыки с API и тестовыми стендами приближают успешные исследовательские результаты к производственной эксплуатации.

В ESnet6 большое внимание уделено отказоустойчивости. Резервные маршруты, несколько входов на площадку, независимое электропитание, запасные маршрутизаторы и площадки сервисов высокой доступности снижают вероятность того, что один сбой отключит лабораторию от национальной системы. Но сфера действия каждой меры разная. Если две локальные линии проходят в одном кабельном канале, резервная магистраль не поможет. Если два маршрутизатора зависят от одного источника питания, увеличение числа устройств не добавляет устойчивости.

ESnet6 следует понимать как многоуровневый научный объект. Волокно создаёт физический охват, оптическое оборудование — ёмкость. Маршрутизаторы создают пакетные и частные сервисы, программное обеспечение — воспроизводимость и программируемость. Измерения подтверждают, что обещанный маршрут действительно работает. Межорганизационные соглашения и сотрудничество нужны, чтобы пересекать границы, которыми ESnet не владеет. (Запуск ESnet6;Годовой отчёт за 2024 год)

Что означают — и чего не означают — 57 Тбит/с

Сетевая статистика часто сводит разные уровни в одну цифру. Указанные ESnet для 2024 года 57 Тбит/с — это агрегированная проектная ёмкость, распределённая по всей системе. Это не один физический канал, не пропускная способность, доступная каждой лаборатории, и не трафик, который постоянно течёт в сети. Тот же отчёт приводит магистральные каналы от 400 Гбит/с до 1,2 Тбит/с, семь площадок в США, подключённых на скорости выше 400G, и трансатлантическую ёмкость 2,7 Тбит/с. Каждая цифра отвечает на отдельный вопрос.

В отчёте также указано 78 площадок с маршрутизаторами и 278 площадок оптического усиления на инфраструктуре длиной около 15 000 миль. Сеть соединяет все 17 национальных лабораторий Министерства энергетики США, 28 пользовательских объектов DOE, 277 сетевых связей с исследовательскими, образовательными, коммерческими и другими сетями в пяти странах, более 30 000 организационных пользователей и 137 сотрудников и подрядчиков, распределённых по 24 штатам. Это разные совокупности, их нельзя суммировать как общее число клиентов. Маршрутизаторы, объекты, партнёрские сети, институциональные пользователи и сотрудники — отдельные показатели.

Подключение площадки показывает ёмкость на одной организационной границе. Магистральный канал показывает ёмкость между точками сети. Оптическая система несёт несколько длин волн, а логический сервис может использовать лишь часть физического уровня. Агрегированная ёмкость суммирует ресурсы, которые одни и те же отправитель и получатель не могут использовать одновременно. Объём трафика показывает, сколько данных перемещено за период, и отличается от максимальной скорости в конкретный момент.

В 2024 году ESnet передала 1,77 эксабайта, что на 4 % больше, чем 1,7 эксабайта в 2023 году. Этот рост ниже долгосрочного среднего примерно 55 % в год, которое ESnet приводит с 1989 года. По одному году нельзя говорить о стабилизации научного спроса. Крупные проекты запускаются неравномерно, изменения ПО могут сокращать объём передач, а один эксперимент или международное событие способно существенно изменить структуру.

Трафик также неоднороден. В отчёте за 2024 год указано, что данные Большого адронного коллайдера составили примерно половину всего трафика. Fermilab стал крупнейшим внешним источником с 136 петабайтами, NERSC — крупнейшим получателем внутри Министерства энергетики США с 75,3 петабайта, Oak Ridge — крупнейшим внутренним источником с 58,3 петабайта. Это показывает основные рабочие нагрузки, но не является полным рейтингом научной ценности: меньшая передача может быть важнее, если она ограничена по времени или обслуживает уникальную установку.

Планирование ёмкости должно одновременно учитывать средний и пиковый трафик, загрузку по маршрутам, резерв на случай сбоев, скорость подключения площадок, научные сроки и будущие требования. Сеть, рассчитанная только по средней загрузке, может не справиться при сверхновой или аварии подводного кабеля. Сеть, рассчитанная только на теоретически максимальное событие, рискует создать слишком дорогие и негибкие активы.

Инженерная задача ESnet — разместить ёмкость там, куда её можно доставить из нужных рабочих процессов, и убедиться, что системы на обоих концах действительно могут её использовать. Поэтому цифру 57 Тбит/с следует объяснять вместе со Science DMZ, измерениями, оркестрацией и обзорами требований, а не подавать как мировой рейтинг. (ESnet by the Numbers)

AS293 маршрутизирует для научной миссии, а не для розничного рынка

Публичный номер автономной системы ESnet — AS293. Она обменивается маршрутами с площадками Министерства энергетики США, научно-образовательными сетями, коммерческими сетями и платными транзитными операторами. Политика маршрутизации определяет, какие маршруты несут научный трафик, как происходит переключение при сбоях и с какими внешними сетями устанавливаются прямые стыки.

Пиринговая политика избирательная. Кандидаты должны использовать BGP, поддерживать актуальную информацию в Internet Routing Registry и PeeringDB, избегать маршрутов, не прошедших проверку RPKI, и следовать практикам безопасности маршрутизации, связанным с MANRS. ESnet требует пиринга по IPv6 или dual stack и не принимает новые подключения только по IPv4. Прямые частные стыки начинаются с портов 100G, при этом 400G настоятельно рекомендуется.

Эти условия отражают и миссию, и эксплуатационные затраты. Прямые стыки потребляют порты, время инженеров и возможности мониторинга. ESnet не обязана пиринговаться с каждой сетью только потому, что маршрут опубликован. Она выбирает связи, которые улучшают научные маршруты Министерства энергетики США, снижают зависимость от транзита и ведут к ключевым партнёрам по совместным исследованиям. Для направлений, куда нельзя эффективно добраться через исследовательские сети или прямой пиринг, используется платный транзит Hurricane Electric и Lumen.

ESnet публикует BGP Community, различающие напрямую подключённые площадки, научно-образовательные и коммерческие сети. Подключённые организации могут использовать эту информацию в своей политике, но то, как её интерпретируют нижестоящие сети, находится вне контроля ESnet. Community — это описательные метаданные, а не гарантия того, что все сети примут одинаковые маршрутные решения.

У безопасности маршрутизации есть пределы. Отклонение маршрутов, не прошедших RPKI, предотвращает значительную часть ошибок происхождения, но не останавливает все утечки маршрутов, скомпрометированных соседей, маршруты с верным происхождением, ошибочно распространённые дальше, или некорректные ROA. Мониторинг перехватов позволяет заметить неожиданную смену происхождения, но обнаружение может произойти уже после распространения. Blackholing защищает другие системы, отбрасывая трафик к атакуемой цели, но жертвует доступностью атакуемого префикса.

AS293 переносит публичный IP-трафик, но не стремится максимизировать число клиентов на потребительском транзитном рынке. Её ценность — в качестве маршрутов для научного сообщества, устойчивости к сбоям и надёжных стыках. (Пиринговая политика)

Физические подключения, частные сервисы и маршруты в облако

Сервисы ESnet начинаются с физического подключения. Подходящие площадки могут подключаться на 10, 100 или 400 Гбит/с через ближнюю или удалённую точку присутствия. Для объектов вдали от выделенной инфраструктуры Service On-Ramp может использовать тёмное волокно или готовый канал оператора связи. Путь доступа — тоже часть научного рабочего процесса, и последний участок, предоставленный внешним оператором, может стать главным узким местом или точкой отказа.

IP-сервисы уровня 3 предоставляют маршрутизируемое подключение IPv4 и IPv6. VPN уровня 3 создаёт логически изолированные среды IP и BGP для научных программ с несколькими площадками поверх общей физической инфраструктуры. VPN уровня 2 предоставляет соединения Ethernet «точка-точка» или «многоточка», которые настраиваются статически или через OSCARS. Благодаря этим сервисам эксперименты и объекты могут соединяться, не открывая все связи в публичный интернет.

Частный сервис не означает полностью независимый от других физический сервис. Логическая изоляция опирается на конфигурацию маршрутизаторов, метки, экземпляры маршрутизации, контроль доступа и эксплуатационные процедуры. Сбой общей платформы может затронуть несколько сервисов, а ошибка конфигурации способна нарушить задуманную изоляцию. Ценность не в утверждении об отсутствии общих зависимостей, а в управляемой изоляции и предсказуемой связности.

Cloud Connect продлевает маршруты ESnet в коммерческие облака AWS, Microsoft Azure, Google Cloud и Oracle. Площадка может достигать точек подключения облака по выделенному соединению уровня 2 или 3, а не через обычную публичную интернет-маршрутизацию. Это улучшает управление маршрутами и снижает зависимость от нестабильного транзита, но не устраняет вопросы безопасности на стороне облака, сбои провайдера, проектирование идентификационных данных, плату за перенос данных и доступность регионов.

Отношения с облаком показывают изменение роли ESnet. Наука Министерства энергетики США существует не только внутри лабораторий и федеральных суперкомпьютеров. Исследователи могут использовать коммерческое объектное хранилище, специализированные сервисы и пакетные вычисления. ESnet должна подключать такие ресурсы, не создавая ложного впечатления, что облако — часть федеральной сети, и не утверждая, что выделенный канал сам по себе делает облачный аккаунт безопасным.

Среди прочих сервисов — вторичный DNS, сетевое время, мониторинг перехвата маршрутов и blackholing. Даже при исправной оптической ёмкости сбой разрешения имён, неверное время, утечка маршрута или DoS-атака могут сделать научные системы недоступными.

Вся совокупность сервисов — это эксплуатационные договорённости на нескольких сетевых уровнях. Физическое подключение создаёт маршрут, маршрутизация — доступность. Частные сервисы создают логические границы, облачные подключения — выход в коммерческую инфраструктуру. Безопасность и вспомогательные сервисы снижают известные виды отказов. На обоих концах пользователь должен обеспечить работающие конечные точки и локальную сеть. (Меню сетевых сервисов)

OSCARS делает ёмкость резервируемым ресурсом

Обычный интернет-трафик использует ёмкость, доступную в момент прибытия пакетов. Такая модель хороша для обычной связи, но некоторые научные передачи запланированы, очень велики и чувствительны к задержкам. OSCARS позволяет авторизованным пользователям и приложениям резервировать сетевые ресурсы на указанный период.

Бронирование может включать конечные точки, время начала и окончания, полосу, информацию VLAN, исключения маршрутов и другие ограничения. Система изучает топологию и существующие резервирования, выбирает подходящий маршрут, применяет нужное состояние в сети и удаляет его после завершения. Она должна предотвращать двойное выделение ограниченных ресурсов и учитывать ситуации, когда доступная топология меняется из-за обслуживания или сбоев.

Главное — эксплуатационное изменение. Ручная настройка канала может требовать нескольких дней координации разных инженеров, а программное резервирование создаётся за минуты и может быть встроено в рабочий процесс эксперимента. Сеть перестаёт быть неподвижным фоновым оборудованием и становится ресурсом, который ПО может запрашивать так же, как хранилище или вычисления.

OSCARS — производственная система с открытым исходным кодом, её внедряли или оценивали также в сетях и тестовых стендах за пределами ESnet. Однако опубликованная информация о внедрениях содержит и исторические описания. Не следует считать, что все перечисленные организации до сих пор эксплуатируют её в той же конфигурации.

Резервирование не гарантирует приложению пропускную способность. Оно может закрепить определённую ёмкость в сети, но не ускорит чтение из хранилища, не устранит потери пакетов в кампусной сети и не настроит операционную систему. Если приложение выдаёт лишь часть зарезервированной скорости, диагностику нужно возвращать на сквозной путь.

Резервирование порождает и вопросы распределения ресурсов. Приоритетный эксперимент выигрывает от гарантированной ёмкости, но неиспользуемые резервирования могут снижать гибкость для остальных. Кто может запрашивать сервис, как разрешаются конфликты и можно ли вытеснять бронирование — это вопросы управления объектом, даже если код автоматизирован.

OSCARS — наглядный пример того, как прикладное ПО ESnet стало инфраструктурой. Оно превратило ручную процедуру в воспроизводимый сервис и дало научным приложениям способ выражать требования к сети, сохраняя человеческие политики авторизации. (OSCARS)

SENSE совместно координирует сеть и конечные системы

Зарезервированный сетевой маршрут решает лишь часть распределённого рабочего процесса. Хранилище, сервисы передачи и вычислительные ресурсы тоже имеют доступность, ёмкость и политики. SENSE — Software-defined network for End-to-end Networked Science at the Exascale — пытается расширить оркестрацию за пределы одного сетевого домена.

SENSE представляет сеть и конечные системы как обнаруживаемые ресурсы. Научное приложение может описать цель, например переместить набор данных между объектами с определённой скоростью. SENSE собирает модели ресурсов из участвующих доменов, согласует ресурсы, настраивает сеть и сервисы передачи, следит за телеметрией и освобождает ресурсы после завершения процесса.

Это сложнее настройки одного канала. Участвующие организации сохраняют собственные полномочия и модели данных. Один домен публикует полосу, другой — конечные точки хранилища или сервис передачи. Различаются политики, учётные данные и окна обслуживания. SENSE должна координировать их, не предполагая, что один центральный контроллер может приказывать всем системам.

В ходе Large Hadron Collider Data Challenge 2024 года рабочий процесс с поддержкой SENSE поддерживал 330 Гбит/с между Caltech и University of California, San Diego. Это свидетельство того, что крупномасштабная оркестрация по требованиям приложений сработала в конкретном рабочем процессе. Но это не означает производственный сервис, доступный на всех площадках ESnet. Даже в отчёте за 2024 год SENSE отнесена к исследовательской стадии.

Разница между OSCARS и SENSE показывает, как меняется единица автоматизации. OSCARS резервирует сетевые ресурсы внутри известного сервисного домена. SENSE пытается согласовать полный путь, включающий системы, принадлежащие разным организациям. У первой ясные границы производственной эксплуатации, у второй больше научная ценность, но выше риски управления и интеграции.

Для эксплуатации практический вопрос — ответственность за сбой. Если приложение объявило цель, а производительность процесса не достигнута, причина может быть в модели ресурсов, сети, хранилище, учётных данных, приложении или межведомственной синхронизации. Оркестрация должна давать каждому оператору свидетельства о том, какая часть согласованного состояния отклонилась от замысла.

SENSE стремится к инфраструктуре, в которой приложение запрашивает не канал, а результат. Зрелость следует оценивать не только по максимальной скорости передачи, но и по воспроизводимому производственному использованию в нескольких доменах, ясным обязанностям поддержки и способности восстанавливаться после частичных сбоев. (SENSE;Прикладные исследования 2024)

EJFAT отправляет научные события напрямую в удалённые вычисления

Традиционное перемещение научных данных часто построено вокруг файлов. Эксперимент создаёт данные, локальная система записывает их в файлы, сохраняет в хранилище, а затем передаёт на другой объект для анализа. Это устоявшийся подход, но результат появляется с задержкой, а локальные хранилища и вычислительные ресурсы должны выдерживать пики сбора.

EJFAT — ESnet–Jefferson Lab FPGA Accelerated Transport — предлагает иной путь. Событийные данные, инкапсулированные в UDP, доставляются в реальном времени от установки к доступным вычислительным узлам, включая удалённые суперкомпьютерные центры. Программируемая сетевая карта на основе FPGA читает идентификатор события и направляет все фрагменты одного события одному вычислительному узлу. В зависимости от загрузки вычислительных узлов управляющая система меняет адресата.

Группировка по событиям важна. Обычный балансировщик может распределить пакеты по нескольким серверам, но в научной обработке все фрагменты одного детекторного события должны попасть к одному вычислительному узлу. EJFAT отделяет быструю передачу от планирования вычислительных узлов, позволяя масштабировать каждую часть независимо.

В апреле 2024 года демонстрация передала данные из Jefferson Lab в Вирджинии на суперкомпьютер Perlmutter в Калифорнии со скоростью 100 Гбит/с и обработала их в реальном времени без промежуточных дисков. По данным ESnet, в последующих испытаниях использовались вычислительные ресурсы нескольких объектов и около 20 000 ядер. Это конкретный демонстрационный результат, который не гарантирует, что любую научную установку можно развернуть в такой же конфигурации.

Пример Facility for Rare Isotope Beams — более свежий эксплуатационный случай. В июле 2026 года ESnet сообщила, что исследователи передавали сырые данные через EJFAT в удалённый суперкомпьютер со скоростью около 5–6 Гбит/с. Сгенерированные за 15 часов 615 ГБ данных обработали за 20 минут на восьми узлах Perlmutter с помощью машинного обучения. Скорость сети ниже, чем в демонстрации на 100G, но научная ценность в том, что результаты удалось получить быстро в ходе реального рабочего процесса.

Потоковая передача в реальном времени меняет и экономику объектов. Вместо создания локальных вычислительных ресурсов под все пики детектор может использовать общий суперкомпьютер. Исследователи видят результаты, пока драгоценное пучковое время ещё доступно. Но сетевой сбой, проблема с вычислительной квотой или ошибка доставки событий теперь влияют не на перенос файлов после эксперимента, а на обработку прямо во время него.

EJFAT — продвинутый прототип или формирующаяся платформа, а не повсеместно предлагаемый стандартный сервис. Для производственного внедрения нужны интеграция установок, безопасность, доступность FPGA, распределение эксплуатационной ответственности, соглашения о планировании и ясное поведение при потере UDP-пакетов. Его значение в том, что глобальная сеть может стать частью контура сбора данных, а не только средством переноса после сбора. (EJFAT;Пример FRIB)

High-Touch, perfSONAR и iperf3 делают маршрут наблюдаемым

Высокоскоростная сеть иногда отказывает так, что это не видно на графиках агрегированной загрузки. Короткие микровсплески переполняют очереди, пакеты меняют порядок, потери появляются только в одном направлении или для части трафика, маршрут меняется между тестами. Безопасностно значимые потоки тоже могут теряться в статистической выборке.

High-Touch использует программируемое оборудование и ПО, чтобы собирать более подробную телеметрию пакетов и потоков, чем обычные выборочные записи. В 2024 году её применяли для исследования пропускной способности Большого адронного коллайдера, перестановки пакетов на маршруте Rubin Observatory и инцидентов безопасности. Цель — диагностическая точность, позволяющая выявлять поведение, невидимое в агрегированном трафике.

Более детальные свидетельства имеют свою цену. Детали пакетов и потоков требуют хранилища, вычислительных мощностей, контроля доступа и аккуратной интерпретации. Они могут раскрывать общающиеся конечные точки, структуру коллабораций и время научной активности. Система эксплуатационной наблюдаемости одновременно становится чувствительным информационным активом.

perfSONAR работает на другом уровне. Это распределённая система измерений, поддерживаемая сотрудничеством нескольких организаций, в котором ESnet — ключевой участник с момента основания. В 2024 году в мире сообщалось о более чем 2000 узлах, а ESnet эксплуатировала более 30 площадок. Контролируемые тесты измеряют пропускную способность, задержку, потери и изменения маршрута между участвующими узлами.

Распределённая конфигурация важна. Когда исследователь сообщает о медленной передаче, тест между правильно спроектированными узлами perfSONAR показывает, способен ли базовый маршрут обеспечить ожидаемую скорость. Тесты по направлениям выявляют асимметрию, повторные измерения — момент начала деградации. Traceroute показывает изменения маршрута, но наблюдаемый путь не всегда полностью совпадает с фактическим маршрутом передачи приложения.

iperf3 предоставляет активные тесты пропускной способности по TCP, UDP и SCTP с поддержкой IPv4 и IPv6. ESnet сопровождает этот инструмент с открытым исходным кодом и сообщает о тестах выше 150 Гбит/с на маршруте 200G в определённых условиях. Синтетический тест не заменяет бенчмарк приложения, но подтверждает, что хост и сеть способны переносить трафик в контролируемых условиях.

High-Touch, perfSONAR и iperf3 наблюдают разную реальность. High-Touch детально фиксирует производственные потоки, perfSONAR измеряет маршруты через несколько доменов регулярно или по требованию, iperf3 напрямую тестирует пропускную способность конечных точек и сети. Одна точка зрения не даёт полного диагноза, но вместе они снижают риск судить о распределённом сбое по локальной приборной панели одного оператора. (Инструменты производительности;Эксплуатационные инновации 2024)

Лучшее наращивание ёмкости — иногда не пересылать данные

Добавление ёмкости — не единственный способ улучшить научную сеть. Если один и тот же набор данных многократно запрашивают исследователи из одного региона, перемещение каждой копии по глобальной сети расходует ёмкость и увеличивает задержку, даже когда магистраль свободна.

В отчёте ESnet о прикладных исследованиях за 2024 год рассмотрены пять региональных узлов кэширования, которыми пользуются научные сообщества данных. В целом по исследованию кэширование сокращало глобальный трафик в среднем на 33 терабайта в день. Две трети запросов обслуживались локально, средний показатель попаданий в кэш составил 94 %. Эффект сильно различался по регионам: сообщалось о сокращении глобального трафика на 69,3 % в Южной Калифорнии, на 48,4 % в Чикаго и на 6,6 % в Бостоне.

Разница показывает, что ценность кэша зависит от популярности набора данных, региональных пользователей, объёма хранилища, политики вытеснения и конфигурации сервиса. Рядом с сообществом, многократно анализирующим одни и те же данные, можно сократить крупные передачи. В среде, где разные данные используются редко, тот же эффект недостижим, а хранилище расходуется впустую.

Кэширование меняет и границы контроля. Сетевой оператор начинает участвовать в размещении данных, а научному сообществу нужно решать, какие данные можно реплицировать, как поддерживать актуальность и кто имеет доступ. Сбои хранилища и устаревшие копии становятся эксплуатационными проблемами рядом с сетью.

Самый эффективный бит — тот, который не попадает в магистраль. Оптическое обновление увеличивает предложение, а кэширование меняет спрос. Планирование рабочих процессов позволяет избегать часов пик, сжатие и локальная фильтрация уменьшают объём до передачи. Зрелое инфраструктурное планирование оценивает эти меры вместе, а не измеряет прогресс только установленными терабитами.

Результаты исследования следует понимать в пределах рассмотренных сред. Не все научные данные дадут 94 % попаданий, и кэш не заменяет новую ёмкость, нужную для уникальных живых потоков. Главное — показано, что архитектуру данных и архитектуру сети можно проектировать как единое целое. (Прикладные исследования 2024)

Трансатлантической науке нужна не только ёмкость, но и физическое разнообразие

Американская инфраструктура ESnet неотделима от её международной роли. Физика высоких энергий состоит из объектов и вычислительных центров по обе стороны Атлантики, и в годовом отчёте за 2024 год указано, что данные Большого адронного коллайдера составили примерно половину трафика ESnet. Даже при исправных маршрутизаторах в США авария трансатлантического подводного кабеля может остановить ключевые научные нагрузки.

С 2024 по начало 2025 года опубликованная трансатлантическая ёмкость ESnet выросла примерно с 700 Гбит/с до 2,7 Тбит/с. Важная часть плана — 15-летний контракт с Aqua Comms, по которому закреплена четверть волоконной пары на маршрутах между Нью-Йорком, Дублином и Лондоном. ESnet делит ёмкость и расходы с GÉANT на нескольких подводных кабелях. Инженерная цель — обеспечить не менее 3,2 Тбит/с на четырёх физически разнесённых маршрутах и иметь проект, расширяемый выше 10 Тбит/с.

Ёмкость и разнообразие — разные вопросы. Два логически разных сервиса могут использовать один подводный кабель, одну станцию выхода или один наземный кабельный канал и отказать одновременно. Ремонт подводного кабеля требует определить место аварии, получить разрешения, задействовать кабельное судно, дождаться погоды, поднять и проверить повреждённое волокно — это может занять недели или месяцы. ESnet учитывает возможность трёх одновременных аварий и не считает один резервный маршрут достаточным.

Долгосрочные права на спектр дают больше контроля над обновлением, чем повторная покупка готовых каналов. Но они же создают долгосрочную привязку к конкретным кабельным системам, станциям выхода и эксплуатационным партнёрам. Контракты на спектр не устраняют морские риски. Они позволяют распределять ёмкость и устойчивость по нескольким системам, но ESnet по-прежнему зависит от владельцев кабелей, процессов ремонта и партнёрских сетей.

Слово «выделенный» тоже требует осторожности. ESnet управляет выделенными правами и выделенной инфраструктурой на ключевых маршрутах, но форма физических активов неоднородна. Маршруты внутри страны и за рубежом включают тёмное волокно, спектр, готовые сервисы, размещение оборудования и партнёрскую ёмкость. Одна линия на карте не показывает, кто владеет каждым участком и у кого права на ремонт.

Отношения с GÉANT показывают, что исследовательские сети могут сотрудничать и без централизации. Обе организации делят расходы и координируют научный трафик, но каждая отвечает перед своими учреждениями и участниками. Сквозная производительность зависит также от национальных исследовательских сетей, кампусных систем и экспериментальных объектов за пределами обеих магистралей. (Трансатлантический этап;Годовой отчёт за 2024 год)

Научный спрос сочетает постоянную ёмкость, редкие всплески и жёсткие сроки

Большой адронный коллайдер создаёт постоянную высокую ёмкость. Распределённая модель вычислений перемещает экспериментальные данные между CERN, Fermilab, Brookhaven, университетами и другими вычислительными центрами, создавая непрерывный международный трафик. Планируемая эксплуатация на повышенной светимости High-Luminosity, как ожидается, увеличит детекторные данные, симуляции и репликацию. Сети нужно нести повседневные гигантские потоки и иметь разнообразие маршрутов для обхода аварий подводных кабелей и объектов.

Vera C. Rubin Observatory показывает ограничения по времени. Телескоп в Чили рассчитан на получение изображения объёмом около 13 ГБ каждые 30 секунд. Данные должны быстро обрабатываться в SLAC, а оповещения о кратковременных явлениях — уходить другим обсерваториям. ESnet указывает цель доставлять каждое изображение на расстояние около 12 000 миль менее чем за 7 секунд. Маршрут включает южноамериканские и международные исследовательские сети, поэтому результат зависит от инженерии нескольких организаций, а не только ESnet.

DUNE предполагает экстремальные всплески. При вспышке сверхновой может потребоваться переместить до 600 ТБ за 100 секунд, а за 20 лет программы ожидается около 900 ПБ данных. Это будущее проектное требование, а не текущий повседневный трафик. Но астрономическое явление нельзя отложить до появления ёмкости. Сеть, спроектированная только по средней загрузке, может не справиться в момент наибольшей научной ценности.

Исследования термоядерного синтеза сочетают международные расстояния и долгую разработку. В мае 2026 года 176 ТБ данных ITER передали из Марселя на установку DIII-D в General Atomics в Сан-Диего со скоростью около 80 Гбит/с. ITER ещё строится, поэтому это были подготовительные испытания, а не обычная полномасштабная эксплуатация. Материалы по требованиям предполагают для части будущих рабочих процессов около 2 ПБ в день и не менее 200 Гбит/с.

FRIB и Jefferson Lab показывают другую модель. Экспериментам иногда нужен удалённый анализ, пока данные ещё поступают. EJFAT позволяет отправлять потоки событий на вычислительные ресурсы NERSC или Oak Ridge, не дожидаясь завершения и копирования файлов. Источники излучения, электронные микроскопы и другие установки сталкиваются с похожими решениями по локальной фильтрации, удалённому ИИ-выводу и скорости возврата результатов операторам установки.

Климатология и науки о Земле добавляют ещё один вид спроса. Крупные симуляции и данные наблюдений перемещаются между вычислительными центрами и хранилищами, а полевые датчики могут находиться там, куда обычное волокно не доходит. Одна заголовочная скорость не может описать одновременно постоянную ёмкость, редкие всплески, низкую задержку обратной связи, международные коллаборации и удалённый сбор данных. (Пример Rubin Observatory;Пример DUNE;Обзоры требований)

Обзоры требований переводят научный план в проект сети

ESnet не может закупать волокно, маршрутизаторы и трансатлантическую ёмкость после того, как эксперимент выдал первые данные. Контракты на дальние каналы, закупка оборудования, строительство площадок и разработка ПО занимают годы. Поэтому ESnet проводит обзоры требований вместе с научными программами Министерства энергетики США на горизонте пяти–десяти лет.

Исследователи и команды объектов описывают установки, прогнозируемые объёмы данных, места хранения, вычислительные площадки, временные ограничения, международных партнёров, использование облака и требования к устойчивости. Сетевые и вычислительные специалисты рассматривают полный рабочий процесс. Запрос на более широкий канал на деле может указывать на проблему локального хранилища, разнообразия маршрутов, проектирования безопасности или ПО передачи.

Обзор требований — это совместное проектирование. Научная программа объясняет, чего хочет достичь, ESnet переводит это в инфраструктурные зависимости и проверяет, работает ли предполагаемый маршрут. Результаты влияют на ёмкость подключения площадок, новые маршруты, закупку подводной ёмкости, внедрение Science DMZ, исследования оркестрации, штат и сроки сети следующего поколения.

В крупном обзоре по физике высоких энергий, завершённом в 2025 году и опубликованном в январе 2026 года, участвовали 127 человек, а 14 кейсов заняли около 400 страниц. Важно не то, что все прогнозы верны. Графики установок сдвигаются, ПО становится эффективнее, появляются новые нагрузки. Ценность в том, что исследователи, сетевые инженеры, вычислительные центры и финансирующие стороны видят одни и те же исходные предположения и имеют запись, которую можно целенаправленно обновлять.

Научный спрос растёт не обязательно непрерывно. Сверхновая может не произойти за время эксперимента, а рабочие процессы ИИ — расшириться быстрее формального цикла обзора. Средний рост трафика полезен для бюджетного планирования, но не заменяет планирование по конкретным случаям. Низкий рост в 4 % за 2024 год сам по себе не должен определять десятилетние инфраструктурные решения.

Обзор требований распределяет и ответственность. Лаборатория не должна считать, что национальная магистраль автоматически исправит слабый кампусный маршрут. ESnet не должна считать, что научная программа обязательно адаптируется после создания ёмкости. Запись зависимостей в общий план делает будущие конфликты конкретными. (Отчёты обзоров требований)

Wireless Edge и QUANT-NET проверяют границы объекта

Национальная оптоволоконная сеть хорошо подключает стационарные объекты, но научные установки не всегда находятся в таких местах. На геотермальных полях, экологических станциях и временных точках наблюдений может не быть подключения оператора, стабильного электропитания или экономичного волоконного маршрута. Wireless Edge от ESnet изучает, как сочетание частных сотовых сетей, Wi-Fi, направленной радиосвязи и спутниковых систем может продлить научные рабочие процессы в такие места.

В июне 2026 года опубликовано описание геотермальных наблюдений в Неваде, где объединили частную сеть 4G в спектре Citizens Broadband Radio Service, дальний Wi-Fi HaLow, обычный Wi-Fi, спутниковый транзит Starlink, направленную радиосвязь и передвижную вышку с автономным питанием. Это решение под условия конкретной площадки, а не общенациональный беспроводной сервис ESnet и не замена дальнему волокну. Рельеф, погода, спектр, электропитание и спутниковый оператор становятся частью сервисного маршрута.

Важный организационный момент: ESnet не заканчивает ответственность на ближайшей волоконной точке. Функция научного взаимодействия рассматривает сбор данных, транзит и передачу по глобальной сети как один рабочий процесс. Поскольку удалённые исследовательские площадки имеют разные физические условия, иногда ценнее подход с настройкой под конкретное место, чем единообразный продукт.

QUANT-NET проверяет другую границу. Финансируемый ASCR проект строит трёхузловой квантовый сетевой тестовый стенд, соединяющий две площадки Berkeley Lab и University of California, Berkeley на расстоянии около 5 км. Среди исследуемых тем — ионные ловушки, связывание фотонов, обмен запутанностью, измерение состояний Белла, жёсткое по времени управление и модульное ПО.

Связь с ESnet прежде всего в управлении и оркестрации. Квантовые эксперименты требуют классической связи, точной синхронизации и координации сложного оборудования. Открытое управляющее ПО повышает воспроизводимость эксперимента и снижает ручную настройку. Тестовый стенд — не производственный квантовый интернет и не средство переноса обычных крупных научных данных через квантовую запутанность.

Wireless Edge и QUANT-NET следует оценивать по тому, чему они учат и что можно переиспользовать. Они не означают, что все пользователи ESnet получат беспроводной доступ или квантовые каналы. Они расширяют исследовательскую функцию ESnet, готовясь к возможности того, что будущим научным сетям понадобятся новые физические среды и способы управления. (Wireless Edge;Исследования квантовых сетей)

American Science Cloud и ESnet7 переносят единицу планирования с площадки на рабочий процесс

Integrated Research Infrastructure и American Science Cloud показывают изменение единицы, в которой Министерство энергетики США рассматривает свои объекты. Научные установки, сети, хранилища данных и суперкомпьютеры стремятся работать не как независимые сервисы, а как федеративная среда для научных данных, ИИ и высокопроизводительных вычислений.

ESnet отвечает за уровень подключения и оркестрации. Данные перемещаются от установок к хранилищам и ускорителям, пользователям и сервисам нужен управляемый доступ. Рабочие процессы должны обнаруживать доступные ресурсы, а телеметрия — показывать, достигается ли научная цель. EJFAT, SENSE, OSCARS, Cloud Connect и High-Touch решают часть этой задачи, но ни одна из них в одиночку не составляет American Science Cloud.

На Confab26 Inder Monga был представлен как заместитель руководителя проекта American Science Cloud, а программа включала демонстрации и планы сети следующего поколения. Это свидетельство продолжающейся институциональной работы, но не доказательство того, что к августу 2026 года общенациональное научное облако было завершено. Политики доступа, перечень подключаемых ресурсов, производственная поддержка и управление продолжали формироваться.

ESnet7 появляется в той же среде планирования. Название реально, проводятся сессии по телеметрии, инспекции пакетов, перемещению данных, ИИ и квантовым сетям. Однако текущее производственное поколение — ESnet6. В предоставленных материалах нет окончательной архитектуры, базовой линии проекта, выбора поставщиков, полного бюджета и даты запуска.

Это различие важно. Название поколения сети влияет на исследовательские приоритеты, отношения с поставщиками и потребности в капитале ещё до установки оборудования. Не следует сообщать о программном проекте как о завершённой магистрали. Наиболее обоснованное понимание: ESnet использует опыт эксплуатации ESnet6 и текущие исследования рабочих процессов, чтобы определить функции седьмого поколения.

Скорость остаётся важной, но программируемость и интеллектуальные возможности могут стать не менее значимыми. Более быстрый канал не сообщает приложению, где есть доступные вычислительные ресурсы, не выявляет микровсплески, не планирует потоки детектора и не доказывает, что межведомственные сервисы корректно освобождены. Стратегический вопрос ESnet7 — насколько глубоко сеть должна понимать и координировать научные рабочие процессы, не превращаясь в неуправляемый центральный контроллер. (Confab26;Прикладные исследования 2024)

Федеральный бюджет финансирует объект, а не корпоративную выручку

ESnet не эксплуатирует магистраль за счёт продажи полосы широкой публике. Основное финансирование поступает из бюджетной статьи ASCR High Performance Network Facilities and Testbeds. В запросе на 2027 финансовый год указано 103 миллиона долларов, что выше 97,261 миллиона долларов, приведённых как утверждённый уровень предыдущего года.

Эта цифра — наиболее полезный публичный показатель масштаба программы, но не отчёт о прибылях и убытках ESnet. Бюджетная статья включает связанные с сетью тестовые стенды, сопровождение ПО, обновление и исследовательскую деятельность. Она не показывает годовые эксплуатационные расходы только производственной магистрали, капитальные затраты по поколениям сети или доходы от подключения каждой площадки.

Государственное финансирование позволяет инвестировать до появления коммерческого спроса. Можно приобретать долгосрочные права на спектр, сопровождать открытое ПО, поддерживать эксперименты с небольшим трафиком, но высокой научной ценностью, и строить резервирование маршрутов выше текущей загрузки. В то же время такая модель зависит от бюджета Конгресса, приоритетов Министерства энергетики США и операционного контракта Berkeley Lab.

Подключение площадки не всегда бесплатно. Site User Cost Policy ESnet допускает возложение расходов, связанных с подключением, на институциональных пользователей в зависимости от спонсорства, права на использование и дополнительных требований. Единица отношений — площадка, а не отдельный исследователь. Отдельным конечным пользователям ESnet не выставляет счета и не регистрирует их.

Без отдельной финансовой отчётности полный финансовый анализ ограничен. Открытая информация не показывает зависимость от всех основных поставщиков, расходы на персонал, амортизацию, реестр активов по маршрутам и годовые капитальные затраты. Называть 103 миллиона долларов «выручкой ESnet» некорректно. Точнее: федеральная программа финансирует широкую статью деятельности, включающую производственный объект, обновление, сопровождение ПО и тестовые стенды.

Структура финансирования влияет и на стратегические решения. Коммерческая сеть может уйти с маршрута, не приносящего доход, а государственный научный объект оценивает национальную миссию, научные возможности, долгосрочную ёмкость и бюджетные ограничения вместе. Можно обосновать инвестиции без немедленной финансовой отдачи, но для этого нужны прозрачная приоритизация и свидетельства из обзоров требований. (Бюджетный запрос ASCR на 2027 ф. г.;ESCC)

Доступность, безопасность маршрутизации и телеметрия создают отдельные обязанности

Отчёт ESnet за 2024 год показал важные результаты по доступности. Все десять площадок Управления науки Министерства энергетики США, входившие в целевые показатели, достигли 100 % доступности сервисов без учёта планового обслуживания. Это был первый год, когда все площадки одновременно превысили требование 99,9 %. Годовой отчёт приводит также цифру 99,99 % для более широкого охвата. Оба показателя полезны, но имеют разную область действия и не означают, что все сервисы, организации и международные маршруты ни разу не отказывали.

Site Resilience Program изучает физические входы подключённых объектов, маршрутизаторы, электропитание и домены отказов. Даже при резервной национальной магистрали лаборатория уязвима, если зависит от одного локального кабельного канала или устройства. Устойчивость не заканчивается на карте магистрали — она должна доходить до зданий и систем передачи данных.

Политика маршрутизации — ещё один уровень контроля. В пиринге ESnet отклоняет маршруты, не прошедшие RPKI, требует актуальных маршрутных записей и предлагает мониторинг перехвата маршрутов и blackholing. Это снижает известные риски, но не делает междоменную маршрутизацию полностью безопасной. Маршруты с верным происхождением всё равно могут быть затронуты утечками или ошибками политики. Blackholing защищает другие системы ценой недоступности целевого адресата.

Автоматизация имеет похожие компромиссы. Стандартизированные конфигурации, инвентаризация и оркестрация уменьшают ручные ошибки и ускоряют восстановление. Но ошибочный шаблон, политика или запись данных может быстро распространиться на несколько устройств. Нужны поэтапное внедрение, независимая проверка, ясный откат или восстановление вперёд и ограничение полномочий одной учётной записи автоматизации.

Эксплуатационные данные требуют той же осторожности. Политика данных объекта ESnet допускает бессрочное хранение информации об использовании маршрутизаторов и NetFlow с репликацией в хранилища на восточном и западном побережьях США. Активные измерения perfSONAR хранятся шесть месяцев на одном диске без резервной копии. Использование маршрутизаторов и traceroute публикуются, доступ к записям потоков и безопасности ограничен.

Это не противоречит тому, что ESnet не отслеживает отдельных конечных пользователей как абонентов. Системы подписки и биллинга отличаются от сетевых метаданных. Даже без индивидуальных договоров метаданные показывают конечные точки, общающиеся организации, время и модели трафика. Высокоточная телеметрия улучшает диагностику и безопасность, но одновременно делает более важными минимизацию данных, контроль доступа, пересмотр сроков хранения и ответственное использование.

Самая сильная модель устойчивости — не заявление о полном отсутствии простоев. Это сочетание физического разнообразия, инженерии площадок, безопасности маршрутизации, измерений, реагирования на инциденты, управления данными и ясности в отношении области действия каждого показателя. (Этап доступности;Политика данных объекта;Пиринговая политика)

Что показывает ESnet

Историю ESnet можно прочитать как череду всё более быстрых сетей: специализированные предшественники, ESnet4, общенациональные 100G в ESnet5, мультитерабитная ESnet6. Но одна эта хронология скоростей упускает важнейшую преемственность. Каждый раз, когда одной полосы пропускания переставало хватать для решения научной задачи, ESnet меняла окружающую архитектуру.

Science Data Network отделила гигантские потоки от обычной связи, OSCARS сделала ёмкость резервируемой. Science DMZ перепроектировала границы организаций, perfSONAR и iperf3 сделали проблемы производительности измеримыми. SENSE связала намерения приложений с несколькими административными доменами, EJFAT встроила глобальные маршруты в контур обработки детектора. Кэширование изменило спрос, трансатлантический спектр усилил контроль над международной ёмкостью.

Организационные полномочия остаются ограниченными и распределёнными. DOE и ASCR задают миссию и финансирование, Berkeley Lab эксплуатирует объект, University of California управляет лабораторией по контракту. Координаторы площадок согласуют изменения, влияющие на их учреждения, международные партнёры управляют своими сетями. Облачные провайдеры, операторы связи, владельцы подводных кабелей и поставщики оборудования контролируют другие элементы, от которых зависит ESnet.

Эта распределённость — не неудобство, которое можно устранить программно. Это само условие существования научной сети. Практический результат ESnet в том, что она создала координацию, достаточную для работы процессов, не делая вид, что один орган владеет всем маршрутом.

И в отношении будущего нужно точно различать зрелость. ESnet7 находится на стадии планирования, SENSE в последнем полном отчёте отнесена к исследовательской стадии, EJFAT — продвинутый прототип или формирующаяся платформа, QUANT-NET — эксперимент, American Science Cloud — строилась. Описывать зрелость с оговорками — не значит преуменьшать техническую ценность.

Долгосрочное значение ESnet — в модели научного пользовательского объекта. Она относится к сети как к научному прибору с требованиями, эксплуатацией, ПО, измерениями, исследованиями и государственным финансированием. Детектор и суперкомпьютер за тысячи километров друг от друга не создадут достаточной совместной ценности, если системы между ними не спроектированы как единый маршрут.

Поэтому главное не в том, является ли ESnet самой быстрой в некоем универсальном рейтинге. В предоставленных материалах нет нейтрального рейтинга, сравнивающего все текущие показатели. Более сильный и практический вывод: ESnet — одна из ведущих научных сетей мира, что подтверждается открытой информацией, а её наибольший вклад в том, что распределённую науку удалось сделать работоспособной на сквозном уровне. (История ESnet;Запуск ESnet6;Годовой отчёт за 2024 год)

Источники