Résumé

  • L’Energy Sciences Network, ou ESnet, est une infrastructure réseau du Bureau de la science du DOE exploitée par le Lawrence Berkeley National Laboratory, et non une société commerciale de télécommunications.
  • ESnet6 relie environ 15 000 miles d’infrastructure en fibre optique avec transport optique, routage, réseaux privés, connexions cloud, outils de mesure et services programmables.
  • Science DMZ, perfSONAR, OSCARS, SENSE et EJFAT montrent que les performances scientifiques dépendent de l’ensemble du chemin entre l’instrument, le stockage, le réseau et le centre de données.
  • L’American Science Cloud et ESnet7 pourraient intégrer plus profondément le réseau dans les flux de travail scientifiques, mais ils en sont à différents stades de planification, de recherche et de maturité.

Un réseau scientifique, pas un fournisseur d’accès Internet grand public

ESnet s’explique le mieux à l’aide d’un jeu de données scientifiques. Un détecteur, un télescope, un microscope ou une simulation produit des informations au sein d’une installation de recherche. Des systèmes d’acquisition les collectent, des serveurs de stockage et de transfert les préparent, et le réseau local les achemine vers un point de jonction contrôlé. De là, une connexion ESnet peut transporter les données à travers les États-Unis, par-delà l’Atlantique, jusqu’à un supercalculateur du DOE, via un réseau partenaire ou vers un cloud commercial.

Ce qui revient est un jeu de données analysé, une alerte, un modèle ou une décision pour la prochaine étape expérimentale.

Aucune organisation ne maîtrise l’intégralité de ce chemin. L’équipe instrumentale, le réseau du laboratoire, le réseau régional de recherche, le fournisseur cloud, le partenaire international et le centre de données peuvent appartenir à différents opérateurs. ESnet fournit la couche étendue orientée mission et collabore avec ces organisations. Un stockage lent, une liaison de campus saturée ou un pare-feu inadapté peuvent rendre inefficace un réseau fédérateur national rapide; inversement, une perturbation au sein d’ESnet peut isoler une installation locale bien conçue du reste du système scientifique.

Institutionnellement, ESnet est clairement identifié. Il s’agit d’une installation utilisateur du Bureau de la science du DOE, principalement financée et supervisée par le programme Advanced Scientific Computing Research, et exploitée par la Division des réseaux scientifiques du Lawrence Berkeley National Laboratory. Le Berkeley Lab est géré pour le compte du ministère de l’Énergie par l’Université de Californie. ESnet n’a ni actionnaires, ni cotation en bourse, ni valorisation d’entreprise indépendante, ni bilan commercial, et doit donc être décrit comme une infrastructure de recherche financée par l’État.

Les chercheurs rencontrent généralement ESnet indirectement, par l’intermédiaire d’un instrument, d’un supercalculateur, d’un service de laboratoire, d’une université ou d’un réseau partenaire. ESnet distingue les utilisateurs institutionnels des utilisateurs finaux et ne tient pas de liste formelle de tous les entités individuels. Les plus de 30 000 utilisateurs institutionnels mentionnés dans le rapport annuel 2024 constituent donc un indicateur institutionnel, et non un nombre exact d’abonnés individuels.

La comparaison avec un opérateur commercial classique est insuffisante. ESnet exploite le transport optique et le routage IP, mais effectue également des analyses des besoins, maintient des logiciels open source, teste de nouveaux services et aide les sites à résoudre les problèmes de bout en bout. Sa véritable valeur est de permettre à des centres géographiquement séparés de fonctionner comme les parties d’une machine scientifique commune. (Gouvernance d’ESnet;Services réseau)

L’histoire a commencé avec des ordinateurs rares et des coupleurs acoustiques

L’histoire officielle remonte au milieu des années 1970, lorsque la puissance de calcul et les communications à distance étaient rares. Au Controlled Thermonuclear Research Computer Center du Lawrence Livermore National Laboratory, des employés ont connecté un Control Data Corporation 6600 emprunté via quatre modems acoustiques. La technologie appartient à une autre époque, mais le problème reste identifiable: une communauté scientifique spécialisée avait besoin d’un accès à distance à un ordinateur trop coûteux pour être reproduit sur chaque site entité.

À la fin des années 1970 et au début des années 1980, différents programmes de recherche du ministère de l’Énergie ont construit leurs propres réseaux. La physique des hautes énergies et la fusion magnétique avaient des installations, des partenaires et des flux de données différents; des systèmes précurseurs comme HEPnet et MFEnet reflétaient ces frontières. Les réseaux spécialisés étaient logiques lorsque les services commerciaux ne pouvaient pas offrir la portée, les performances ou l’attention opérationnelle nécessaires. Cependant, ils entraînaient également une duplication des liaisons, des technologies et des équipes d’exploitation.

La création officielle d’ESnet en 1986 a fusionné ces fonctions. Une installation commune pouvait planifier de manière transversale, exploiter les connexions nationales, coordonner les liaisons internationales et maintenir un personnel spécialisé. La capacité est ainsi passée d’une décision individuelle d’une expérience à une tâche d’infrastructure du ministère.

Le modèle initial contenait déjà des caractéristiques qui persistent aujourd’hui: accès fondé sur la mission scientifique, ressources financées collectivement, planification pluriannuelle, équipes d’exploitation comprenant les implications scientifiques et une demande irrégulière pouvant être temporairement dominée par une seule expérience.

Le Berkeley Lab avait sa propre histoire en matière de réseaux. En 1974, un CDC 6600 y a été connecté à ARPANET; plus tard, des chercheurs ont contribué au contrôle de congestion TCP. Les travaux de Van Jacobson et Mike Karels appartiennent au contexte plus large du laboratoire et ne doivent pas être attribués uniquement à ESnet. La proximité institutionnelle a cependant favorisé une culture dans laquelle le comportement des protocoles, la mesure et les performances étaient considérés comme des problèmes techniques pouvant être étudiés et modifiés.

En 1996, l’exploitation a été transférée au Berkeley Lab, à proximité du National Energy Research Scientific Computing Center, de la recherche sur les réseaux, du développement logiciel et d’autres programmes du ministère de l’Énergie. Cela a donné naissance au modèle actuel, dans lequel l’exploitation de production et la recherche appliquée se déroulent dans le même environnement institutionnel. (Histoire d’ESnet)

Pourquoi le réseau est devenu une installation utilisateur

Une installation utilisateur scientifique regroupe des capacités trop coûteuses, trop spécialisées ou trop étroitement liées pour des groupes de recherche individuels. Un accélérateur de particules, une source de lumière ou un supercalculateur phare suit cette logique. ESnet l’applique aux communications. La fibre longue distance et le spectre, l’optique, les routeurs, la capacité internationale, l’exploitation continue, la cybersécurité, la mesure et le conseil technique sont fournis collectivement.

La nature de la demande scientifique explique le financement public. Un opérateur commercial peut vendre une liaison rapide, mais concevra rarement son architecture nationale autour d’un détecteur qui ne démarrera que des années plus tard, d’une possible explosion de supernova ou d’un flux de travail à faible volume commercial mais de grande valeur publique. ESnet peut investir avant une demande mesurable, car l’objectif est la capacité scientifique, et non le revenu à court terme.

Des examens formels des besoins déterminent la demande future. Les programmes de recherche décrivent les instruments, les volumes de données, les emplacements de stockage, les objectifs de calcul, les contraintes de temps, les partenaires et les goulets d’étranglement locaux sur un horizon de cinq à dix ans. Cela peut conduire à des connexions de site plus importantes, des chemins physiques supplémentaires, une capacité transatlantique, de nouveaux logiciels d’orchestration ou des modifications de l’architecture de données locale.

Ce processus est moins visible qu’une nouvelle liaison optique, mais peut être plus déterminant. Le spectre sur un câble sous-marin, une deuxième entrée de bâtiment ou un nouveau routeur peut nécessiter des années de financement, d’approvisionnement et de construction. Si ESnet attendait qu’une expérience produise tout son volume de données, une question d’infrastructure prévisible deviendrait une urgence.

Les examens ne rendent pas les prévisions certaines. Les instruments prennent du retard, les logiciels de réduction de données s’améliorent, l’utilisation du cloud augmente et les flux de travail scientifiques sont repensés. ESnet utilise donc les résultats comme une fourchette d’exigences possibles et décide où des capacités de réserve, une architecture flexible ou des investissements progressifs sont justifiés.

L’accès reste institutionnel. Selon le parrainage et les surcoûts, les sites peuvent supporter une partie de leurs coûts de connexion. Les chercheurs individuels ne paient ni par gigaoctet ni ne souscrivent de contrat personnel avec ESnet. L’absence de facturation directe ne signifie pas la gratuité: la fibre, l’électricité, les équipements, le personnel, la colocalisation et la réparation sont financés par des budgets publics ou des contributions des sites.

La réussite se mesure différemment de celle d’un opérateur commercial. ESnet doit équilibrer disponibilité, demande future, accès scientifique, résilience et recherche. Parce que ces décisions impliquent des fonds publics et des actifs durables, elles nécessitent des hypothèses documentées et des résultats vérifiables. (Gouvernance;ESCC)

Le Berkeley Lab exploite le système, le DOE définit la mission

La chaîne institutionnelle va du ministère de l’Énergie au Bureau de la science, puis à l’Advanced Scientific Computing Research, au Berkeley Lab et à sa Division des réseaux scientifiques. L’Université de Californie gère le laboratoire par contrat. Le mandat fédéral et le financement sont ainsi séparés de l’exploitation quotidienne du réseau.

Inder Monga est directeur exécutif d’ESnet et directeur de la Division des réseaux scientifiques. Chin Guok est directeur de la technologie et dirige la planification et l’innovation; Adam Slagell est responsable de la sécurité en chef; Jon-Paul Herron dirige l’ingénierie réseau; Susan Lucas est directrice adjointe des opérations commerciales. L’organisation comprend des spécialistes en optique, routage, ingénierie de site, systèmes, logiciels, sécurité, mesure, automatisation, projets et engagement scientifique.

La largeur de cette structure corrige l’image d’un réseau national comme simple collection de fibres et de routeurs. ESnet doit acquérir du spectre, exploiter BGP, construire la télémétrie, maintenir des outils open source, examiner le comportement des paquets, gérer les justificatifs de sécurité et traduire les plans scientifiques en infrastructure concrète. L’organisation est à la fois opérateur et environnement de développement.

Les sites exercent une influence par l’intermédiaire de l’ESnet Site Coordinators Committee. Chaque institution désigne une personne habilitée à approuver les modifications de sa connexion ESnet et à transmettre les exigences locales. Il s’agit d’une gouvernance institutionnelle des utilisateurs, et non d’un vote direct de tous les chercheurs dont les données transitent par ESnet.

Les sources publiques ne concordent pas totalement sur une fonction de programme. La page de gouvernance actuelle mentionne Benjamin Brown comme responsable de programme ASCR compétent, tandis que des documents récents d’examen des besoins désignent Carol Hawk comme responsable de programme ESnet. La présentation fiable retient cette incertitude, plutôt que d’inventer une responsabilité exclusive actuelle.

ESnet n’est ni une agence autonome, ni un réseau purement technocratique. Les contrats, le budget fédéral, la direction du laboratoire et la coordination des sites limitent le pouvoir technique. Dans le même temps, la responsabilité devient plus difficile lorsqu’un flux de travail traverse plusieurs institutions dont aucune ne contrôle le chemin complet. (Direction d’ESnet;Gouvernance)

ESnet4 a séparé le trafic ordinaire des flux scientifiques exceptionnellement volumineux

Au milieu des années 2000, le Large Hadron Collider et d’autres expériences distribuées généraient des transferts qui ne s’intégraient pas bien dans un réseau IP uniforme et à usage général. ESnet4 a donc combiné un cœur IP avec le Science Data Network, qui utilisait plusieurs liaisons optiques à 10 Gbps et des fonctionnalités de circuits dynamiques.

La science ne devait pas abandonner IP. Il fallait plutôt quelques très gros flux de données ayant besoin de ressources différentes du trafic général. Les communications ordinaires restaient routées, tandis que les mouvements de données planifiés pouvaient emprunter des chemins réservés à haute capacité. Des anneaux métropolitains et la collaboration avec Internet2 reliaient les laboratoires et les points de présence.

Cette architecture a donné à OSCARS un contexte de production. La bande passante et les ressources VLAN pouvaient être réservées par logiciel et supprimées à l’expiration, au lieu d’être configurées exclusivement manuellement. Le réseau a commencé à rendre les ressources disponibles par programmation.

La séparation a augmenté la charge d’équipement et d’exploitation et n’a pas éliminé les problèmes de stockage local ou de campus. Elle a cependant montré que des modèles de trafic différents peuvent nécessiter des mécanismes différents, tandis que le chemin complet doit rester observable. (Architecture ESnet4)

Science DMZ a déplacé le goulot d’étranglement à la périphérie de l’institution

Avec un réseau fédérateur plus rapide, les faiblesses locales sont devenues plus visibles. Un WAN à 100 Gbps ne sert à rien si les données traversent un pare-feu d’entreprise ordinaire, si un serveur lit trop lentement ou si une interface perd des paquets. ESnet et ses partenaires ont développé Science DMZ précisément pour traiter ce goulot d’étranglement de bout en bout.

Le modèle place des nœuds de transfert de données performants sur un chemin contrôlé près de la périphérie institutionnelle. La sécurité peut utiliser des listes de contrôle d’accès des routeurs, le durcissement des hôtes, la détection d’intrusion, l’analyse de flux et des services restreints, plutôt que de forcer les transferts volumineux à passer par le même pare-feu à états que les applications bureautiques. perfSONAR fournit des mesures continues du débit, de la latence, de la perte de paquets et des changements de chemin.

Science DMZ n’est pas un réseau sans protection. Les contrôles sont adaptés à des systèmes spécialisés, qui nécessitent toujours correctifs, surveillance, gestion des identités et responsabilité locale. Supprimer un équipement inadapté du chemin de données ne supprime pas la tâche de sécurité.

Les nœuds de transfert de données eux-mêmes doivent être appropriés. Les cartes réseau, l’allocation CPU, la mémoire, les tampons TCP, les disques et les systèmes de fichiers parallèles déterminent si une liaison longue distance atteint ses performances prévues. Les recommandations Fasterdata d’ESnet et le conseil technique traduisent ces détails en procédures reproductibles.

Le modèle s’est répandu au-delà du ministère de l’Énergie. ESnet peut être cité comme développeur et promoteur majeur, mais n’exploite ni ne possède chaque mise en œuvre. Les performances et la protection dépendent de la manière dont une institution intègre le stockage, les nœuds de transfert, la sécurité et le réseau local.

Science DMZ a aussi transformé le diagnostic. La distance seule n’explique plus les mauvaises performances; le terminal, l’interface, le périmètre et le WAN doivent être mesurés ensemble. Un seul maillon faible peut déterminer les performances de toute la chaîne. (Science DMZ)

ESnet5 a apporté le 100 Gbps continental en production

L’American Recovery and Reinvestment Act a alloué 62 millions de dollars à l’Advanced Networking Initiative et a soutenu un prototype longue distance à 100 Gbps ainsi que la transition vers ESnet5. Le réseau est entré en production fin 2012, avec des droits spectraux sur un domaine national de fibre optique et en étroite collaboration avec Internet2.

Le ministère de l’Énergie et ESnet l’ont alors qualifié de réseau scientifique le plus rapide du monde. En tant qu’affirmation historique concernant un déploiement précoce de 100G à l’échelle continentale, cela peut être utilisé. Ce n’est pas un classement neutre pour 2026, car plusieurs réseaux de recherche utilisent le 400G et les définitions de la vitesse d’interface, de la capacité de dorsale et du spectre optique varient.

L’investissement allait au-delà des routeurs. Les droits spectraux ont donné à ESnet plus de contrôle sur les futures évolutions que des achats répétés de liaisons clés en main. Ils ont toutefois lié le programme à long terme à des itinéraires, des installations et des fournisseurs spécifiques.

ESnet5 a fourni une capacité supplémentaire et a de nouveau rendu visibles les goulets d’étranglement locaux. Un site avait besoin de connexions appropriées, d’une Science DMZ, d’un stockage rapide et de puissance de calcul réceptive. La vitesse plus élevée a donc accru la valeur de perfSONAR et de l’ingénierie de bout en bout.

La contribution durable a été de faire passer le 100G d’une démonstration technique à une infrastructure scientifique exploitée. Parallèlement, ESnet5 a préparé les bases optiques, opérationnelles et logicielles d’ESnet6. (Lancement du 100G d’ESnet5)

ESnet6 est un système optique, à commutation de paquets et piloté par logiciel

Le projet ESnet6 a officiellement débuté en 2017 et s’est achevé en 2022, après environ six ans de conception et de construction. Le lancement public a eu lieu le 11 octobre 2022. Le Berkeley Lab a alors annoncé une capacité agrégée de plus de 46 Tbps sur environ 15 000 miles d’infrastructure de fibre optique dédiée, avec des liaisons de dorsale comprises entre 400 Gbps et 1 Tbps. Dans le rapport annuel 2024, la valeur agrégée est passée à 57 Tbps, tandis que certaines liaisons de dorsale atteignaient jusqu’à 1,2 Tbps.

Ces chiffres proviennent d’années différentes et décrivent un système en croissance. Ils ne représentent pas non plus l’intégralité de l’architecture. ESnet6 comprend les droits en fibre et en spectre, les systèmes de ligne optique et les amplificateurs, les routeurs de cœur et de service, la télémétrie programmable, l’automatisation, les réseaux privés, les circuits à la demande, l’interconnexion cloud et Internet, la mesure des performances et les contrôles de sécurité.

La couche optique transporte plusieurs longueurs d’onde et peut agréger plusieurs liaisons paquets. Une liaison annoncée à 1,2 Tbps n’est donc pas nécessairement une interface Ethernet unique entièrement mise à disposition d’un site. La capacité utilisable dépend des canaux, des mécanismes de protection, de l’itinéraire, des équipements et de la politique.

ESnet6 a été construit comme un réseau piloté par logiciel, et non comme une version plus rapide d’ESnet5. L’automatisation configure les services et maintient les équipements dans un état plus cohérent. La télémétrie aide au diagnostic, tandis que des crochets de recherche et des fonctionnalités de banc d’essai permettent des expériences dans des limites de production définies.

La nouvelle couche logicielle réduit le travail manuel, mais étend aussi la portée d’une erreur. Un modèle, une politique de routage ou une information d’inventaire erronés peuvent se propager à de nombreux équipements. Une automatisation sécurisée nécessite donc un déploiement progressif, une validation indépendante, des droits limités et des procédures de reprise documentées.

Une génération de réseau renouvelle donc simultanément l’optique, le niveau paquet, le logiciel, l’exploitation et les hypothèses de capacité. La qualité se manifeste dans la migration, la disponibilité et le service scientifique, et pas seulement dans le chiffre le plus élevé publié. (Lancement d’ESnet6;Rapport annuel 2024)

Ce que signifient 57 Tbps — et ce qu’ils ne signifient pas

Le rapport annuel 2024 fait état d’environ 15 000 miles d’infrastructure de fibre optique, 78 emplacements de routeurs, 278 emplacements d’amplificateurs optiques, des liaisons de dorsale de 400 Gbps à 1,2 Tbps et 57 Tbps de capacité agrégée. S’y ajoutent 2,7 Tbps de capacité transatlantique et sept sites américains avec des connexions d’au moins 400G.

ESnet reliait les 17 laboratoires nationaux du ministère de l’Énergie et comptait 28 installations utilisateur du DOE, 277 relations avec des réseaux de recherche, commerciaux et autres dans cinq pays, plus de 30 000 utilisateurs institutionnels ainsi que 137 employés et contractuels dans 24 États. Ces chiffres décrivent des populations différentes et ne doivent pas être additionnés en un nombre de clients. Routeurs, installations, réseaux partenaires, utilisateurs institutionnels et effectif sont des indicateurs distincts.

La capacité agrégée additionne des ressources distribuées et ne constitue pas un débit de chemin unique. Les connexions de site physiques sont proposées à 10, 100 ou 400 Gbps. Une liaison de dorsale peut se composer de plusieurs canaux ou interfaces. Le trafic réel est à tout moment inférieur à la capacité construite et n’est pas réparti uniformément.

En 2024, ESnet a transporté 1,77 exaoctet, contre 1,7 exaoctet en 2023, soit une augmentation de quatre pour cent. Depuis 1989, ESnet calcule une croissance historique moyenne d’environ 55 pour cent par an. Une seule année faible est significative, mais ne prouve pas que les futurs instruments, l’intelligence artificielle ou les événements rares nécessiteront moins de capacité.

Le trafic est de plus concentré. Selon le rapport annuel, environ la moitié concernait les activités du Large Hadron Collider. Fermilab était le plus gros émetteur externe avec 136 pétaoctets, NERSC le plus gros récepteur interne au ministère de l’Énergie avec 75,3 pétaoctets, et Oak Ridge le plus gros émetteur interne avec 58,3 pétaoctets. Ces chiffres indiquent des charges de travail importantes, mais ne traduisent pas toute la valeur scientifique.

« Fibre optique dédiée » ne prouve pas la propriété juridique de chaque câble. L’infrastructure peut inclure de la fibre noire, du spectre, des services activés, de l’infrastructure d’opérateur et des chemins partenaires. ESnet contrôle des droits dédiés sur des itinéraires clés, tandis que la propriété et la responsabilité des réparations varient selon l’itinéraire.

Le chiffre de 57 Tbps décrit la taille du système, pas son impact scientifique. Celui-ci dépend de ce que le transport, le routage, le réseau du site, le stockage, la puissance de calcul et l’application fonctionnent comme un flux de travail complet. (ESnet en chiffres)

AS293 route pour une mission, pas pour le marché grand public

Le système autonome public d’ESnet est AS293. Il échange des routes avec les sites du DOE, les réseaux de recherche, les réseaux commerciaux et les fournisseurs de transit payants, et oriente sa politique vers l’accessibilité scientifique, la résilience et une interconnexion contrôlée.

La politique de peering exige BGP, des enregistrements à jour dans l’Internet Routing Registry et dans PeeringDB, ainsi que des pratiques de sécurité de routage alignées sur MANRS. ESnet rejette le routage invalide RPKI et exige IPv6 ou double pile pour les nouvelles sessions; les nouveaux peerings IPv4 seuls sont exclus.

L’interconnexion directe privée commence à 100G, le 400G étant nettement privilégié. Ce seuil reflète les flux de données scientifiques volumineux et la charge opérationnelle d’une relation privée. ESnet n’a pas besoin de peerer directement avec tous les réseaux, mais recherche des connexions qui améliorent les chemins scientifiques, réduisent la dépendance au transit ou connectent des partenaires clés.

Les communautés BGP publiées distinguent les sites ESnet, les réseaux de recherche et d’éducation et les réseaux commerciaux. Les sites peuvent en tirer leur propre politique, mais les réseaux en aval ne sont pas obligés d’interpréter ces marquages de la même manière.

Hurricane Electric et Lumen fournissent du transit public payant vers des destinations non atteintes efficacement par le peering ou les relations de recherche. Cela complète la portée sans faire d’ESnet un fournisseur d’accès Internet pour particuliers.

RPKI empêche une classe d’annonces invalides, mais pas toutes les fuites de routes ou les mauvaises configurations. La surveillance des détournements et le blackholing soutiennent la réaction; le blackholing protège d’autres systèmes en rendant le préfixe attaqué intentionnellement inaccessible. (Politique de peering)

Connexions physiques, réseaux privés et chemins cloud

ESnet offre un accès physique à 10, 100 ou 400 Gbps. À proximité d’un point de présence, une connexion directe est possible; les sites éloignés peuvent utiliser une rampe d’accès de service, où de la fibre noire ou un circuit activé est acheté auprès d’un opérateur. Cette dépendance locale envers un opérateur peut devenir le principal risque de performance ou de panne du chemin complet.

Le niveau 3 IP fournit le routage IPv4 et IPv6. Un VPN de niveau 3 crée des environnements IP et BGP logiquement séparés pour les programmes multisites. Les VPN de niveau 2 offrent de l’Ethernet point à point ou multipoint, statique ou via OSCARS. Les expériences, les installations et les clouds peuvent ainsi obtenir des chemins privés contrôlés.

Les services privés ne signifient pas nécessairement une isolation physique. L’isolation logique dépend des instances de routage, des labels, des contrôles d’accès et des pratiques d’exploitation sur une plateforme partagée. Des erreurs sur cette plateforme peuvent affecter plusieurs services.

Cloud Connect fournit des connexions privées vers AWS, Microsoft Azure, Google Cloud et Oracle. Un tel chemin évite une partie de l’Internet public et peut offrir plus de contrôle sur l’itinéraire. Il n’élimine cependant pas une mauvaise configuration cloud, une panne du fournisseur, les coûts de sortie, les limitations régionales, les questions d’identité ou la dépendance vis-à-vis d’un fournisseur.

Le portfolio comprend également un DNS secondaire, des services de temps, la surveillance des détournements de route et le blackholing. Chaque service traite des risques spécifiques, mais ne remplace pas une architecture locale performante. Un chemin privé ne rend pas le stockage plus rapide, et une connexion sécurisée ne sécurise pas automatiquement un compte cloud mal configuré.

La valeur naît de la combinaison de l’accès physique, du routage, de l’isolation logique, de l’interconnexion et de l’assistance opérationnelle. Le terminal et le réseau du site restent sous responsabilité locale. (Menu des services réseau)

OSCARS rend la capacité réservable

Le trafic Internet général utilise la capacité disponible à l’instant. Certains transferts scientifiques sont planifiés, volumineux et perdent une valeur considérable en cas de retard. OSCARS permet aux utilisateurs et applications autorisés de réserver des ressources réseau pour une période définie.

Une réservation peut inclure les points de terminaison, l’heure de début et de fin, la bande passante, les informations VLAN, les itinéraires exclus et d’autres conditions. Le système vérifie la topologie et les réservations existantes, trouve un chemin approprié, installe la configuration nécessaire et la supprime à l’expiration.

L’automatisation transforme une coordination manuelle de plusieurs jours en un service qu’un flux de travail scientifique peut demander. Le réseau devient une ressource planifiable, aux côtés du stockage et du temps de calcul.

OSCARS est un logiciel de production open source et a été déployé ou testé en dehors d’ESnet. Certaines pages publiques contiennent toutefois des informations historiques, de sorte que toutes les organisations mentionnées ne doivent pas être considérées comme des installations actuelles et identiques.

Une réservation ne garantit pas le débit applicatif. Un stockage lent, des pertes de paquets locales, un paramétrage système inadapté ou un nombre insuffisant de flux parallèles peuvent empêcher d’atteindre le débit réservé. La politique doit en outre régler la priorité, la préemption, les conflits et les réservations inutilisées.

OSCARS montre comment ESnet a traduit une pratique opérationnelle en infrastructure reproductible. Le logiciel automatise le provisionnement, tandis que l’autorisation et l’allocation des ressources restent des décisions institutionnelles. (OSCARS)

SENSE tente de coordonner conjointement le réseau et les systèmes terminaux

Un circuit réservé ne sert à rien si le stockage, le service de transfert ou la ressource de calcul sont absents. SENSE décrit les réseaux et les systèmes terminaux comme des ressources qu’une application peut découvrir et négocier à travers plusieurs domaines administratifs.

Un flux de travail formule le résultat souhaité, par exemple le transfert d’un jeu de données entre deux sites à un débit donné. SENSE collecte les modèles des ressources concernées, provisionne les chemins et les transferts, observe la télémétrie et libère ensuite les ressources. Chaque organisation conserve sa propre politique, son identité et son autorité.

Lors du LHC Data Challenge 2024, un flux de travail SENSE a maintenu 330 Gbps entre Caltech et l’Université de Californie à San Diego. Il s’agit d’une démonstration concrète en direct, d’une ampleur significative. Le rapport annuel 2024 décrivait néanmoins SENSE comme un projet de recherche, et non comme un service de production universel.

OSCARS réserve des ressources à l’intérieur d’un domaine de service connu. SENSE tente de coordonner un résultat entre plusieurs propriétaires et types de ressources. La deuxième tâche offre potentiellement plus de valeur scientifique, mais accroît le risque de défaillances partielles, de conflits de modèles, de problèmes d’autorisation et de désynchronisation temporelle.

Si un flux de travail déclaré n’atteint pas ses performances, la cause peut provenir du réseau, du système de stockage, d’un justificatif d’identité, d’un modèle de ressource ou de l’application. L’orchestration n’a de valeur opérationnelle que lorsque sa télémétrie montre quelle partie de l’état convenu n’a pas été satisfaite.

La maturité de production doit donc être mesurée par un usage répété, une responsabilité de support claire, la reprise et l’adoption multi-domaine, et pas seulement par le débit de démonstration le plus élevé. (SENSE;Recherche appliquée 2024)

EJFAT apporte les données d’événements directement à la ressource de calcul distante

Le flux traditionnel écrit les données scientifiques dans des fichiers, les stocke et les transfère ultérieurement. C’est robuste, mais cela retarde le retour d’information et exige une capacité locale pour les pics de charge. EJFAT distribue des événements encapsulés en UDP depuis l’instrument vers des nœuds de calcul disponibles, y compris dans des centres de calcul intensif éloignés.

Une carte réseau intelligente (SmartNIC) basée sur un FPGA lit l’ID d’événement et envoie tous les fragments du même événement vers un même nœud de calcul. La commande ajuste la distribution en fonction des nœuds de calcul disponibles. Cette liaison d’événement distingue EJFAT d’un simple répartiteur de charge qui distribuerait des paquets sans connaître leur appartenance scientifique.

En avril 2024, les données du Jefferson Lab en Virginie ont été diffusées à 100 Gbps vers Perlmutter en Californie et traitées sans mise en cache intermédiaire sur disque. Des tests ultérieurs ont utilisé environ 20 000 cœurs dans plusieurs centres, selon ESnet. Ce sont des résultats spécifiques, pas une garantie pour tous les instruments.

Le cas publié en juillet 2026 pour le Facility for Rare Isotope Beams a diffusé des données brutes à environ 5–6 Gbps. Un volume de 615 Go généré sur quinze heures a été traité sur huit nœuds Perlmutter en vingt minutes avec de l’inférence par apprentissage automatique. Le gain de temps scientifique a été plus important que le débit de pointe.

Ce modèle permet de mutualiser la puissance de calcul nationale, mais rend l’expérience immédiatement dépendante du réseau, du FPGA, de la sécurité et de l’allocation HPC. Une panne peut non seulement retarder un transfert de fichier ultérieur, mais compromettre le retour d’information pendant une mesure en cours.

EJFAT est un prototype avancé, voire une plateforme émergente, et non un service standard pour tous les utilisateurs d’ESnet. Une adoption plus large nécessite l’intégration des instruments, du support, des modèles de sécurité et un comportement clair en cas de perte de paquets. (EJFAT;Résultat FRIB)

High-Touch, perfSONAR et iperf3 rendent le chemin visible

Un réseau à haute performance peut tomber en panne sans paraître saturé dans des graphiques moyens. Une micro-rafale peut remplir une file d’attente, des paquets peuvent arriver dans le désordre, une perte peut ne se produire que dans un sens, ou un chemin peut changer entre deux tests.

High-Touch utilise du matériel programmable pour une télémétrie paquet et flux plus fine que les échantillonnages traditionnels. En 2024, le système a aidé à examiner le débit du LHC, le réordonnancement des paquets sur le chemin de Rubin et des événements de sécurité. La granularité supplémentaire a un coût en mémoire, calcul et protection d’accès, et crée des questions de respect de la vie privée.

perfSONAR mesure de manière distribuée le débit, la latence, la perte et le comportement du chemin. ESnet est partenaire fondateur, exploite plus de 30 sites et faisait partie en 2024 d’un réseau mondial déclaré de plus de 2 000 points de mesure. L’architecture distribuée aide à identifier le segment où une dégradation commence.

iperf3 génère du trafic TCP, UDP ou SCTP sur IPv4 ou IPv6. ESnet maintient l’outil et a rapporté des tests de plus de 150 Gbps sur des chemins de 200G dans certaines conditions. Un test synthétique ne représente ni le stockage ni l’application, mais fournit une base contrôlée pour séparer les problèmes de réseau et de terminal.

Ces trois approches répondent à des questions différentes. High-Touch examine le trafic de production avec une granularité fine, perfSONAR mesure les chemins entre institutions, et iperf3 teste la capacité de transport des hôtes et du réseau. Ensemble, ils empêchent que chaque opérateur ne déclare son propre segment en bonne santé alors que le flux de travail scientifique reste lent. (Outils de performance;Innovations opérationnelles 2024)

Parfois, moins de trafic est la meilleure mise à niveau de capacité

Les jeux de données scientifiques populaires sont sollicités à plusieurs reprises dans la même région. Cinq caches régionaux étudiés en 2024 ont réduit le trafic WAN de 33 To par jour en moyenne, servi les deux tiers des requêtes localement et atteint un taux de succès de cache moyen de 94 pour cent.

L’effet était variable: 69,3 pour cent de réduction WAN en Californie du Sud, 48,4 pour cent à Chicago et 6,6 pour cent à Boston. La popularité des données, la géographie des utilisateurs, la taille du stockage et la politique d’éviction déterminent l’utilité d’un site.

La mise en cache déplace la question de « À quelle vitesse la dorsale peut-elle aller? » vers « Quelles données doivent vraiment traverser la dorsale? ». Une copie locale peut réduire la latence et le trafic, et rester disponible en cas de panne distante. Un cache avec des données peu réutilisées consomme en revanche du stockage et des efforts opérationnels sans bénéfice comparable.

Cette approche rapproche le réseau de la gouvernance des données. Il faut décider ce qui peut être copié, comment garantir la fraîcheur, qui a accès et comment supprimer le contenu erroné ou obsolète.

L’étude ne garantit pas un taux de succès de cache de 94 pour cent pour toutes les communautés scientifiques et ne remplace pas de la capacité supplémentaire pour des flux de données uniques en direct. Elle montre cependant que le placement des données et l’architecture réseau peuvent être conçus ensemble. (Recherche appliquée 2024)

La science transatlantique a besoin de diversité physique, pas seulement de capacité

La mission américaine d’ESnet implique une obligation internationale. Selon le rapport annuel 2024, environ la moitié du trafic concernait le Large Hadron Collider. Une défaillance entre l’Europe et l’Amérique du Nord peut donc frapper une charge scientifique centrale, même si tous les routeurs nationaux fonctionnent.

Entre 2024 et début 2025, la capacité transatlantique déclarée est passée d’environ 700 Gbps à 2,7 Tbps. ESnet a signé avec Aqua Comms un contrat de 15 ans pour 25 % d’une paire de fibres entre New York, Dublin et Londres, et partage avec GÉANT la capacité et les coûts sur plusieurs systèmes de câbles. L’objectif est d’au moins 3,2 Tbps sur quatre chemins physiquement distincts, avec un potentiel de croissance supérieur à 10 Tbps.

Deux circuits logiques peuvent partager le même câble, la même station d’atterrissement ou le même conduit terrestre et tomber en panne ensemble. Les réparations sous-marines peuvent nécessiter des autorisations, un navire, des conditions météorologiques favorables et des semaines, voire des mois. ESnet planifie pour trois pannes de câble simultanées; une seule route de secours ne suffit donc pas.

Les droits spectraux à long terme donnent à ESnet plus de contrôle sur les évolutions, mais lient le programme à des systèmes et partenaires spécifiques. ESnet peut concevoir la diversité sans posséder ni réparer lui-même chaque câble.

La collaboration avec GÉANT est une coopération entre réseaux indépendants, et non un opérateur mondial unifié. Les deux organisations peuvent partager les coûts et la capacité, tout en restant responsables de leur propre infrastructure et de leurs obligations institutionnelles. La performance de bout en bout exige donc des transferts transparents, une mesure conjointe et une réponse coordonnée aux pannes. (Jalon transatlantique;Rapport annuel 2024)

La demande scientifique combine charge permanente, rafales rares et échéances strictes

Le Large Hadron Collider produit en continu d’importants flux de données entre le CERN, les laboratoires nationaux et les universités. L’exploitation à haute luminosité devrait augmenter les données des détecteurs, la simulation et la réplication. Le réseau doit supporter cette charge en fonctionnement normal tout en maintenant des itinéraires alternatifs pour les pannes de câble ou de site.

L’Observatoire Vera C. Rubin impose une contrainte temporelle. Une image d’environ 13 Go doit parvenir environ toutes les trente secondes du Chili au SLAC, afin de générer des alertes sur des événements astronomiques transitoires. ESnet vise un délai de moins de sept secondes sur environ 12 000 miles. Le chemin inclut des réseaux partenaires en Amérique du Sud et sur des segments internationaux qu’ESnet ne contrôle pas seul.

DUNE prévoit une rafale exceptionnelle. Lors d’une supernova, jusqu’à 600 To pourraient devoir être déplacés en 100 secondes, tandis que le programme devrait produire environ 900 Po sur vingt ans. Ce sont des exigences futures, et non le trafic normal d’aujourd’hui. Un événement astronomique rare ne peut pas attendre l’acquisition de capacité supplémentaire.

La recherche sur la fusion associe distance internationale et long horizon temporel. En mai 2026, 176 To de données ITER ont été transférées de Marseille au DIII-D à San Diego à près de 80 Gbps. ITER était encore en construction; le test montrait une préparation, pas un fonctionnement normal à pleine charge. Les documents de planification indiquent environ 2 Po par jour et au moins 200 Gbps pour certains flux de travail futurs.

FRIB, Jefferson Lab, les sources de lumière et les microscopes électroniques nécessitent parfois une analyse pendant l’acquisition des données. Des ressources de calcul distantes et de l’inférence par apprentissage automatique peuvent fournir un retour pendant le temps de mesure précieux. Les sciences du climat et de la Terre ajoutent des simulations à grande échelle et des capteurs de terrain.

Une valeur moyenne ne décrit pas ces modèles. ESnet doit prendre en charge une charge permanente, des rafales rares, une collaboration internationale, une diffusion en direct et des échéances strictes à l’intérieur de la même infrastructure publique. (Étude de cas Rubin;Étude de cas DUNE;Examens des besoins)

Les examens des besoins traduisent les plans de recherche en architecture réseau

ESnet ne peut pas attendre le premier jeu de données avant d’acquérir de la fibre, des routeurs ou de la capacité sous-marine. Les programmes de recherche décrivent sur un horizon de cinq à dix ans les instruments, les volumes, le stockage, les objectifs de calcul, les échéances, les partenaires, l’utilisation du cloud et la résilience. Les équipes d’ingénierie examinent ensuite le flux de travail complet.

L’examen est une forme de co-conception. Une demande de 200 Gbps peut révéler un stockage lent, une seule entrée de bâtiment ou un pare-feu inadapté. Le résultat peut être une nouvelle connexion de site, une Science DMZ, un câble supplémentaire, un logiciel d’orchestration ou une modification de l’instrument.

L’examen de la physique des hautes énergies, achevé en 2025 et publié en janvier 2026, a réuni 127 contributeurs et 14 études de cas dans un rapport d’environ 400 pages. Il ne garantit pas toutes les prévisions, mais crée une base commune lorsque les calendriers et les technologies évoluent.

La demande scientifique n’est pas lisse. Un événement rare ou un nouveau flux de travail d’IA peut être plus important que la croissance de l’année précédente. Les examens des besoins réduisent les surprises et montrent ce que le programme, le site, le centre de calcul et ESnet doivent chacun préparer.

Le processus répartit également les responsabilités. Un laboratoire ne peut pas supposer que la dorsale nationale compensera un réseau de campus inadapté. Réciproquement, ESnet ne peut pas supposer qu’un site fournira automatiquement les systèmes de stockage nécessaires après une extension de la dorsale. La planification documentée rend ces dépendances visibles. (Rapports d’examen)

Wireless Edge et QUANT-NET testent les limites de l’établissement

Les instruments de terrain ne disposent pas toujours de fibre optique, de couverture mobile commerciale ou d’une alimentation électrique sécurisée. Wireless Edge combine les technologies selon le site. Une installation géothermique au Nevada, publiée en juin 2026, utilisait de la 4G privée dans le spectre CBRS, du Wi-Fi HaLow, du Wi-Fi ordinaire, Starlink, des faisceaux hertziens et un mât mobile autoalimenté.

Il s’agissait d’une solution pour un site, et non d’un service national ESnet ou d’un substitut à la fibre. Le terrain, la météo, les fréquences, l’énergie et le fournisseur satellite limitent le résultat. L’essentiel est qu’ESnet a traité la collecte de données, le backhaul et le WAN comme un chemin scientifique unifié, plutôt que de limiter sa responsabilité au point de raccordement fixe le plus proche.

QUANT-NET construit un banc d’essai à trois nœuds entre le Berkeley Lab et deux sites de l’Université de Californie à Berkeley, sur environ cinq kilomètres. Il inclut des pièges à ions, des photons, un échange d’intrication, des mesures de Bell, une coordination temporelle critique et un logiciel de contrôle modulaire.

Le rôle d’ESnet se situe principalement dans le contrôle classique et l’orchestration. Un système nécessitant un réglage manuel pour chaque expérience est difficile à exploiter comme installation partagée. Un logiciel de contrôle ouvert peut rendre les expériences plus reproductibles et améliorer la coordination de dispositifs hétérogènes.

Le projet n’est pas un Internet quantique en production et ne transporte pas de données de recherche classiques volumineuses par intrication. Wireless Edge et QUANT-NET doivent être jugés sur les connaissances réutilisables, les logiciels et les procédés techniques, et non sur une couverture universelle. (Wireless Edge;Recherche quantique)

American Science Cloud et ESnet7 déplacent la planification des sites vers les flux de travail

L’infrastructure de recherche intégrée et l’American Science Cloud visent à connecter les instruments, les données, le stockage, l’intelligence artificielle et le calcul intensif dans un environnement fédéré. ESnet fournit le transport et une partie de l’orchestration; EJFAT, SENSE, OSCARS, Cloud Connect et High-Touch résolvent chacun des sous-problèmes, mais ne forment pas à eux seuls le système complet.

À Confab26, Inder Monga a été désigné comme chef de projet adjoint de l’American Science Cloud, et le programme comprenait des démonstrations ainsi que des sessions sur ESnet7. Cela témoigne d’un travail institutionnel en cours, et non d’un cloud scientifique universel achevé. Les règles d’accès, l’identité, l’inventaire des ressources, le support et la responsabilité des données étaient encore en cours de développement.

ESnet7 est en planification, tandis qu’ESnet6 reste le réseau de production actuel. Les documents disponibles ne mentionnent pas d’architecture définitive, de financement complet, de choix de fournisseur, de date de lancement ou de planification de migration.

La prochaine génération devrait mettre l’accent sur la télémétrie, l’intelligence, l’inspection des paquets et la coordination, au-delà de la vitesse. Une liaison plus rapide ne peut pas indiquer à une application où la puissance de calcul est disponible, expliquer une micro-rafale ou prouver qu’un service interdomaine s’est terminé correctement.

La question de gouvernance est donc de savoir quelle part d’un flux de travail scientifique doit être comprise et pilotée par le réseau, sans créer un contrôleur central trop puissant et trop complexe. La possibilité technique d’orchestrer doit rester liée à une autorité limitée et à une responsabilité claire. (Confab26;Recherche appliquée)

Le financement fédéral soutient l’installation, mais n’est pas un chiffre d’affaires d’entreprise

ESnet est principalement financé par l’activité ASCR « High Performance Network Facilities and Testbeds ». La demande budgétaire pour l’exercice 2027 proposait 103 millions de dollars, contre 97,261 millions dans la colonne des crédits précédemment accordés.

La ligne budgétaire est le meilleur indicateur public de l’ordre de grandeur, mais elle couvre également les bancs d’essai, la maintenance logicielle, la recherche et les mises à niveau. Ce n’est ni un compte de résultat pour ESnet, ni un chiffrage exact des coûts annuels de la dorsale de production.

Le financement public permet d’acquérir du spectre à long terme, de maintenir des logiciels open source et de déployer de la capacité avant la demande commerciale. Il rend également le programme dépendant des décisions du Congrès, des priorités du DOE et du contrat d’exploitation du Berkeley Lab.

La politique de coût des utilisateurs de site peut répercuter les frais de connexion sur les institutions en fonction du parrainage et des surcoûts; les chercheurs individuels ne sont pas facturés. Qualifier les 103 millions de dollars de « chiffre d’affaires d’ESnet » serait donc inexact.

L’absence de comptes autonomes limite l’analyse financière. Les documents publics ne montrent pas de concentration complète des fournisseurs, de plan d’amortissement, de comptabilité analytique par site ou de dépenses d’investissement annuelles pour ESnet seul. L’affirmation solide est qu’un programme fédéral finance la production, le renouvellement, la maintenance logicielle et la recherche au sein d’une activité budgétaire plus large. (Budget ASCR exercice 2027;ESCC)

Disponibilité, sécurité du routage et télémétrie créent leurs propres obligations

En 2024, les dix sites du Bureau de la science inclus dans un indicateur spécifique ont atteint 100 % de disponibilité hors maintenance planifiée. Le rapport mentionnait également 99,99 % pour une mesure plus large. Les portées sont différentes et ne signifient pas zéro panne pour tous les services, sites et chemins internationaux.

Le programme de résilience des sites examine les entrées de bâtiment, les routeurs, l’alimentation électrique et les domaines de défaillance partagés. Une dorsale redondante ne sert à rien si un laboratoire n’a qu’un seul chemin de câble, une seule salle ou une seule source d’alimentation.

RPKI, la surveillance des détournements, le blackholing et l’automatisation réduisent les risques, mais ne peuvent les éliminer. Un modèle erroné peut se propager rapidement, et une fuite de route peut utiliser une origine valide. Un déploiement progressif, une validation indépendante et des procédures de reprise restent indispensables.

La politique de données autorise la conservation illimitée de l’utilisation des routeurs et de NetFlow, répliquée sur les côtes est et ouest. Les mesures actives perfSONAR sont conservées six mois sur un seul disque sans sauvegarde. Les métadonnées peuvent révéler des points de terminaison, des institutions et des schémas temporels, bien qu’ESnet ne tienne pas de registre individuel des abonnés.

Ces affirmations ne sont pas contradictoires. ESnet n’a pas de relation personnelle d’adhésion ou de facturation avec chaque utilisateur final, mais peut néanmoins traiter des métadonnées techniques sur les connexions et les flux de données.

Une visibilité accrue améliore l’exploitation et la sécurité, mais renforce aussi les exigences de minimisation des données, de contrôle d’accès, de limitation des finalités et de révision de la conservation. High-Touch amplifie à la fois l’utilité diagnostique et la sensibilité des informations collectées. (Jalon de disponibilité;Politique de données;Peering)

Ce que représente ESnet

La chronologie des vitesses est réelle: réseaux précurseurs, ESnet4, ESnet5 à 100G et ESnet6 à l’échelle du multi-Terabit. Plus important encore, l’organisation a modifié son architecture dès que la bande passante seule ne pouvait plus résoudre un problème scientifique.

Le Science Data Network a séparé les flux de données exceptionnels du trafic général. OSCARS a rendu la capacité réservable. Science DMZ a repensé la périphérie institutionnelle. perfSONAR et iperf3 ont fourni des mesures vérifiables. SENSE a coordonné plusieurs domaines, tandis qu’EJFAT a intégré le WAN dans la boucle du détecteur. La mise en cache a réduit la demande, et le spectre sous-marin a accru le contrôle de la croissance internationale.

L’autorité reste distribuée. Le DOE et l’ASCR financent et définissent la mission. Le Berkeley Lab exploite le système. L’Université de Californie fournit le cadre contractuel institutionnel. Les sites approuvent les modifications locales, tandis que les réseaux partenaires, les opérateurs, les fournisseurs de cloud et les constructeurs contrôlent d’autres parties. La performance naît de la coordination, et non de la propriété du chemin complet.

La maturité future doit être qualifiée avec la même précision. ESnet7 est en planification, SENSE était décrit comme de la recherche dans le dernier rapport complet, EJFAT est une plateforme émergente, QUANT-NET est expérimental et l’American Science Cloud n’était pas achevée. Le matériel disponible ne contient aucun classement indépendant confirmant qu’ESnet est le réseau scientifique le plus rapide du monde selon toutes les métriques actuelles.

La conclusion solide est plus utile qu’un superlatif. ESnet fait partie des réseaux scientifiques les plus performants documentés publiquement, parce qu’il rend la science distribuée opérationnelle de bout en bout. Sa valeur à long terme se mesurera à sa capacité à connecter de nouveaux instruments, centres de calcul et partenaires en flux de travail robustes, sans que le contrôle et la responsabilité ne disparaissent dans une couche centrale opaque.

Sources