Zusammenfassung

  • ESnet ist eine vom Lawrence Berkeley National Laboratory betriebene wissenschaftliche Nutzereinrichtung des US-Energieministeriums und kein kommerzieller Netzbetreiber oder eigenständiges Unternehmen.
  • ESnet6 kombiniert etwa 15.000 Meilen dedizierte Glasfaser, optische und Paketsysteme, private Dienste, Zusammenschaltung, Messung und programmierbare Steuerung; die Kapazitätsangabe von 57 Tbit/s ist ein aggregierter Wert und keine Nutzergeschwindigkeit.
  • Science DMZ, perfSONAR, OSCARS, SENSE, High-Touch und EJFAT zeigen, dass ESnets besonderer Beitrag in der durchgängigen technischen Umsetzung liegt, vom Instrument und Campus-Rand bis zum entfernten Rechnen.
  • Die Planung von ESnet7 und American Science Cloud deutet auf ein Netzwerk hin, das tiefer in wissenschaftliche Arbeitsabläufe eingebettet ist, doch mehrere Komponenten bleiben Demonstrationen, Forschungssysteme oder sich entwickelnde Dienste.

Ein wissenschaftliches Netzwerk wird Teil des Experiments

Im April 2024 durchquerten Daten des Jefferson Lab in Virginia die Vereinigten Staaten zum Perlmutter-Supercomputer in Kalifornien mit 100 Gbit/s und wurden verarbeitet, ohne zuvor auf die Festplatte geschrieben zu werden. Die Demonstration nutzte das experimentelle EJFAT-System von ESnet, um das Weitverkehrsnetz in den wissenschaftlichen Arbeitsablauf einzubinden, anstatt es nachzuschalten.

Diese Verschiebung greift die zentrale Frage auf, vor der ESnet steht: Kann ein Netzwerk Instrumente, Speicher und entfernte Rechenleistung so eng verbinden, dass sich Tausende Kilometer voneinander getrennte Einrichtungen wie Teile einer Maschine verhalten?

Ein typischer Pfad beginnt mit einem Detektor, Teleskop, Mikroskop oder einer Simulation in einem Labor oder einer Forschungseinrichtung. Lokale Erfassungssysteme sammeln die Daten, Speicher- und Transfer-Server bereiten sie auf, und ein Campus-Netz transportiert sie zu einer kontrollierten Peripherie. ESnet kann den Datenverkehr dann quer durch die Vereinigten Staaten, über den Atlantik, in einen Supercomputer des Energieministeriums, über einen Forschungs- und Bildungspartner oder in eine kommerzielle Cloud leiten.

Das Ergebnis kann als analysierter Datensatz, eine Warnung, ein Modell oder eine Entscheidung über den nächsten Schritt des Experiments zurückkommen.

Keine einzelne Organisation kontrolliert diesen gesamten Pfad. Instrumententeams, Labornetze, regionale Forschungsnetze, Cloud-Anbieter, internationale Partner und Supercomputing-Einrichtungen können alle verschiedenen Institutionen unterstehen. ESnet betreibt die missionsorientierte Weitverkehrsebene und arbeitet mit diesen Akteuren zusammen, damit der Pfad als System funktioniert. Ein langsamer Speicherserver, eine überlastete Campus-Verbindung oder eine ungeeignete Firewall können die Kapazität eines leistungsfähigen nationalen Backbones zunichte machen; ein Fehler in ESnet kann eine gut konzipierte lokale Einrichtung unterbrechen.

Institutionell ist ESnet eine Nutzereinrichtung des Office of Science des US-Energieministeriums. Advanced Scientific Computing Research obliegt die hauptsächliche Verwaltung und Haushaltsaufsicht, und die Scientific Networking Division des Lawrence Berkeley National Laboratory (Berkeley Lab) betreibt die Einrichtung. Das Berkeley Lab selbst wird im Auftrag des Energieministeriums von der University of California unter Vertrag gemanagt.

ESnet hat keine identifizierten Aktionäre, Aktien, Unternehmensbewertung oder eigenständige kommerzielle Bilanz; es ist daher eher als föderale wissenschaftliche Infrastruktur zu verstehen denn als Netzbetreiber mit öffentlichem Kundenstamm.

Forschende begegnen ESnet in der Regel indirekt über ein Instrument, einen Supercomputer, einen Labordienst, eine Universitätsanbindung oder ein kooperierendes Netzwerk. Die Einrichtung unterscheidet zwischen institutionellen Standortnutzern und Endpunktnutzern und gibt an, dass sie keine einzelnen Endpunktnutzer formell registriert oder verfolgt. Die im Jahresbericht 2024 genannte Zahl von mehr als 30.000 organisatorischen Nutzern ist daher eine institutionelle Kennzahl und keine Abonnentenzahl.

Gewöhnliche Betreibervergleiche erfassen nur einen Teil der Rolle. ESnet betreibt Routing, optischen Transport und Zusammenschaltung, führt aber auch Anforderungsüberprüfungen durch, entwickelt Open-Source-Tools, testet neue Dienste und hilft Standorten, die durchgängige Leistung zu diagnostizieren. Sein öffentlicher Zweck besteht nicht darin, eine Verbindung zu verkaufen. Es geht darum, geografisch verteilte wissenschaftliche Einrichtungen mit genügend Geschwindigkeit, Evidenz und betrieblicher Klarheit zusammenarbeiten zu lassen, um die Forschung selbst zu unterstützen. (ESnet-Governance;Netzwerkdienste)

Fernrechnen schuf den Bedarf für ein gemeinsames Wissenschaftsnetz

ESnets offizielle Geschichte reicht bis in die Mitte der 1970er Jahre zurück, als Rechenkapazität und Fernkommunikation beide knapp waren. Im Controlled Thermonuclear Research Computer Center des Lawrence Livermore National Laboratory schlossen Mitarbeiter eine geliehene Control Data Corporation 6600 über vier Akustikkoppler an. Die Geräte und Geschwindigkeiten gehören einer anderen Ära an, doch das Betriebsproblem ist wiedererkennbar: Eine spezialisierte wissenschaftliche Gemeinschaft benötigte Fernzugang zu teurer Rechenleistung, die nicht an jeder beteiligten Einrichtung nachgebildet werden konnte.

Verschiedene Forschungsgemeinschaften des Energieministeriums entwickelten Ende der 1970er und Anfang der 1980er Jahre eigene Netzwerke. Hochenergiephysik und Magnetfusionsforschung hatten unterschiedliche Einrichtungen, Kollaborateure und Datenströme, und Vorgängersysteme wie HEPnet und MFEnet spiegelten diese Grenzen wider. Zweckgebundene Vernetzung war sinnvoll, solange kommerzielle Dienste nicht die erforderliche Reichweite, Leistung oder betriebliche Aufmerksamkeit bieten konnten. Sie erzeugte aber auch Dopplungen.

Jedes Programm konnte eigenständig Leitungen verhandeln, Technik betreiben und Expertise aufbauen, wodurch Zusammenarbeit und langfristige Modernisierung fragmentiert blieben.

Die formelle Gründung von ESnet im Jahr 1986 bündelte diese Funktionen in einem breiteren Wissenschaftsnetz. Der Wandel war ebenso organisatorisch wie technisch. Eine gemeinsame Einrichtung konnte programmübergreifend die Nachfrage prognostizieren, nationale Verbindungen betreiben, internationale Anbindungen koordinieren und Fachpersonal halten. Sie konnte außerdem Kapazität von einem Einzelprojekt in einen ministeriumsweiten Infrastrukturplan überführen.

Das frühe Modell prägte mehrere bis heute sichtbare Eigenschaften. Nutzende waren durch den wissenschaftlichen Auftrag definiert, nicht durch einen Endkundenmarkt. Zentrale Rechner und Instrumente rechtfertigten gemeinsame öffentliche Investitionen. Der Netzausbau folgte Forschungsprogrammen mit langen Zeitachsen. Der Betrieb erforderte Personal, das sowohl Kommunikationssysteme als auch die wissenschaftlichen Folgen von Ausfällen verstand. Die Nachfrage trat ungleichmäßig auf, weil bereits ein Experiment den Datenverkehr weit über das normale Maß hinaus steigern konnte.

Das Berkeley Lab hatte seine eigene Netzwerkgeschichte. Es schloss 1974 eine CDC 6600 an das ARPANET an, und Forschende dort trugen später grundlegende Arbeiten zur TCP-Staukontrolle bei. Die Arbeiten von Van Jacobson und Mike Karels gehören zum weiteren Umfeld des Berkeley Lab und sollten nicht allein ESnet zugerechnet werden. Die institutionelle Überlappung ist dennoch bedeutsam. Sie brachte produktiven wissenschaftlichen Netzbetrieb in die Nähe von Forschenden, die Protokollverhalten, Messung und Leistung als technische Probleme behandelten, die untersucht werden konnten, statt sie als feste Bedingungen hinzunehmen.

Der Betrieb zog 1996 zum Berkeley Lab um. Dieser Schritt etablierte den heutigen Standort neben dem National Energy Research Scientific Computing Center, Netzwerkforschenden, Softwareingenieurinnen und anderen Programmen des Energieministeriums. Er festigte auch eine Kultur, in der eine Produktionseinrichtung und eine angewandte Forschungsorganisation Personal, Labore und technische Fragestellungen teilen. (ESnet-Geschichte)

Öffentliche Förderung ermöglicht ESnet den Ausbau, bevor die Nachfrage eintrifft

Eine wissenschaftliche Nutzereinrichtung existiert, weil manche Fähigkeiten zu teuer, zu spezialisiert oder zu stark vernetzt sind, als dass jedes Forschungsteam sie allein aufbauen könnte. Ein Teilchenbeschleuniger, eine Lichtquelle oder ein Leitsupercomputer folgen dieser Logik. ESnet wendet sie auf die Kommunikation an. Fernstrecken-Glasfaserrechte, optische Ausrüstung, Router, internationale Kapazität, Dauerbetrieb, Cybersicherheit, Leistungsmessung und technische Unterstützung werden in einer Einrichtung gebündelt, die vielen Programmen dient.

Die Begründung für die öffentliche Finanzierung folgt aus der Gestalt der wissenschaftlichen Nachfrage. Ein kommerzieller Anbieter kann eine Hochkapazitätsleitung verkaufen, richtet seine nationale Architektur aber normalerweise nicht an einem Detektor aus, der erst Jahre später in Betrieb gehen soll, an einem Supernova-Ausbruch, der während der Vertragslaufzeit möglicherweise nie stattfindet, oder an einem Forschungsworkflow, der kaum Endkundenvolumen, aber hohen öffentlichen Wert hat. ESnet kann vor der gemessenen Nutzung ausbauen, weil sein Auftrag die wissenschaftliche Leistungsfähigkeit ist und nicht der kurzfristige Netzumsatz.

Das Einrichtungsmodell verändert auch, wie Nachfrage ermittelt wird. ESnet führt formelle Anforderungsüberprüfungen mit den Wissenschaftsprogrammen des Energieministeriums durch. Forschende und Einrichtungsteams beschreiben Instrumente, Datenvolumen, Speicherorte, Rechenziele, Zeitanforderungen, Kollaborationsmuster und lokale Engpässe mit einem Horizont von fünf bis zehn Jahren. Diese Erkenntnisse werden zu Eingangsgrößen für die Größe von Standortverbindungen, Routendiversität, transatlantische Beschaffung, Orchestrierungsforschung und Dienstgestaltung.

Dieser Prozess ist weniger glamourös als eine neue kohärent-optische Verbindung, könnte aber folgenreicher sein. Eine Vereinbarung über U-Boot-Spektrum, der Kauf eines Routers oder ein zweiter Standortzugang können Jahre der Finanzierung und Bereitstellung beanspruchen. Zu warten, bis ein Experiment Daten produziert, würde vorhersehbare Infrastrukturbedarfe in Notfälle verwandeln. Anforderungsüberprüfungen übersetzen wissenschaftliche Pläne in technischen Vorlauf.

Sie legen auch Unsicherheit offen. Prognosen können sich ändern. Instrumenten-Zeitpläne verschieben sich, Datenreduktionssoftware verbessert sich, die Cloud-Nutzung weitet sich aus, und eine Einrichtung kann ihren Workflow umgestalten. ESnet behandelt eine Fallstudie nicht als garantierte Verkehrszusage. Es nutzt die Evidenz, um eine Spanne von Anforderungen zu konstruieren, und entscheidet dann, wo Flexibilität, Reservekapazität oder gestaffelte Einführung gerechtfertigt sind.

Das Nutzereinrichtungsmodell vermeidet eine Abrechnung pro Gigabyte für einzelne Wissenschaftler. Der Kernbetrieb ist föderal finanziert, während einige standortbezogene Anschlusskosten je nach Programmsponsoring und der Site User Cost Policy zugeordnet werden können. Diese Regelung ist nicht frei von Anreizen. Ein sponserndes Programm mag niedrigere Anschlusskosten bevorzugen; ESnet mag Kapazität und Resilienz bevorzugen, die mehreren Programmen dienen; ein Standort mag lokale Modernisierungen aufschieben, die für die Nutzung des nationalen Netzes nötig sind. Die Governance-Aufgabe besteht darin, diese Entscheidungen an wissenschaftlichen Ergebnissen auszurichten, anstatt daran, wer Kosten auf eine andere Budgetlinie verschieben kann. (ESnet Site Coordinators Committee und Kostenrichtlinie;Berichte zu Anforderungsüberprüfungen)

DOE gibt die Mission vor; Berkeley Lab betreibt das Netz

ESnet hat nicht die Unternehmenshierarchie eines Netzbetreibers. Seine Befugnis ist über eine föderale Programmkette verteilt. Das Office of Science des Energieministeriums definiert die Mission. Advanced Scientific Computing Research (ASCR) ist für die hauptsächliche Verwaltung und Haushaltsaufsicht zuständig. Berkeley Lab beherbergt die Scientific Networking Division, die die Einrichtung entwirft, betreibt und weiterentwickelt. Die University of California betreibt das Berkeley Lab im Auftrag des Ministeriums unter Vertrag. Angeschlossene Einrichtungen beteiligen sich über Standortkoordinierende und das ESnet Site Coordinators Committee.

Inder Monga fungiert als Executive Director von ESnet und leitet die Scientific Networking Division des Berkeley Lab. Die gegenwärtige öffentliche Führung nennt außerdem Chin Guok als Chief Technology Officer und Leiter von Planning and Innovation, Adam Slagell als Chief Security Officer, Jon-Paul Herron als Director of Network Engineering und Susan Lucas als Deputy of Business Operations. Darunter liegen Funktionen für optische Technik, Routing, Standortengineering, Netzbetrieb, Software, Messung, Orchestrierung, Sicherheit, Projektmanagement und Wissenschaftsengagement.

Die Breite dieser Struktur korrigiert ein verbreitetes Bild eines nationalen Netzes als Sammlung von Glasfaser und Routern. ESnet braucht Menschen, die Spektrum beschaffen, BGP betreiben, Telemetriesysteme bauen, Open-Source-Software pflegen, Paketverhalten untersuchen, Einrichtungen planen, Sicherheitsnachweise verwalten und wissenschaftliche Anforderungen in Netzentwürfe übersetzen können. Die Organisation ist zugleich betrieblich und entwickelnd.

Öffentliche Unterlagen enthalten ein ungeklärtes Detail des Programmmanagements. ESnets aktuelle Governance-Seite nennt Benjamin Brown als den zuständigen ASCR-Programmmanager, während jüngste Materialien zu Anforderungsüberprüfungen Carol Hawk als ESnet-Programmmanagerin bezeichnen. Die Evidenz erlaubt die Aussage, dass öffentliche Quellen nicht abgeglichen wurden oder dass sich Zuständigkeiten geändert oder aufgeteilt wurden. Sie erlaubt nicht, ohne weitere Bestätigung eine einzige aktuelle Regelung als ausschließlich zu benennen.

Das ESnet Site Coordinators Committee gibt angeschlossenen Einrichtungen einen formellen Betriebskanal. Jeder Standort benennt einen Koordinierenden, der Anträge mit Bezug zu seiner ESnet-Verbindung genehmigen, Anforderungen mitteilen und an Politik- oder Planungsdiskussionen teilnehmen kann. Dies ist institutionelle Nutzer-Governance, keine direkte Abstimmung jedes Wissenschaftlers, dessen Daten das Netz durchqueren.

Diese Struktur schafft eine praktische Zuweisung von Verantwortung. ESnet kontrolliert sein Backbone und seine Dienste. Ein angeschlossener Standort kontrolliert seine Campus-Geräte, Datentransferknoten, lokale Sicherheit und Stromversorgung. ASCR kontrolliert die Programmmittel. Wissenschaftsprogramme definieren die Konsequenzen von Verzögerung oder Ausfall. Internationale Partner kontrollieren ihre eigenen Netze. Der gesamte Workflow gelingt nur, wenn diese getrennten Entscheidungsebenen aufeinander abgestimmt bleiben. (ESnet-Führung;Governance)

ESnet4 trennte Routineverkehr von außergewöhnlichen Wissenschaftsflüssen

Mitte der 2000er Jahre veränderten verteilte Experimente das Verkehrsprofil. Der Large Hadron Collider sollte Daten am CERN erzeugen und über eine globale Hierarchie von Laboren und Rechenzentren verteilen. Allgemeine Internetanbindung blieb notwendig, aber eine kleine Zahl wissenschaftlicher Transfers konnte so groß werden, dass sie gewöhnliche Verbindungen dominierte. Ein einziges undifferenziertes Netz für beide Muster zu bauen, erschwerte Kapazitätsmanagement und Dienstgarantien.

ESnet4 begegnete diesem Problem mit einer hybriden Architektur. Ein IP-Core trug die allgemeine wissenschaftliche Kommunikation. Ein separates Science Data Network nutzte optische Hochkapazitätsleitungen für große Datenströme und unterstützte dynamische Pfadbereitstellung. Metropolitanringe verbanden große Labore, während die Zusammenarbeit mit Internet2 und internationalen Partnern das System über die Standorte des Energieministeriums hinaus erweiterte.

Die Architektur trennte den Verkehr nach Betriebsanforderung, nicht nach einer einfachen „langsam“-„schnell“-Unterscheidung. Allgemeiner IP-Dienst benötigt breite Erreichbarkeit und resilientes Routing. Ein geplanter Multi-Terabyte-Transfer kann von einem reservierten Layer-2-Pfad mit bekannter Startzeit, Bandbreitenzuteilung und Endpunkten profitieren. Das Wissenschaftsdatennetz erkannte an, dass eine kleine Zahl vorhersehbarer, hochwertiger Datenströme ein anderes Kontrollmodell rechtfertigen kann als die gewöhnliche Paketvermittlung.

Aus diesem Umfeld entstand OSCARS. Das On-demand Secure Circuits and Advance Reservation System erlaubte autorisierten Nutzenden oder Anwendungen, Netzressourcen für einen definierten Zeitraum anzufordern. Das System musste einen Pfad finden, Topologie und Richtlinienbeschränkungen prüfen, Bandbreite und VLAN-Ressourcen reservieren, Gerätezustand erzeugen und diesen Zustand nach Ablauf der Reservierung entfernen. Es verwandelte eine zuvor manuell koordinierte Aufgabe in einen Dienst, den Software anfordern konnte.

ESnet4 zeigte auch, dass rohe Geschwindigkeit nicht mehr der einzige Engpass war. Eine reservierte Leitung kann Kapazität auf dem Weitverkehrsnetz schützen, doch die Anwendung kann immer noch langsam laufen, weil ein Speichersystem nicht schnell genug lesen kann oder eine lokale Firewall Pakete verwirft. Diese Erkenntnis führte direkt zur Science-DMZ-Architektur und durchgängigen Messungen.

Die Periode begründete ein wiederkehrendes ESnet-Entwurfsmuster. Ein wissenschaftliches Problem erscheint zunächst als Verkehrsanforderung. Die Einrichtung schafft dann physische Kapazität, einen Steuermechanismus und eine Betriebsmethode darum herum. Wenn sich die Methode als nützlich erweist, verbreiten sich Software und Architekturleitfäden über das ursprüngliche Experiment hinaus. (ESnet4- und ESnet5-Hintergrundmaterial;OSCARS)

Science DMZ zeigte, dass der Engpass oft am Rand sitzt

Ein nationaler Backbone kann korrekt arbeiten, während ein Wissenschaftler schlechte Transferleistung erfährt. Der Grund ist einfach: Der Backbone ist nur ein Segment des Pfades. Enterprise-Firewalls, geteilte Campus-Cores, alte Router, leistungsschwache Server, Paketverlust und Speicherbegrenzungen können eine Hochkapazitätsstrecke auf einen Bruchteil ihrer technischen Rate reduzieren.

Science DMZ ist ESnets Antwort auf diese durchgängige Realität. Die Architektur platziert Datentransferknoten auf einem leistungsfähigen Pfad nahe einer kontrollierten institutionellen Peripherie. Die Sicherheitsrichtlinie ist auf die begrenzten Dienste zugeschnitten, die diese Systeme offenlegen, statt dauerhaften wissenschaftlichen Verkehr durch eine zustandsbehaftete Allzweck-Firewall zu zwingen, die für viele Arten von Unternehmensanwendungen ausgelegt ist.

Die Bezeichnung kann als Aufforderung missverstanden werden, Sicherheit zu entfernen. Eine Science DMZ stützt sich weiterhin auf gehärtete Hosts, Zugriffskontrolllisten der Router, Überwachung, Schwachstellenmanagement, begrenzte Anwendungsoffenlegung und Betriebsdisziplin. Das Design ändert, wo und wie Kontrollen angewendet werden. Es vermeidet, ein Gerät mit ungeeignetem Durchsatz oder Sitzungsverhalten in den Hauptdatenpfad zu setzen, nur weil diese Appliance Teil des gewöhnlichen Sicherheitsmusters der Einrichtung ist.

Leistungsmessung ist Teil der Architektur, kein optionales Dashboard. perfSONAR-Knoten führen kontrollierte Tests zu Durchsatz, Paketverlust, Latenz und Pfadänderungen durch. Wenn zwei Standorte bei einem Transfer uneins sind, können Messungen helfen, festzustellen, ob das Problem an einem Host, einer lokalen Verbindung, einem Regionalnetz, dem ESnet-Backbone oder einem internationalen Partner beginnt. Ohne solche Evidenz kann jeder Betreiber melden, dass sein eigenes Segment gesund aussieht, während die forschende Person noch immer keine Daten bewegen kann.

Datentransferknoten benötigen ihr eigenes Engineering. Netzwerkkarten, CPU-Platzierung, Arbeitsspeicher, Festplatten oder parallele Dateisysteme, TCP-Puffer und Transfersoftware bestimmen alle den erreichbaren Durchsatz. ESnets Fasterdata-Leitfaden und technische Beratung machen diese Details zu wiederholbarer Praxis. Der Ansatz hat sich weit über die Laboratorien des Energieministeriums hinaus verbreitet, aber ESnet betreibt nicht jede Bereitstellung, die den Namen trägt.

Science DMZ wurde einflussreich, weil es eine Beschaffungsfrage in eine Systemfrage umdeutete. Eine schnellere Leitung zu kaufen, löst keinen Pfad, der anderswo begrenzt ist. Die sinnvolle Leistungseinheit ist der gesamte Workflow von Speicher zu Speicher oder von Instrument zu Rechnen, wobei jede administrative Domäne gemessen und mit einer klaren Verantwortung versehen wird. (Science-DMZ-Leitfaden;Netzwerk-Performance-Tools)

ESnet5 machte kontinentales 100G zu einem Produktionsdienst

Der nächste große Kapazitätssprung wurde durch die Advanced Networking Initiative und US-Konjunkturfördermittel unterstützt. ESnet erhielt 62 Millionen Dollar durch den American Recovery and Reinvestment Act, um einen 100-Gbit/s-Prototyp für Fernstrecken zu entwickeln und den Übergang zu ESnet5 zu unterstützen. Die Investition umfasste mehr als neue Router. ESnet erhielt Nutzungsrechte an Spektralkapazität über ein nationales Glasfaser-Footprint, was dem Programm größere Kontrolle darüber gab, wie Wellenlängen eingesetzt und modernisiert werden können.

ESnet5 ging Ende 2012 in Produktion. Damals bezeichneten DOE und ESnet es als das schnellste Wissenschaftsnetz der Welt. Diese historische Behauptung war an eine erste kontinentale 100G-Bereitstellung gebunden. Sie sollte nicht als unqualifiziertes globales Ranking für 2026 wiederholt werden. Forschungsnetze berichten Kapazität heute mit unterschiedlichen Metriken – individuellen Schnittstellengeschwindigkeiten, aggregierter Backbone-Kapazität, optischem Spektrum und experimentellen Versuchen. In den vorliegenden Belegen gibt es keinen neutralen aktuellen Vergleich, der einen universellen Sieger kürte.

Die wirtschaftliche Wirkung von 100G war größer als ein zehnfaches Interface-Upgrade. Wissenschaftsprojekte konnten um planbare Fernübertragungen herum planen, die zuvor Verbindungen viel länger belegt hätten. Laboratorien konnten einen Teil ihrer Rechen- oder Speicherkapazität zentralisieren, anstatt sie lokal nachzubilden. Internationale Kollaborationen erhielten einen leistungsfähigeren US-Backbone. Die neue Kapazität legte auch schneller lokale Engpässe offen und steigerte den Wert von Science DMZ und perfSONAR.

ESnet5 behielt die hybride Beziehung zwischen Paketdienst und dedizierten wissenschaftlichen Pfaden bei. Es vertiefte auch die Bedeutung der Automatisierung. Im 100G-Maßstab konnte die Reservierung von Kapazität, die Fehlerdiagnose und die Aufrechterhaltung eines konsistenten Dienstes über ein nationales Footprint nicht allein von Ad-hoc-Gerätekonfiguration abhängen.

Das Vorhaben zeigt, wie öffentliche Infrastrukturinvestitionen wissenschaftliche Optionen verändern, bevor ein einzelnes Experiment das volle Netz nutzt. Kapazität schafft eine Reserve für künftige Instrumente, aber Reservekapazität ist nicht in dem Sinne Verschwendung wie ein ungenutztes Einzelhandelsprodukt. Ihr Wert umfasst die Vermeidung verzögerter Experimente, das Auffangen von Ausfällen und die Möglichkeit, neue Workflows zu testen, ohne auf einen weiteren Bauzyklus warten zu müssen.

Die Investition muss dennoch am wissenschaftlichen Nutzen gemessen werden, und das Design muss anpassbar bleiben, wenn sich Prognosen ändern. ESnets spätere Arbeiten zu Telemetrie, Caching und Orchestrierung spiegeln das Bemühen wider, mehr wissenschaftlichen Wert aus jedem installierten Bit zu gewinnen, statt kontinuierliche physische Expansion als einzige Antwort zu betrachten. (Historische Ankündigung zu ESnet5)

ESnet6 vereint optische Kapazität mit programmierbarer Steuerung

Das ESnet6-Projekt begann 2017 und erreichte am 11. Oktober 2022 nach etwa sechs Jahren Entwurfs- und Bauzeit den öffentlichen Start. Berkeley Lab berichtete zum Start von mehr als 46 Tbit/s aggregierter Kapazität über ein dediziertes Footprint von etwa 15.000 Meilen, mit Backbone-Verbindungen von 400 Gbit/s bis 1 Tbit/s. Der Jahresbericht 2024 nannte später 57 Tbit/s und eine Verbindungsreichweite bis zu 1,2 Tbit/s. Diese Zahlen beziehen sich auf verschiedene Zeitpunkte und ein wachsendes System, nicht auf widersprüchliche Definitionen eines eingefrorenen Netzes.

Die physische Ebene umfasst Fernstrecken-Glasfaserpfade, optische Liniensysteme, Verstärker, Spektrumsrechte, Colocation-Einrichtungen und lokale Anbindungen. Der Bericht 2024 zählte 278 optische Verstärkerstandorte. Kohärentoptik trägt mehrere hochratige Kanäle über eine Faser, während Verstärker und rekonfigurierbare optische Geräte Signalpegel aufrechterhalten und Wellenlängen routen. Ein auf einer Karte gezeigter Pfad kann über Dark Fibre, Spektrum, gemanagten Dienst oder eine Partnervereinbarung kontrolliert werden. Die Beschreibung von 15.000 Meilen besagt nicht, dass das DOE das Eigentumrecht an jedem Kabel hält.

Oberhalb der optischen Ebene stellen Router und Dienstkanten IP, private Routing-Umgebungen, Layer-2-Dienste, Peering und Cloud-Anbindung bereit. Der Jahresbericht zählte 78 Routerstandorte. Einzelne Standorte können je nach Anforderung mit 10, 100 oder 400 Gbit/s angebunden werden, während Backbone-Verbindungen mehrere Schnittstellen oder Wellenlängen zu höheren Werten aggregieren können.

Die Softwareebene unterscheidet ESnet6 von einem reinen Kapazitätsupgrade. Automatisierung hält Geräte- und Dienstzustände aufrecht. Programmierbare Telemetrie liefert Betreibern detailliertere Evidenz. OSCARS stellt reservierte Pfade bereit. SENSE experimentiert mit anwendungsgetriebener Koordination über Domänen hinweg. High-Touch nutzt programmierbare Hardware für reichhaltigere Paket- und Flusstransparenz. APIs und Testbed-Hooks erlauben erfolgreicher Forschung den Übergang zum Betrieb.

Der Bau legte auch größeren Wert auf Resilienz. Diverse Routen, mehrere Standortzugänge, unabhängige Stromversorgung, alternative Router und hochverfügbare Dienststandorte verringern die Wahrscheinlichkeit, dass ein einzelner Ausfall ein Labor vom nationalen System abschneidet. Diese Schutzmaßnahmen haben unterschiedliche Reichweiten. Ein redundanter Backbone hilft nicht, wenn beide lokalen Leitungen einen Kabelkanal teilen, und ein zweiter Router schafft keine Resilienz, wenn beide Geräte vom selben Stromsystem abhängen.

ESnet6 sollte daher als vielschichtige Einrichtung gelesen werden. Glasfaser schafft die physische Reichweite. Optik schafft Kapazität. Router schaffen Paket- und private Dienste. Software schafft Wiederholbarkeit und Programmierbarkeit. Messung stellt fest, ob der versprochene Pfad funktioniert. Organisatorische Vereinbarungen ermöglichen es, Grenzen zu überschreiten, die ESnet nicht besitzt. (ESnet6-Start;Jahresbericht 2024)

Was 57 Tbit/s bedeuten – und was nicht

Netzwerkstatistiken werfen oft verschiedene Ebenen in eine Zahl. ESnets 57 Tbit/s für 2024 sind die aggregierte technische Kapazität des Gesamtsystems. Es handelt sich nicht um eine einzige physische Verbindung, den jedem Labor verfügbaren Durchsatz oder den in jedem Moment getragenen Verkehr. Derselbe Bericht beschreibt Backbone-Verbindungen zwischen 400 Gbit/s und 1,2 Tbit/s, sieben US-Standorte mit 400 Gbit/s oder mehr und 2,7 Tbit/s transatlantische Kapazität. Jede Zahl beantwortet eine andere Frage.

Derselbe Bericht beschrieb 78 Routerstandorte und 278 optische Verstärkerstandorte über das etwa 15.000 Meilen große Footprint. Er verband alle 17 nationalen DOE-Laboratorien und berichtete über 28 DOE-Nutzereinrichtungen, 277 Forschungs-, Bildungs-, kommerzielle und sonstige Netzwerkbeziehungen in fünf Ländern, mehr als 30.000 organisatorische Nutzende und 137 Mitarbeitende und Auftragsnehmende in 24 Bundesstaaten. Diese Zahlen beschreiben unterschiedliche Populationen und sollten nicht als Kundensumme addiert werden: Router, Einrichtungen, Partnernetze, institutionelle Nutzende und Belegschaft sind getrennte Maße.

Eine Standortanbindung ist die Kapazität an einer institutionellen Grenze. Eine Backbone-Verbindung ist Kapazität zwischen Netzstandorten. Ein optisches System kann mehrere Wellenlängen tragen, und ein logischer Dienst nutzt möglicherweise nur einen Teil der physischen Ebene. Aggregierte Kapazität summiert viele Ressourcen, die nicht alle gleichzeitig dieselbe Quelle und dasselbe Ziel bedienen können. Verkehrsvolumen misst über Zeit bewegte Daten, nicht die in einem Moment maximal verfügbare Rate.

ESnet transportierte im Kalenderjahr 2024 1,77 Exabyte, gegenüber 1,7 Exabyte 2023. Der Anstieg von vier Prozent war niedrig verglichen mit dem berichteten langjährigen Durchschnitt von rund 55 Prozent jährlichem Wachstum seit 1989. Dieses einzelne Jahr beweist nicht, dass die wissenschaftliche Nachfrage abgeflacht ist. Große Projekte kommen ungleichmäßig in Betrieb, Software-Änderungen können Transfers verringern, und ein Experiment oder internationales Ereignis kann den Mix rasch verändern.

Der Verkehr ist zudem konzentriert. Der Bericht 2024 gab an, dass Aktivitäten des Large Hadron Collider etwa die Hälfte des Gesamtverkehrs ausmachten. Fermilab war mit 136 Petabyte der größte externe Sender, NERSC mit 75,3 Petabyte der größte DOE-Empfänger und Oak Ridge mit 58,3 Petabyte der größte DOE-Sender. Solche Zahlen offenbaren wichtige Arbeitslasten, sind aber kein vollständiges Ranking des wissenschaftlichen Werts. Ein kleinerer Transfer kann zeitkritischer sein oder ein einzigartiges Instrument unterstützen.

Kapazitätsplanung braucht daher mehrere Sichten zugleich: Spitzen- und Durchschnittsverkehr, streckenbezogene Auslastung, Ausfallreserven, Standortverbindungsraten, wissenschaftliche Fristen und künftige Anforderungen. Ein nur auf Durchschnittsnutzung ausgelegtes Netz kann bei einem Supernova-Ausbruch oder Kabelausfall versagen. Ein nur um das größte theoretische Ereignis herum entworfenes Netz kann teure, unflexible Anlagen überbauen.

ESnets technische Aufgabe ist, Kapazität dorthin zu legen, wo sie von den Workflows erreicht werden kann, die sie benötigen, und dann zu verifizieren, dass die Endsysteme sie auch nutzen können. Deshalb gehört die Kapazitätszahl neben Science DMZ, Messung, Orchestrierung und Anforderungsüberprüfungen – und nicht als selbsterklärendes Ranking an die Spitze des Artikels. (ESnet in Zahlen)

AS293 routet für eine Mission, nicht für einen Endkundenmarkt

ESnets öffentliche Autonomous-System-Nummer ist AS293. Das Netz tauscht Routen mit DOE-Standorten, Forschungs- und Bildungsnetzen, kommerzieller Netzen und bezahlten Upstream-Providern aus. Die Routing-Politik bestimmt, welche Pfade wissenschaftlichen Verkehr tragen dürfen, wie mit Ausfällen umgegangen wird und welche externen Netze eine direkte Zusammenschaltung erhalten.

Die Peering-Politik ist selektiv. Anwärter müssen BGP verwenden, aktuelle Internet Routing Registry- und PeeringDB-Informationen pflegen, RPKI-invalide Ankündigungen vermeiden und mit MANRS verbundene Routing-Sicherheitspraktiken befolgen. ESnet verlangt IPv6- oder Dual-Stack-Peering und akzeptiert keine reinen IPv4-Beziehungen mehr. Direkte private Zusammenschaltung beginnt bei einem 100G-Port, stark bevorzugt ist 400G.

Diese Bedingungen spiegeln sowohl Mission als auch Betriebskosten wider. Eine direkte Zusammenschaltung verbraucht Ports, Engineering-Zeit und Monitoring-Kapazität. ESnet muss nicht mit jedem Netz peeren, nur weil öffentliche Routen existieren. Es sucht Beziehungen, die DOE-Wissenschaftspfade verbessern, die Abhängigkeit von Transit verringern oder wichtige Kollaborateure anbinden. Der öffentliche Internetzugang wird durch bezahlten Transit von Hurricane Electric und Lumen für Ziele ergänzt, die über Forschungs- oder Direkt-Peering nicht effizient erreichbar sind.

Das Netz veröffentlicht BGP-Communities, die ESnet-angeschlossene Standorte, Forschungs- und Bildungsnetze sowie kommerzielle Netze unterscheiden. Angeschlossene Einrichtungen können diese Tags für eigene Richtlinien nutzen, wenngleich die Interpretation nachgelagert außerhalb der Kontrolle von ESnet liegt. Eine Community ist deskriptive Metadaten, keine universelle Garantie, dass jedes Netz dieselbe Routing-Entscheidung trifft.

Auch die Routing-Sicherheit hat Grenzen. Das Zurückweisen RPKI-invalider Ankündigungen blockiert eine wichtige Klasse fehlerhafter Routen, verhindert aber nicht jedes Leak, jeden kompromittierten Peer, fälschlich valide Origin oder inkorrekte Route-Origin Authorisation. Route-Hijack-Überwachung kann unerwartete Origin-Änderungen erkennen, doch die Erkennung kann nach der Propagation erfolgen. Blackhole-Routing kann einen Standort während eines Angriffs schützen, indem Verkehr zu einem Ziel verworfen wird, doch der Schutz funktioniert auf Kosten der Erreichbarkeit für dieses Präfix.

Das missionsorientierte Design zeigt sich an der Dienstgrenze. ESnet transportiert öffentlichen IP-Verkehr, versucht aber nicht, einen Endkunden-Transitmarkt zu gewinnen. Seine Routenpolitik ist um wissenschaftliche Erreichbarkeit, Resilienz und vertrauenswürdige Zusammenschaltung herum angeordnet. Der Wert des Netzes liegt in der Qualität der Pfade, die es für die von ihm bediente Gemeinschaft schafft, nicht in der Maximierung der Anzahl der an AS293 angeschlossenen Endkunden. (ESnet-Peering-Politik)

Private Pfade erweitern die Reichweite, ohne externes Risiko zu eliminieren

ESnets Dienstmenü beginnt mit physischer Konnektivität. Berechtigte Standorte können lokal oder über einen entfernten Point of Presence mit 10, 100 oder 400 Gbit/s angebunden werden. Wenn eine Einrichtung weit vom dedizierten Footprint entfernt liegt, kann ein Service On-Ramp Dark Fibre oder eine gemanagte Carrier-Leitung nutzen. Das Zugangsdesign ist Teil des wissenschaftlichen Pfades, und ein vom Anbieter gestelltes letztes Segment kann zur dominanten Ausfall- oder Leistungsbegrenzung werden.

Layer-3-IP-Dienst bietet geroutete IPv4- und IPv6-Konnektivität. Ein virtuelles privates Layer-3-Netz schafft eine logisch getrennte IP- und BGP-Umgebung für ein standortübergreifendes Programm, während es die physische Infrastruktur mit anderen Diensten teilt. Virtuelle private Layer-2-Netze bieten Punkt-zu-Punkt- oder Multipunkt-Ethernet-Konnektivität, entweder statisch konfiguriert oder über OSCARS bereitgestellt. Diese Dienste erlauben Experimenten, Einrichtungen zu verbinden, ohne jede Beziehung dem öffentlichen Internet auszusetzen.

Privater Dienst bedeutet nicht physisch isolierter Dienst. Die logische Trennung hängt von Router-Konfiguration, Labels, Routing-Instanzen, Zugriffskontrollen und betrieblicher Praxis ab. Ein Fehler in der geteilten Plattform kann mehrere Dienste betreffen, während ein Konfigurationsfehler die beabsichtigte Isolation zunichtemachen kann. Der Wert liegt in kontrollierter Segmentierung und vorhersehbarer Konnektivität, nicht in der Behauptung, dass keinerlei gemeinsame Abhängigkeit besteht.

Cloud Connect verlängert ESnet-Pfade zu großen kommerziellen Cloud-Umgebungen, darunter AWS, Microsoft Azure, Google Cloud und Oracle. Ein Standort kann einen Provider-On-Ramp über dedizierte Layer-2- oder Layer-3-Konnektivität erreichen, statt über gewöhnliches öffentliches Internet-Routing. Dies kann die Pfadkontrolle verbessern und die Exposition gegenüber variablem Transit verringern, entfernt jedoch nicht Cloud-seitige Sicherheit, Provider-Ausfälle, Identitätsgestaltung, Egress-Kosten oder regionale Verfügbarkeit.

Die Cloud-Beziehung illustriert ESnets sich wandelnde Rolle. DOE-Wissenschaft findet nicht mehr nur in Laboratorien und föderalen Supercomputern statt. Forscher können kommerzielle Objektspeicher, spezialisierte Dienste oder Burst-Computing nutzen. ESnet muss diese Ressourcen anbinden, ohne so zu tun, als sei die Cloud Teil des föderalen Netzes oder als mache eine private Leitung ein Cloud-Konto von allein sicher.

Weitere Dienste umfassen sekundäres DNS, Netzwerkzeit, Route-Hijack-Überwachung und Blackhole-Routing. Jeder adressiert eine unterstützende Abhängigkeit, die Forschung unterbrechen kann, selbst wenn optische Kapazität verfügbar bleibt. Ein Namensdienstausfall, falsche Zeit, ein Route-Leak oder ein Denial-of-Service-Angriff können ein wissenschaftliches System unbrauchbar machen, ohne die Glasfaser zu beschädigen.

Das Dienstmenü stellt eine Reihe von Betriebsverträgen zwischen Netzebenen dar. Physische Konnektivität stellt den Pfad her. Routing schafft Erreichbarkeit. Private Dienste schaffen logische Grenzen. Cloud-Anbindung erweitert das System auf kommerzielle Infrastruktur. Sicherheits- und unterstützende Dienste reduzieren bekannte Ausfallmodi. Der Nutzende muss dennoch an jedem Ende einen funktionierenden Endpunkt und ein lokales Netz aufbauen. (ESnet Netzwerkdienstmenü)

OSCARS macht Kapazität reservierbar

Der meiste Internetverkehr nutzt die Kapazität, die beim Eintreffen der Pakete gerade verfügbar ist. Dieses Modell funktioniert gut für allgemeine Kommunikation, aber manche wissenschaftlichen Transfers sind geplant, groß und teuer zu verzögern. OSCARS gibt autorisierten Nutzenden und Anwendungen eine Möglichkeit, Netzressourcen für einen bestimmten Zeitraum zu reservieren.

Eine Reservierung kann Endpunkte, Start- und Endzeit, Bandbreite, VLAN-Informationen, Routenausnahmen und andere Beschränkungen identifizieren. Das System prüft Topologie und bestehende Zusagen, findet einen akzeptablen Pfad, erzeugt den erforderlichen Netzzustand und entfernt ihn bei Ablauf der Reservierung. Der Dienst muss vermeiden, dieselbe knappe Ressource doppelt zu vergeben, und muss Wartungsarbeiten oder Ausfälle berücksichtigen, die die verfügbare Topologie ändern.

Die Bedeutung ist betrieblicher, nicht kosmetischer Natur. Manuelle Leitungsbereitstellung kann Tage der Koordination unter Ingenieuren erfordern. Eine programmatische Reservierung kann in Minuten erstellt und Teil des Workflows eines Experiments werden. Das Netz hört auf, ein fester Hintergrundkanal zu sein, und wird zu einer Ressource, die Software neben Speicher oder Rechenleistung anfordern kann.

OSCARS ist ein produktives Open-Source-System, das von anderen Netzen und Testbeds übernommen oder evaluiert wurde. Einige öffentliche Übernahmeangaben erscheinen auf Seiten mit historischem Material; die sicherste Schlussfolgerung ist daher, dass das System über ESnet hinaus Verbreitung gefunden hat, ohne jede gelistete Bereitstellung als aktuell und identisch zu behandeln.

Eine Reservierung garantiert keinen Anwendungsdurchsatz. Sie kann eine definierte Menge Netzwerkkapazität schützen, aber sie kann keinen Speicherserver schneller lesen lassen, Paketverlust in einem Campusnetz beheben oder ein Betriebssystem tunen. Wenn die Anwendung nur einen Bruchteil der reservierten Rate erreicht, muss die Diagnose wieder zum durchgängigen Pfad zurückkehren.

Reservierungen werfen auch Zuteilungsfragen auf. Ein prioritäres Experiment kann von garantierter Kapazität profitieren, während ungenutzte Reservierungen die Flexibilität für andere einschränken können. Richtlinien müssen entscheiden, wer den Dienst anfordern darf, wie Konflikte gelöst werden und ob eine Reservierung vorzeitig aufhebbar sein soll. Diese Entscheidungen sind Teil der Facility-Governance, selbst wenn der Bereitstellungscode automatisch ist.

OSCARS bleibt eines der klarsten Beispiele von ESnet dafür, wie angewandte Software zu Infrastruktur wird. Es übersetzte eine Betriebspraxis in einen wiederholbaren Dienst, erhielt menschliche Richtlinien um die Autorisierung herum und gab wissenschaftlichen Anwendungen einen kontrollierten Weg, Netzwerkanforderungen auszudrücken. (OSCARS)

SENSE testet, ob Anwendungen ein durchgängiges Ergebnis anfordern können

Ein reservierter Netzpfad löst nur einen Teil eines verteilten Workflows. Speichersysteme, Datentransferdienste und Rechenressourcen haben ebenfalls Verfügbarkeit, Kapazität und Richtlinien. SENSE – das Software-defined network for End-to-end Networked Science at the Exascale – erweitert die Orchestrierung über eine einzelne Netzdomäne hinaus.

Das Projekt repräsentiert Netze und Endsysteme als auffindbare Ressourcen. Eine wissenschaftliche Anwendung kann ein beabsichtigtes Ergebnis beschreiben, etwa einen Datensatz mit einer geforderten Rate zwischen Einrichtungen zu bewegen. SENSE sammelt Modelle von teilnehmenden Domänen, verhandelt Ressourcen, stellt Netz- und Transferdienste bereit, beobachtet Telemetrie und gibt Ressourcen frei, wenn der Workflow abgeschlossen ist.

Dies ist schwieriger, als eine Leitung zu konfigurieren. Teilnehmende Organisationen behalten ihre eigene Zuständigkeit und ihre eigenen Datenmodelle. Eine Domäne mag Bandbreite offenlegen, eine andere Speicherendpunkte oder Transferdienste. Richtlinien, Berechtigungen und Wartungsfenster unterscheiden sich. SENSE muss koordinieren, ohne anzunehmen, dass ein zentraler Controller jedes System befehligen kann.

Während der Large Hadron Collider Data Challenge 2024 hielten SENSE-unterstützte Workflows zwischen Caltech und der University of California, San Diego, 330 Gbit/s aufrecht. Das Ergebnis zeigt, dass anwendungsgetriebene Orchestrierung in einem spezifischen Live-Workflow mit substantieller Rate arbeiten kann. Es zeigt nicht, dass SENSE ein universeller Produktionsdienst auf jedem ESnet-Standort ist. Die Berichterstattung 2024 beschrieb das Projekt weiterhin als in einer Forschungsphase befindlich.

OSCARS und SENSE automatisieren verschiedene Arbeitseinheiten. OSCARS reserviert Netzressourcen innerhalb einer bekannten Dienstedomäne. SENSE versucht, einen vollständigen Pfad auszuhandeln, der Systeme verschiedener Organisationen umfasst. Ersteres hat eine klarere Produktionsgrenze. Letzteres bietet breiteren wissenschaftlichen Wert, trägt aber mehr Governance- und Integrationsrisiko.

Für Betreiber ist das praktische Problem die Frage nach der Ausfallzuständigkeit. Wenn eine Anwendung eine Absicht deklariert und der Workflow unterperformt, kann die Ursache im Ressourcenmodell, im Netz, im Speicherdienst, in einer Berechtigung, der Anwendung oder einem domänenübergreifenden Timing-Problem liegen. Orchestrierung braucht Evidenz, die präzise genug ist, um jedem Betreiber zu zeigen, welcher Teil des ausgehandelten Zustands divergiert ist.

SENSE weist auf eine Infrastruktur hin, in der Anwendungen Ergebnisse anfordern statt Leitungen. Sein Fortschritt sollte an wiederholbarer, domänenübergreifender Produktionsnutzung, klarer Supportverantwortung und der Fähigkeit gemessen werden, sich von Teilausfällen zu erholen – nicht allein an der höchsten demonstrierten Transferrate. (SENSE;Angewandte Forschung 2024)

EJFAT bringt wissenschaftliche Ereignisse direkt zum entfernten Rechnen

Traditionelle wissenschaftliche Datenbewegung folgt oft einer dateibasierten Sequenz. Ein Experiment erzeugt Daten, lokale Systeme verarbeiten genug davon, um Dateien zu schreiben, die Dateien gelangen in den Speicher, und ein späterer Transfer sendet sie zur Analyse an eine andere Einrichtung. Dieses Muster ist gut verstanden und betrieblich verlässlich, aber es verzögert die Rückmeldung und erfordert lokalen Speicher und Rechenleistung, die auf die Spitzenakquise ausgelegt sind.

EJFAT – das ESnet–Jefferson Lab FPGA Accelerated Transport system – unterstützt einen anderen Pfad. Es verteilt live, UDP-gekapselte Ereignisdaten von einem Instrument auf verfügbare Rechenknoten, potenziell in einem entfernten Supercomputing-Zentrum. Eine programmierbare FPGA-basierte SmartNIC liest Event-Identifikatoren und sendet alle zu einem Ereignis gehörenden Fragmente an einen Knoten. Wenn Rechenknoten verfügbar oder ausgelastet werden, kann das Kontrollsystem die Verteilung anpassen.

Die Ereignisgruppierung ist bedeutsam. Ein generischer Load Balancer kann Pakete über Server verteilen, aber die wissenschaftliche Verarbeitung kann erfordern, dass jedes Fragment eines Detektorereignisses beim selben Knoten ankommt. EJFAT trennt die hochratige Weiterleitungsfunktion von der Zuteilung der Rechenknoten und erlaubt beiden Seiten, unabhängig zu skalieren.

Die eingangs beschriebene Demonstration von Jefferson Lab zu Perlmutter im April 2024 erreichte 100 Gbit/s ohne einen zwischengeschalteten Platten-Schritt. Spätere Tests nutzten Rechenressourcen über mehrere Einrichtungen und rund 20.000 Kerne, so die ESnet-Berichterstattung. Diese Ergebnisse zeigen das Potenzial des Systems, bedeuten aber nicht, dass jedes Instrument es ohne technische Änderungen übernehmen kann.

Die Facility for Rare Isotope Beams (FRIB) liefert ein jüngeres operatives Beispiel. ESnet berichtete im Juli 2026, dass Forschende rohe Experimentdaten mit etwa 5–6 Gbit/s über EJFAT zu entfernten Supercomputern streamten. Ein Lauf, der in 15 Stunden 615 GB erzeugte, wurde in 20 Minuten auf acht Perlmutter-Knoten mittels maschineller Lerninferenz verarbeitet. Die niedrigere Netzrate im Vergleich zur 100G-Demonstration macht das Ergebnis nicht weniger bedeutsam; der wissenschaftliche Gewinn war schnelleres Feedback während eines echten Workflows.

Live-Streaming verändert die Ökonomie einer Einrichtung. Ein Detektor kann geteilte Rechenleistung ausleihen, statt genug lokale Kapazität für jede Spitze aufzubauen. Forschende können Ergebnisse prüfen, solange knappe Strahlzeit noch verfügbar ist. Das System schafft auch neue Abhängigkeiten. Ein Netzunterbruch, ein Problem mit der Rechenallokation oder ein Fehler in der Ereignisverteilung kann das Experiment in Echtzeit beeinflussen, statt nur einen späteren Dateitransfer zu verzögern.

EJFAT bleibt ein fortgeschrittener Prototyp oder eine entstehende Plattform, kein universell unterstützter Dienst. Eine Produktionseinführung wird Instrumentenintegration, Sicherheit, FPGA-Verfügbarkeit, betriebliche Zuständigkeit, Scheduling-Vereinbarungen und klares Verhalten bei dem Verlust von UDP-Paketen erfordern. Seine Bedeutung liegt darin, zu zeigen, dass das Weitverkehrsnetz innerhalb der Erfassungsschleife sitzen kann statt nach ihr. (EJFAT;FRIB-Wissenschaftshöhepunkt)

High-Touch, perfSONAR und iperf3 machen den Pfad beobachtbar

Ein Hochkapazitätsnetz kann auf Weisen ausfallen, die aggregierte Auslastungskurven nicht zeigen. Kurze Stöße können eine Warteschlange überlaufen lassen. Pakete können außerhalb der Reihenfolge ankommen. Verlust kann eine Richtung oder eine Verkehrsklasse betreffen. Eine Route kann sich zwischen Tests ändern. Sicherheitsrelevante Datenströme können in statistischem Sampling verschwinden.

High-Touch nutzt programmierbare Hardware und Software, um reichhaltigere Paket- und Flusstelemetrie zu sammeln als herkömmliche gesampelte Aufzeichnungen. 2024 wurde es eingesetzt, um den Durchsatz des Large Hadron Collider, Paket-Reordering im Zusammenhang mit dem Rubin-Observatorium-Verkehr und Sicherheitsereignisse zu untersuchen. Der Zweck ist diagnostische Präzision: Verhalten zu erkennen, das eine grobe Verkehrssumme verbergen würde.

Reichhaltigere Evidenz hat Kosten. Paket- und Flussdetails erfordern Speicher, Verarbeitung, Zugriffskontrolle und sorgfältige Interpretation. Sie können kommunizierende Endpunkte, Kollaborationsmuster und das Timing wissenschaftlicher Aktivität offenlegen. Ein für betriebliche Sichtbarkeit entworfenes System wird so zu einem sensiblen Daten-Asset.

perfSONAR adressiert eine andere Ebene. Es ist ein verteiltes Messsystem, das von einer Multi-Organisations-Partnerschaft getragen wird, in der ESnet ein gründendes Kernmitglied ist. 2024 wurden weltweit mehr als 2.000 Standorte berichtet, und ESnet betreibt mehr als 30 Standorte. Kontrollierte Tests messen Durchsatz, Latenz, Verlust und Pfadverhalten zwischen teilnehmenden Knoten.

Das verteilte Design ist zentral. Ein Wissenschaftler kann einen langsamen Transfer melden, aber ein Test zwischen gut konstruierten perfSONAR-Knoten kann zeigen, ob der zugrunde liegende Pfad die erwartete Rate unterstützt. Richtungstests können Asymmetrie isolieren. Wiederholte Messungen können zeigen, wann die Verschlechterung begann. Traceroute-Daten können Pfadänderungen identifizieren, wenngleich die beobachtete Route und das tatsächliche Weiterleitungsverhalten der Anwendung abweichen können.

iperf3 bietet aktive Durchsatztests über TCP, UDP oder SCTP und unterstützt IPv4 und IPv6. ESnet pflegt das Open-Source-Tool und berichtet von Tests über 150 Gbit/s auf 200G-Pfaden unter bestimmten Bedingungen. Ein synthetischer Test ist kein Anwendungs-Benchmark. Er hilft festzustellen, ob Host und Netz unter kontrollierten Bedingungen Verkehr bewegen können, wonach Speicher- und Anwendungsverhalten getrennt untersucht werden können.

Zusammen schaffen High-Touch, perfSONAR und iperf3 verschiedene Wahrheitsansichten. High-Touch beobachtet Produktionsdatenströme mit höherer Wiedergabetreue. perfSONAR liefert geplante oder On-Demand-Pfadmessung über Domänen hinweg. iperf3 testet Endpunkt- und Netzdurchsatz direkt. Keine einzelne Sicht ist vollständig, aber die Kombination verringert die Versuchung, einen verteilten Fehler vom lokalen Dashboard eines einzigen Betreibers aus zu diagnostizieren. (Netzwerk-Performance-Tools;Betriebliche Innovationen 2024)

Caching kann Verkehr vermeiden, statt ihn schneller zu transportieren

Kapazitätserweiterung ist nicht die einzige Möglichkeit, ein Wissenschaftsnetz zu verbessern. Manche Datensätze werden von Forschern in derselben Region wiederholt angefordert. Jede Kopie über das Weitverkehrsnetz zu bewegen, verschwendet Bandbreite und erhöht die Verzögerung, selbst wenn der Backbone die Last absorbieren kann.

ESnets angewandte Forschungsberichterstattung 2024 beschrieb fünf regionale Cache-Knoten, die mit wissenschaftlichen Datengemeinschaften genutzt werden. In der Studie reduzierten Caches den Weitverkehr um durchschnittlich 33 Terabyte pro Tag. Zwei Drittel der Anfragen wurden lokal bedient, und die durchschnittliche Cache-Trefferquote lag bei 94 Prozent. Die Wirkung variierte stark nach Standort: Die gemeldete Reduktion des Weitverkehrs erreichte 69,3 Prozent in Südkalifornien, 48,4 Prozent in Chicago und 6,6 Prozent in Boston.

Diese Unterschiede sind aufschlussreich. Der Cache-Nutzen hängt von der Popularität der Datensätze, lokalen Nutzenden, Speichergröße, Verdrängungsrichtlinie und Dienstkonfiguration ab. Ein Cache, der in der Nähe einer Gemeinschaft platziert ist, die wiederholt dieselben Daten analysiert, kann große Transfers einsparen. Ein Cache, der diverse oder selten wiederholte Datensätze bedient, kann Speicher verbrauchen, ohne denselben Nutzen zu liefern.

Caching verändert auch die Kontrolle. Der Netzbetreiber beginnt, an der Datenplatzierung mitzuwirken, während wissenschaftliche Gemeinschaften entscheiden müssen, welche Datensätze kopiert werden dürfen, wie die Aktualität gewährleistet wird und wer zugriffsberechtigt ist. Speicherfehler und veraltete Inhalte werden zu netznahen betrieblichen Sorgen.

Die Studie zeigt, warum das effizienteste Bit jenes sein kann, das nie in den Backbone gelangt. Optische Upgrades erhöhen das Angebot. Caching verändert die Nachfrage. Workflow-Scheduling kann Transfers aus Spitzenzeiten verschieben. Kompression oder lokale Filterung können Daten vor der Übertragung reduzieren. Ein reifes Infrastrukturprogramm bewertet all diese Mechanismen, statt Fortschritt nur an installierten Terabit zu messen.

Das Ergebnis sollte auf die untersuchte Bereitstellung beschränkt bleiben. Es beweist nicht, dass jeder wissenschaftliche Datensatz eine Trefferquote von 94 Prozent erreichen wird oder dass Caching neue Kapazität für einzigartige Live-Streams ersetzen kann. Es liefert Evidenz, dass Datenarchitektur und Netzwerkarchitektur gemeinsam entworfen werden können. (Angewandte Forschungsaktivitäten 2024)

Transatlantische Wissenschaft braucht sowohl physische Diversität als auch Kapazität

ESnets inländisches Footprint kann nicht von seinen internationalen Verpflichtungen getrennt werden. Die Hochenergiephysik ist um Einrichtungen und Rechenzentren auf beiden Seiten des Atlantiks herum organisiert, und der Jahresbericht 2024 schrieb etwa die Hälfte des ESnet-Verkehrs Aktivitäten des Large Hadron Collider zu. Ein Kabelfehler zwischen Europa und Nordamerika kann daher eine zentrale wissenschaftliche Arbeitslast beeinträchtigen, selbst wenn jeder inländische Router gesund ist.

Im Laufe von 2024 und Anfang 2025 erweiterte ESnet die berichtete transatlantische Kapazität von etwa 700 Gbit/s auf 2,7 Tbit/s. Ein wesentlicher Teil des Programms war eine 15-jährige Vereinbarung mit Aqua Comms über ein Viertel eines Faserpaares auf einer Route, die New York, Dublin und London verbindet. ESnet teilt außerdem Kapazität und Kosten mit GÉANT über mehrere Kabelsysteme. Das technische Ziel sind mindestens 3,2 Tbit/s über vier physisch diverse Pfade, wobei das zugrunde liegende Design Wachstumspotenzial über 10 Tbit/s hinaus bietet.

Kapazität und Diversität lösen unterschiedliche Probleme. Zwei logische Dienste können sich ein Kabel, eine Landestation oder einen terrestrischen Kabelkanal teilen und gemeinsam ausfallen. Eine Untersee-Reparatur kann Fehlerlokalisierung, Genehmigungen, ein Kabelschiff, geeignetes Wetter und die physische Bergung beschädigter Faser erfordern. Die Wiederherstellung kann Wochen oder Monate dauern. ESnet plant daher für Szenarien mit drei gleichzeitigen Kabelausfällen, anstatt davon auszugehen, dass ein Back-up-Pfad ausreicht.

Langfristige Spektrumsrechte geben der Einrichtung mehr Kontrolle über Upgrades als wiederholte Käufe fertiger Festverbindungen. Sie schaffen aber auch Bindungen an bestimmte Kabelsysteme, Landeinfrastrukturen und Betriebspartner. ESnet beseitigt das Seerisiko nicht durch das Leasen von Spektrum. Es gewinnt die Fähigkeit, Kapazität und Resilienz über mehrere Systeme hinweg zu konstruieren, bleibt jedoch abhängig von Kabeleignern, Reparaturprozessen und Partnernetzen.

Dies ist ein weiterer Punkt, an dem das Wort „dediziert“ Vorsicht verlangt. ESnet kontrolliert dedizierte Rechte und Infrastruktur auf wichtigen Strecken, aber das physische Anlagenmodell variiert. Inländische und internationale Pfade können Dark Fibre, Spektrum, gemanagte Dienste, Colocation und Partnerkapazität umfassen. Eine Kartenlinie offenbart nicht dieselben Eigentums- oder Reparaturbefugnisse auf jedem Segment.

Die GÉANT-Beziehung zeigt, warum Forschungsvernetzung kooperativ ist, ohne zentral gesteuert zu sein. Die beiden Organisationen können Kosten teilen und Wissenschaftsverkehr koordinieren, bleiben aber jeweils gegenüber ihren eigenen Institutionen und Mitgliedern rechenschaftspflichtig. Die durchgängige Leistung hängt weiterhin von nationalen Forschungsnetzen, Campus-Systemen und Experimenteinrichtungen jenseits beider Backbones ab. (Transatlantischer Meilenstein;Jahresbericht 2024)

Wissenschaft kommt als stetige Grundlast, seltene Stöße und harte Fristen

Der Large Hadron Collider liefert stetiges Volumen. Sein verteiltes Computing-Modell bewegt Experimentdaten zwischen CERN, Fermilab, Brookhaven, Universitäten und anderen Zentren und erzeugt anhaltenden internationalen Verkehr. Der geplante Betrieb mit hoher Luminosität wird voraussichtlich Detektorausstoß, Simulation und Replikation steigern. Das Netz muss routinemäßig enorme Datenströme transportieren und gleichzeitig genug Routendiversität bewahren, um Kabel- oder Einrichtungsausfälle zu überstehen.

Das Vera C. Rubin Observatory liefert eine Frist. Das Teleskop in Chile soll etwa alle 30 Sekunden ein Bild von rund 13 GB erzeugen. Der Datenpfad unterstützt eine schnelle Verarbeitung bei SLAC und die Erzeugung von Warnungen über veränderliche Objekte, damit andere Observatorien reagieren können. ESnet berichtet von dem Ziel, jedes Bild über etwa 12.000 Meilen in weniger als sieben Sekunden zu bewegen. Die Route umfasst südamerikanische und internationale Forschungsnetzpartner, sodass das Ergebnis von koordinierter Technik auch außerhalb der eigenen Domäne von ESnet abhängt.

DUNE liefert einen außergewöhnlichen Ausbruch. Während eines Supernova-Ereignisses erwartet das Neutrinoprogramm die Anforderung, bis zu 600 TB in 100 Sekunden zu bewegen. Sein breiteres Zwanzig-Jahres-Programm wird voraussichtlich etwa 900 PB erzeugen. Dies sind Planungsanforderungen für den künftigen Betrieb, keine Beschreibung des gegenwärtigen Routineverkehrs. Sie sind bedeutsam, weil das Ereignis nicht warten kann, bis Kapazität verfügbar wird. Ein nur um Durchschnittsnutzung herum gebautes Netz könnte im Moment des höchsten wissenschaftlichen Werts versagen.

Die Fusionsforschung verbindet internationale Distanz mit einem langen Entwicklungshorizont. Im Mai 2026 bewegte ein Test 176 TB ITER-Daten von Marseille zur DIII-D-Anlage von General Atomics in San Diego mit nahezu 80 Gbit/s. ITER befand sich noch im Bau, sodass der Transfer eher Bereitschaft als normale Vollproduktion demonstrierte. Anforderungsmaterialien rechnen für einige künftige Fusions-Workflows mit etwa zwei Petabyte pro Tag und mindestens 200 Gbit/s.

FRIB und Jefferson Lab zeigen ein drittes Muster: Das Experiment benötigt möglicherweise Fernanalyse, während Daten noch eintreffen. EJFAT erlaubt es, Ereignisströme an Rechenleistung bei NERSC oder Oak Ridge zu senden, anstatt auf die Fertigstellung und das Kopieren von Dateien zu warten. Lichtquellen, Elektronenmikroskope und andere Instrumente stehen vor verwandten Entscheidungen über lokales Filtern, entfernte KI-Inferenz und die Geschwindigkeit, mit der Ergebnisse zum Bediener zurückkehren müssen.

Klima- und Erdsystemwissenschaften erweitern die Nachfrage erneut. Große Simulationen und Beobachtungsdatensätze bewegen sich zwischen Rechen- und Speichereinrichtungen, während Feldsensoren dort stehen können, wo herkömmliche Glasfaser nicht verfügbar ist. Keine einzelne Schlagzeilenrate fängt all diese Bedürfnisse ein. ESnet muss persistenten Massentransfer, seltene Ausbrüche, latenzarme Rückmeldung, internationale Kollaboration und Fernerfassung unter einem Einrichtungsmodell unterstützen. (Rubin-Observatorium-Fallstudie;DUNE-Fallstudie;Anforderungsüberprüfungen)

Anforderungsüberprüfungen machen wissenschaftliche Pläne zu Netzwerkarchitektur

ESnet kann nicht warten, bis ein Experiment seinen ersten Datensatz produziert, bevor es Faser, Router oder transatlantische Kapazität bestellt. Fernstreckenvereinbarungen, Gerätebeschaffung, Standortbau und Softwareentwicklung brauchen Jahre. Die Einrichtung führt daher Anforderungsüberprüfungen mit den Wissenschaftsprogrammen des Energieministeriums mit einem Horizont von fünf bis zehn Jahren durch.

Forschende und Einrichtungsteams beschreiben Instrumente, erwartete Datenvolumen, Speicherorte, Rechenziele, Zeitanforderungen, internationale Kollaborateure, Cloud-Nutzung und Resilienzbedarfe. Netz- und Rechnerexperten untersuchen anschließend den gesamten Workflow. Die Anforderung nach einer größeren Leitung mag ein wichtigeres Problem beim lokalen Speicher, der Routendiversität, der Sicherheitsarchitektur oder der Datentransfer-Software aufdecken.

Der Überprüfungsprozess ist eine Form des Co-Designs. Wissenschaftsprogramme erklären, was sie erreichen wollen; ESnet übersetzt diese Absicht in Infrastrukturabhängigkeiten und testet, ob der vorgeschlagene Pfad funktionieren kann. Das Ergebnis kann die Größe von Standortanbindungen, neue Routen, U-Boot-Beschaffung, den Einsatz von Science DMZ, Orchestrierungsforschung, Personalausstattung und den Zeitplan für eine künftige Netzgeneration beeinflussen.

Die große Hochenergiephysik-Überprüfung, die 2025 abgeschlossen und im Januar 2026 veröffentlicht wurde, umfasste 127 Mitwirkende und 14 Fallstudien in einem rund 400 Seiten starken Bericht. Ihre Bedeutung liegt nicht darin, dass jede Prognose korrekt sein wird. Instrumente verschieben sich, Software wird effizienter, und neue Arbeitslasten erscheinen. Der Wert liegt in einer dokumentierten Aufzeichnung, in der Forschende, Netzwerktechniker, Rechenzentren und Geldgeber dieselben Annahmen sehen und sie bewusst revidieren können.

Prognosen bleiben schwierig, weil wissenschaftliche Nachfrage unstetig ist. Eine Supernova mag während der Lebensdauer eines Experiments nie auftreten, während ein KI-Workflow schneller wachsen kann als ein formeller Überprüfungszyklus. Durchschnittliches Verkehrswachstum ist nützlich für die Budgetierung, kann aber fallspezifische Planung nicht ersetzen. ESnets ungewöhnlich niedriger Verkehrsanstieg von vier Prozent 2024 zeigt nicht, dass die langfristige Nachfrage gestoppt hat; er zeigt, warum ein einzelnes Jahr kein jahrzehnteübergreifendes Infrastrukturprogramm bestimmen sollte.

Anforderungsüberprüfungen verteilen auch Rechenschaftspflicht. Ein Labor kann nicht annehmen, dass der nationale Backbone einen unzureichenden Campus-Pfad repariert, und ESnet kann nicht annehmen, dass ein Wissenschaftsprogramm sich anpasst, nachdem Kapazität gebaut ist. Die Abhängigkeiten in einen gemeinsamen Plan zu legen, macht spätere Meinungsverschiedenheiten konkreter. (Berichte zu Anforderungsüberprüfungen)

Drahtlos- und Quantenprojekte testen, wo der Auftrag von ESnet enden sollte

Ein nationales Glasfasernetz erreicht ortsfeste Einrichtungen gut. Wissenschaftliche Instrumente arbeiten nicht immer an solchen Orten. Geothermiefelder, Umweltobservatorien und temporäre Kampagnen können ohne Netzabdeckung, verlässliche Stromversorgung oder praktikable Glasfasertrasse dastehen. Das Wireless Edge Programm von ESnet untersucht, wie private Mobilfunknetze, Wi-Fi, Richtfunk und Satellitensysteme einen wissenschaftlichen Workflow zu solchen Standorten verlängern können.

Eine im Juni 2026 bekannt gewordene Geothermie-Bereitstellung in Nevada kombinierte privates 4G unter Nutzung von Citizens Broadband Radio Service Spektrum, langreichweitiges Wi-Fi HaLow, gewöhnliches Wi-Fi, Starlink-Backhaul, Richtfunk und einen tragbaren, selbstversorgten Mast. Das Design antwortete auf die Bedingungen eines einzelnen Feldstandorts. Es war kein allgemeines ESnet-Wireless-Produkt und kann nicht die dauerhafte Kapazität von Fernstreckenfaser liefern. Gelände, Wetter, Spektrum, Stromversorgung und der Satellitenanbieter bleiben alle Teil des Dienstpfades.

Der wichtige organisatorische Punkt ist, dass ESnet nicht am nächsten Faserpunkt haltmachte und das verbleibende Problem zur Verantwortung anderer erklärte. Seine Wissenschaftsengagement-Funktion behandelte Erfassung, Backhaul und Weitverkehrstransport als einen Workflow. Dieser Ansatz kann wertvoller sein als ein einheitliches Produkt, weil abgelegene wissenschaftliche Standorte unterschiedliche physische Randbedingungen haben.

QUANT-NET erkundet eine andere Grenze. Das von ASCR finanzierte Projekt baut ein Quanten-Netzwerk-Testbed mit drei Knoten, das Berkeley Lab und zwei Standorte der University of California, Berkeley, über etwa fünf Kilometer verbindet. Die Arbeit umfasst Ionenfallen, Photonenkopplung, Verschränkungs-Swapping, Bell-Zustandsmessungen, zeitkritische Steuerung und ein modulares Software-Framework.

Die Verbindung zu ESnet liegt hauptsächlich in Steuerung und Orchestrierung. Quantenexperimente benötigen klassische Kommunikation, präzises Timing und Koordination zwischen Geräten, die noch immer schwer zu bedienen sind. Open-Source-Steuerungssoftware kann Experimente wiederholbarer machen und manuelle Justierung verringern. Das Testbed ist kein produktives Quanteninternet und bewegt keine gewöhnlichen wissenschaftlichen Massendaten durch Verschränkung.

Wireless Edge und QUANT-NET sollten daher danach gemessen werden, was sie lehren und was wiederverwendet werden kann. Keines ist Evidenz dafür, dass jeder ESnet-Nutzende einen drahtlosen Zugangsdienst oder eine Quantenverbindung erhalten wird. Sie erweitern die Forschungsfunktion der Einrichtung in Bereiche, in denen künftige wissenschaftliche Vernetzung neue physische Medien und Steuerungssysteme benötigen könnte. (Wireless-Edge-Einsatz;Forschung zu Quantenvernetzung)

American Science Cloud und ESnet7 verschieben die Planung von Standorten zu Workflows

Das Programm Integrated Research Infrastructure und die entstehende American Science Cloud spiegeln einen Wandel darin wider, wie das Energieministerium seine Einrichtungen beschreibt. Anstatt ein Instrument, ein Netz, einen Datenspeicher und einen Supercomputer als unabhängige Dienste zu behandeln, zielen die Programme darauf ab, sie als föderierte Umgebung für wissenschaftliche Daten, KI und Hochleistungsrechnen arbeiten zu lassen.

ESnets Rolle ist die Verbindungs- und Orchestrierungsschicht. Daten müssen von Instrumenten zu Speicher und Beschleunigern gelangen; Nutzende und Dienste benötigen kontrollierten Zugang; Workflows müssen verfügbare Ressourcen entdecken; Telemetrie muss zeigen, ob das System das wissenschaftliche Ziel erreicht. EJFAT, SENSE, OSCARS, Cloud Connect und High-Touch adressieren jeweils einen Teil dieses Problems, aber keines allein stellt die American Science Cloud dar.

Auf der Confab26 wurde Inder Monga als Deputy des American Science Cloud Projekts identifiziert, und die Programmsitzungen umfassten Demonstrationen und die Planung für die nächste Netzgeneration. Dies ist Evidenz aktiver institutioneller Arbeit, nicht der Beweis, dass eine universelle Wissenschafts-Cloud im August 2026 fertig war. Zugangspolitik, das Inventar angeschlossener Ressourcen, Produktions-Support und Governance blieben sich entwickelnde Fragen.

ESnet7 erscheint im selben Planungsumfeld. Die Bezeichnung ist real, und Innovationssitzungen haben Telemetrie, Paketinspektion, Datenbewegung, KI und Quantenvernetzung untersucht. Dennoch bleibt ESnet6 die aktuelle Produktionsgeneration. In den vorgelegten Belegen wurde keine endgültige öffentliche Architektur, keine Projektbasislinie, keine Lieferantenauswahl, kein vollständiges Budget und kein Starttermin identifiziert.

Bezeichnungen von Netzgenerationen erzeugen Erwartungen, lange bevor Geräte installiert sind. Ein Planungsprogramm kann Forschungsprioritäten, Lieferantenengagement und Kapitalanforderungen prägen. Es sollte nicht als fertiger Backbone berichtet werden. Die am besten vertretbare Interpretation ist, dass ESnet die Betriebserfahrung von ESnet6 und laufende Workflow-Projekte nutzt, um zu entscheiden, was eine siebte Generation sein soll.

Geschwindigkeit wird wichtig bleiben, aber die Evidenz deutet darauf hin, dass Programmierbarkeit und Intelligenz ebenso zentral werden könnten. Eine schnellere Leitung kann einer Anwendung nicht sagen, wo Rechenleistung verfügbar ist, einen Microburst identifizieren, einen Detektor-Stream planen oder beweisen, dass ein domänenübergreifender Dienst korrekt freigegeben wurde. Die strategische Frage von ESnet7 ist daher, wie viel des wissenschaftlichen Workflows das Netz verstehen und koordinieren sollte, ohne zu einem unkontrollierbaren zentralen Controller zu werden. (Confab26-Programm;Angewandte Forschung 2024)

Bundesmittel finanzieren die Einrichtung, aber die Haushaltslinie ist kein Umsatz

ESnet finanziert sein Backbone nicht durch den Verkauf von Bandbreite an die Öffentlichkeit. Das Energieministerium finanziert es hauptsächlich über die ASCR-Aktivität High Performance Network Facilities and Testbeds. Der Antrag für das Haushaltsjahr 2027 schlug 103 Millionen Dollar für diese Programmzeile vor, verglichen mit 97,261 Millionen Dollar in der vorangegangenen beschlossenen Spalte.

Diese Zahlen liefern den besten öffentlichen Indikator für die Programmgröße, sind aber keine ESnet-Gewinn- und Verlustrechnung. Die Zeile unterstützt auch netzbezogene Testbeds, Softwarepflege, Upgrades und Forschungsaktivitäten. Sie weist keine getrennten jährlichen Betriebskosten für das Produktions-Backbone, keine Investitionsausgaben nach Netzgeneration oder die mit einzelnen Standortanbindungen verbundenen Einnahmen aus.

Öffentliche Finanzierung erlaubt der Einrichtung zu investieren, bevor die Nachfrage kommerziell wird. Sie kann langfristiges Spektrum kaufen, Open-Source-Tools pflegen, Experimente mit geringem Volumen aber hoher wissenschaftlicher Bedeutung unterstützen und Routendiversität über das hinaus aufbauen, was die unmittelbare Nutzung rechtfertigen könnte. Dasselbe Modell erzeugt Abhängigkeit von Kongressbewilligungen, Ministeriums-Prioritäten und dem Betriebsrahmen des Berkeley Lab.

Standortanbindungen sind nicht immer kostenlos. ESnets Site User Cost Policy erlaubt es institutionellen Nutzenden, anschlussbezogene Kosten je nach Sponsoring, Förderfähigkeit und zusätzlichen Anforderungen zu tragen. Die Einheit der Beziehung ist der Standort, nicht der einzelne Forschende. Endpunktnutzende werden nicht separat über ESnet abgerechnet oder registriert.

Das Fehlen eigenständiger Abschlüsse begrenzt die Finanzanalyse. Das öffentliche Material offenbart keine vollständige Lieferantenkonzentration, Lohnkosten, Abschreibungspläne, streckenbezogene Anlagenregister oder jährliche Kapitalbudgets. 103 Millionen Dollar als „ESnet-Umsatz“ zu bezeichnen, wäre daher inkorrekt. Die zutreffendere Schlussfolgerung ist, dass ein föderales Programm eine Produktionseinrichtung, ihre Modernisierungsarbeiten, Softwarepflege und Testbeds über eine breitere Aktivitätslinie finanziert.

Die Förderstruktur beeinflusst auch strategische Entscheidungen. Ein kommerzielles Netz kann sich von einer Route zurückziehen, die ihre Kosten nicht deckt. Eine öffentliche wissenschaftliche Einrichtung muss nationalen Auftrag, wissenschaftliche Gelegenheit und langfristige Kapazität gegen Budgetbeschränkungen abwägen. Das kann Investitionen ohne unmittelbare finanzielle Rendite rechtfertigen, macht aber transparente Priorisierung und Anforderungsevidenz unerlässlich. (ASCR-Haushaltsantrag FY2027;ESCC und Standortrichtlinie)

Zuverlässigkeit und Sichtbarkeit schaffen Verpflichtungen jenseits der Betriebszeit

ESnets Berichterstattung 2024 verzeichnete ein bemerkenswertes Verfügbarkeitsergebnis: Alle zehn in die relevante Messgröße einbezogenen Office-of-Science-Standorte erreichten 100 Prozent Dienstverfügbarkeit ohne geplante Wartung. Es war das erste Jahr, in dem jeder Standort die 99,9-Prozent-Anforderung gleichzeitig übertraf. Der Jahresbericht gab außerdem eine breitere Betriebszeit von 99,99 Prozent an. Dies sind nützliche, aber unterschiedlich abgegrenzte Maße, nicht der Beweis, dass jeder Dienst, jede Einrichtung und jeder internationale Pfad keine Unterbrechung erlebte.

Das Site Resilience Program untersucht diverse Zugänge, Router, Stromversorgungen und Ausfalldomänen an angeschlossenen Einrichtungen. Dies spiegelt eine unbequeme Tatsache wider: Ein nationaler Backbone kann redundant sein, während ein Labor von einem einzigen lokalen Kabelkanal oder Gerät abhängt. Zuverlässigkeit muss das Gebäude und das Datentransfersystem erreichen, nicht an der Backbone-Karte haltmachen.

Die Routing-Politik liefert eine weitere Kontrollebene. ESnet weist RPKI-invalide Ankündigungen im Peering zurück, verlangt aktuelle Einträge in Routing-Registern und unterstützt Route-Hijack-Überwachung sowie zielgerichtetes Blackholing. Diese Kontrollen reduzieren bekannte Risiken, können aber Interdomain-Routing nicht unfehlbar machen. Ein gültiger Routenursprung kann dennoch mit einem Leak oder Richtlinienfehler verbunden sein, und ein Blackhole schützt andere Systeme, indem es das angegriffene Ziel unerreichbar macht.

Automatisierung erzeugt einen ähnlichen Kompromiss. Standardisierte Konfiguration, Inventarisierung und Orchestrierung können manuelle Fehler verringern und die Wiederherstellung beschleunigen. Ein falsches Template, eine falsche Richtlinie oder ein falscher Datensatz können sich aber auch rasch über viele Geräte verbreiten. Die angemessene Antwort sind gestaffelte Einführung, unabhängige Validierung, klare Rollback- oder Vorwärtswiederherstellungsprozeduren und Begrenzungen der Befugnis eines einzelnen Automatisierungskontos.

Betriebsdaten verdienen gleiche Aufmerksamkeit. ESnets Facility Data Policy besagt, dass Router-Auslastungs- und NetFlow-Daten unbegrenzt aufbewahrt und über Ost- und Westküstenspeicher repliziert werden können. Aktive perfSONAR-Messungen werden sechs Monate auf einer einzelnen Festplatte ohne Backup aufbewahrt. Router-Auslastungs- und Traceroute-Daten sind öffentlich, während Fluss- und Sicherheitsdaten eingeschränkt zugänglich sind.

ESnet kann keine individuelle Teilnehmerbeziehung haben und dennoch detaillierte Betriebsmetadaten sammeln; dies sind unterschiedliche Systeme. ESnet hat keine individuelle Mitglieder- und Abrechnungsbeziehung, doch Netzmetadaten können Endpunkte, kommunizierende Einrichtungen, Zeitverhalten und Verkehrsmuster identifizieren. Hochgenaue Telemetrie verbessert Diagnose und Sicherheit, steigert aber zugleich den Bedarf an Minimierung, Zugriffskontrolle, Aufbewahrungsprüfung und rechenschaftspflichtiger Nutzung.

Ein glaubwürdiges Resilienzmodell beruht auf begrenzten Mechanismen: physische Diversität, Standortengineering, Routing-Sicherheit, Messung, Incident Response, Data Governance und klar abgegrenzte Metriken. (Verfügbarkeits-Meilenstein;Facility Data Policy;Peering-Richtlinie)

Die Probe besteht darin, ob verteilte Wissenschaft in der Praxis funktioniert

ESnets Geschichte kann als Abfolge schnellerer Netze gelesen werden: spezialisierte Vorgänger, ESnet4, ein kontinentales 100G-ESnet5 und das Multi-Terabit-ESnet6. Diese Chronologie ist real, aber sie übersieht die wichtigere Kontinuität. Die Einrichtung änderte wiederholt die Architektur rund um die wissenschaftliche Arbeit, wenn rohe Bandbreite allein das Problem nicht lösen konnte.

Das Science Data Network trennte außergewöhnliche Datenströme vom gewöhnlichen Verkehr. OSCARS machte Kapazität reservierbar. Science DMZ veränderte die institutionelle Peripherie. perfSONAR und iperf3 verwandelten Leistungsstreitigkeiten in Messungen. SENSE verband Anwendungsabsicht mit mehreren administrativen Domänen. EJFAT brachte den Weitverkehrspfad in die Detektorschleife. Caching veränderte die Nachfrage, und transatlantisches Spektrum veränderte ESnets Kontrolle über internationales Wachstum.

Die Autorität der Organisation bleibt begrenzt. DOE und ASCR legen Mission und Finanzierung fest. Berkeley Lab betreibt die Einrichtung. Die University of California managt das Labor unter Vertrag. Standortkoordinierende genehmigen Änderungen, die ihre Einrichtungen betreffen. Internationale Partner kontrollieren ihre eigenen Netze. Cloud-Anbieter, Netzbetreiber, Kabeleigner und Gerätehersteller behalten die Macht über Komponenten, von denen ESnet abhängt.

Diese Verteilung der Kontrolle ist keine Unannehmlichkeit, die Software beseitigen kann. Es ist die Bedingung, unter der ein wissenschaftliches Netz operiert. Die praktische Leistung ist eine Koordination, die stark genug ist, um einen Workflow zu liefern, ohne zu behaupten, dass eine Institution den gesamten Pfad besitzt.

Dieselbe Disziplin sollte Behauptungen über die Zukunft leiten. ESnet7 ist Planung, SENSE verbleibt im jüngsten vollständigen Bericht in der Forschungsphase, EJFAT ist ein fortgeschrittener Prototyp oder eine entstehende Plattform, QUANT-NET ist experimentell, und die American Science Cloud befand sich noch im Aufbau. Ihre Evidenz ist genau dann wertvoll, wenn der Reifegrad zutreffend beschrieben wird.

ESnets langfristige Bedeutung liegt im Modell der Nutzereinrichtung. Das Netz wird als wissenschaftliches Instrument mit Anforderungen, Betrieb, Software, Messung, Forschung und öffentlicher Finanzierung behandelt. Dieses Modell erkennt an, dass ein Detektor und ein Supercomputer, die Tausende Kilometer voneinander entfernt sind, wenig gemeinsamen Wert schaffen, wenn die Systeme dazwischen nicht als ein Pfad konstruiert sind.

Kein neutrales aktuelles Maß in den vorgelegten Belegen kann ESnet als das schnellste Netz der Welt einstufen, und das ist nicht der nützlichste Test. Das stärkere Maß ist, ob ein Instrument entfernten Speicher oder Rechenleistung mit der erforderlichen Rate erreichen kann, sich erholt, wenn ein Teil des Pfades ausfällt, und Evidenz liefert, die zeigt, wo die Verantwortung liegt. ESnets Ansehen wird durch diese Produktionsergebnisse bestätigt oder geschwächt werden, während die Arbeit an der American Science Cloud, Live-Streaming und das letztendliche ESnet7-Programm von Demonstrationen und Plänen zu unterstütztem wissenschaftlichem Dienst übergehen. (ESnet-Geschichte;ESnet6-Start;Jahresbericht 2024)

Quellen

Strategic Circle: Indikatoren, Auslöser und Szenarien

Die nächste Phase von ESnet sollte anhand von Betriebsevidenz beurteilt werden. Der erste Indikator ist eine formale ESnet7-Basislinie. Ein finanzierter Projektplan, eine definierte Architektur, ein Beschaffungszeitplan und eine Migrationsmethode würden das Programm von Innovationsarbeit in ein rechenschaftspflichtiges Netzgenerationsprojekt überführen. Solange diese Elemente fehlen, bleibt ESnet6 das Produktionssystem und „ESnet7“ eine Planungsbezeichnung.

Der zweite Indikator ist, wie das Netz den nächsten wissenschaftlichen Nachfragezyklus aufnimmt. Der Betrieb des High-Luminosity LHC, die Inbetriebnahme des Rubin-Observatoriums, die DUNE-Entwicklung, die ITER-Datenproduktion und das Wachstum von KI-Arbeitslasten können das Verkehrsprofil ebenso verändern wie das Verkehrsvolumen. Nützliche Evidenz werden Standortleitungs-Upgrades, anhaltende Produktionsraten, Burst-Tests, verpasste Fristen und die Anzahl der Workflows sein, die Echtzeit- statt verzögerten Transfer erfordern.

Die internationale Resilienz sollte getrennt von der aggregierten Bandbreite verfolgt werden. Das Erreichen der geplanten 3,2 Tbit/s über vier echt diverse transatlantische Pfade wäre ein materieller Meilenstein. Ein großer Kabelausfall würde einen härteren Test liefern: wie viel Verkehr wiederhergestellt werden kann, wie schnell und welche wissenschaftlichen Workflows Priorität erhalten, wenn mehrere Systeme gleichzeitig nicht verfügbar sind.

Der Übergang von Forschungssoftware zu unterstütztem Dienst ist ein weiterer Auslöser. EJFAT würde eine wichtige Grenze überschreiten, wenn ESnet ein Produktions-Support-Modell, Integrationsanforderungen und Service-Level-Verantwortlichkeiten veröffentlicht, die von mehreren Instrumenten genutzt werden. SENSE würde den Status ändern, wenn domänenübergreifende Orchestrierung außerhalb ausgewählter Demonstrationen zur Routine wird. High-Touch sollte an den Betriebsentscheidungen gemessen werden, die es verbessert, und an den Kontrollen, die die resultierenden Daten regeln, nicht allein am Telemetrievolumen.

Die Arbeit an der American Science Cloud erfordert dieselbe Disziplin. Ein Produktionsstart sollte berechtigte Nutzende, angeschlossenes Rechnen und Speicher, Identität und Autorisierung, Service-Support, Datenverantwortung und die Rolle kommerzieller Clouds definieren. Demonstrationen zeigen die technische Richtung. Sie beantworten noch nicht, wer rechenschaftspflichtig ist, wenn ein Workflow eine DOE-Einrichtung, ESnet und einen kommerziellen Anbieter umfasst.

Die Finanzierung ist ein praktischer Auslöser. Die endgültige FY2027-Bewilligung sollte mit den 103 Millionen Dollar für High Performance Network Facilities and Testbeds verglichen werden, wobei zu bedenken ist, dass die Zeile breiter als ESnet ist. Eine anhaltende Finanzierungskürzung würde den aktuellen Verkehr nicht unbedingt sofort unterbrechen, könnte aber Optik, Standortresilienz, Softwarepflege, internationales Spektrum und ESnet7 verzögern. Ein großer Anstieg könnte das Programm beschleunigen und zugleich das Risiko erhöhen, zu viele Forschungsfronten auf einmal zu verfolgen.

Betriebsteams sollten die Zahl der 400G-Standortanbindungen, die Einführung von 800G- oder höheren Paketdiensten, das Personalwachstum und das Alter kritischer optischer und Routing-Plattformen beobachten. Sie sollten zudem den Verkehr nach dem ungewöhnlichen vierprozentigen Wachstum von 2024 beobachten. Eine Rückkehr zu hohem Wachstum würde aggressive Kapazitätsplanung validieren; anhaltend langsameres Wachstum würde die Argumente für selektive Upgrades, Caching und Workflow-Optimierung statt einheitlicher Expansion stärken.

Mehrere Szenarien folgen. In einem Workflow-Integrationsszenario wird ESnet zur Verbindungs- und Orchestrierungsschicht der American Science Cloud, wobei Live-Instrumentenströme und geteiltes Rechnen zum normalen Einrichtungsdesign werden. In einem kapazitätsbeschränkten Szenario wächst die internationale Wissenschaft schneller als die U-Boot-Diversität und erzwingt Prioritätsentscheidungen. In einem Standort-Engpassszenario skaliert der nationale Backbone erfolgreich, während lokaler Speicher, Firewalls und Campus-Verbindungen der begrenzende Faktor bleiben.

In einem finanzierungsbeschränkten Szenario lebt ESnet6 länger, und Software, kohärentoptische Upgrades und Caching tragen mehr von der Last. Drahtlos- und Quantenarbeiten könnten wiederverwendbare Steuerungssysteme hervorbringen, ohne zu Mainstream-Produktionsdiensten innerhalb der nächsten Generation zu werden.

Für Laborleitungen ist die berufliche Implikation einfach: Ein ESnet-Upgrade ersetzt keine lokale Technik. Standortresilienz, Science-DMZ-Design, Datentransferknoten, Speicher und Messung sollten als Teil derselben wissenschaftlichen Fähigkeit finanziert werden. Für Programmmanager ist die relevante Frage, ob ein geplantes Instrument einen ausführbaren durchgängigen Workflow hat, nicht ob eine nationale Backbone-Folie genug Kapazität zeigt.

Leadership Alliance: Kontrolle, Anreize und irreversible Entscheidungen

ESnets Kontrollstruktur ist auf Institutionen mit unterschiedlichen Anreizen verteilt. Das Energieministerium und ASCR definieren die Mission und weisen föderale Mittel zu. Die Scientific Networking Division des Berkeley Lab entwirft und betreibt die Einrichtung. Die University of California liefert den Laborbetriebsrahmen. Die ESnet-Führung alloziiert technische Aufmerksamkeit auf Betrieb, Sicherheit, Software, Forschung und Wissenschaftsengagement. Standortkoordinierende kontrollieren Änderungen, die ihre eigenen Verbindungen betreffen.

Wissenschaftsprogramme artikulieren künftige Anforderungen, während Partnernetze, Kabelanbieter, Cloud-Firmen und Gerätehersteller Teile des durchgängigen Systems kontrollieren.

Diese Struktur verhindert, dass ein einzelner Akteur den gesamten wissenschaftlichen Pfad befehligen kann, aber sie kann auch die Verantwortung für Fehler verschwimmen lassen. Ein zentrales Programm kann ein Backbone finanzieren, ohne eine lokale Einrichtung zu ertüchtigen. Ein Labor kann Kapazität anfordern, ohne Speicher vorzubereiten. Ein Cloud-Anbieter kann eine private Zusammenschaltung liefern, während er die Kontrolle über regionale Verfügbarkeit und Preisgestaltung behält. Effektive Führung hängt daher davon ab, Grenzen explizit zu machen und an jeder Schnittstelle Evidenz einzufordern.

Die erste Entscheidung betrifft, wie viel Autorität das Netz über den Workflow erlangen sollte. Mehr Orchestrierung kann Kapazität, Speicher und Rechnen effizient zuteilen. Sie kann auch Berechtigungen konzentrieren und einen großen Automatisierungs-Blastradius erzeugen. Ein umsichtiges Design belässt die Richtlinienhoheit bei den Institutionen, die die Konsequenzen tragen, legt schmale Fähigkeiten über authentifizierte Schnittstellen offen und verlangt unabhängige Verifikation vor Änderungen mit hohem Einfluss.

Die zweite Entscheidung betrifft, wo Kapital irreversibel gebunden wird. Faser- und Spektrumsrechte, Landevereinbarungen, optische Plattformen und Standortbau können das Netz für fünfzehn Jahre oder mehr prägen. Abwarten bewahrt Flexibilität, riskiert aber, dass beim Start eines Experiments keine Kapazität mehr erhältlich ist. Frühe Bindung sichert Kontrolle, kann Investitionen aber entwerten, wenn sich Wissenschaftszeitpläne oder Technologien ändern. Anforderungsüberprüfungen sind wertvoll, weil sie diese Bindungen mit benannten Workflows verknüpfen, statt Wachstum als generische Kurve zu behandeln.

Die dritte Entscheidung betrifft Daten. Unbegrenzte Aufbewahrung von Flussdaten und hochgenaue Telemetrie können Incident Response, Kapazitätsplanung und Sicherheit verbessern. Sie schaffen aber auch dauerhafte Aufzeichnungen wissenschaftlicher Beziehungen und des Verhaltens von Endpunkten. Die Führung sollte zwischen Daten, die für die Kontinuität unerlässlich sind, und Daten, die nur aufbewahrt werden, weil Speicher verfügbar ist, unterscheiden, Zugriff und Nutzung dokumentieren und prüfen, ob die unbegrenzte Aufbewahrung noch verhältnismäßig ist, wenn die Telemetrie detaillierter wird.

Die vierte Entscheidung betrifft die Grenze zwischen öffentlicher Infrastruktur und kommerziellen Diensten. Cloud Connect kann Forschenden private Pfade zu leistungsfähigen Ressourcen bieten, aber das Cloud-Konto, die Sicherheitskonfiguration, die Egress-Bepreisung und die Dienstverfügbarkeit bleiben externe Abhängigkeiten. ESnet sollte diese Abhängigkeiten lesbar machen, anstatt zuzulassen, dass ein privater Pfad mit öffentlicher Kontrolle des gesamten Dienstes verwechselt wird.

Effekte zweiter Ordnung sind bedeutsam. Wenn Live-Streaming zum Standard wird, könnten Einrichtungen weniger lokal rechnen und stärker vom Weitverkehrsnetz und nationalen Schedulern abhängig werden. Das kann die Auslastung verbessern, aber einen Backbone-Vorfall in einen Experiment-Vorfall verwandeln. Wenn anwendungsgetriebene Orchestrierung normal wird, könnte wissenschaftliche Software beginnen anzunehmen, dass Kapazität dynamisch reservierbar ist, was manuelles Fallback erschwert. Wenn Caches und geteilte Speicher wachsen, wird die Datenplatzierungspolitik zu einer Infrastruktur-Governance-Frage.

Effekte dritter Ordnung erreichen die Organisation der Wissenschaft. Ein verlässlicher Pfad vom Instrument zum Supercomputer erlaubt kleineren Einrichtungen, Fähigkeiten zu nutzen, die sie lokal nicht finanzieren könnten. Das kann den Zugang breiter verteilen, aber auch essenzielles Rechnen in wenigen nationalen Zentren konzentrieren. KI-Workflows könnten die Nachfrage nach geteilten Beschleunigern erhöhen und Netzentscheidungen größeren Einfluss darauf geben, welche Experimente rechtzeitig analysiert werden.

Das schwerwiegendste irreversible Risiko ist nicht ein fehlgeschlagenes Upgrade. Es ist die Gestaltung eines wissenschaftlichen Ökosystems, dessen Komponenten nicht mehr unabhängig genug arbeiten können, um sich zu erholen. ESnet sollte die Integration vertiefen und gleichzeitig beobachtbare Grenzen, lokales Fallback, Routendiversität, offene Schnittstellen und die Fähigkeit bewahren, einen Lieferanten oder Dienst auszutauschen. Die Geschichte der Einrichtung stützt diesen Ansatz: Ihre stärksten Beiträge zentralisierten nicht jede Entscheidung.

Sie machten geteilte Infrastruktur programmierbar und messbar, während die Verantwortung sichtbar blieb.

Die Führung sollte ESnet an drei Ergebnissen messen: ob wissenschaftliche Programme verlässliche durchgängige Fähigkeit statt nominaler Bandbreite erhalten; ob langlebige Investitionen Optionen bewahren; und ob Automatisierung und Telemetrie die Evidenz verbessern, ohne unüberprüfbare Autorität in ein System zu legen. Diese Tests entscheiden, ob die Einrichtung wiederherstellbar und nützlich bleibt, wenn sich wissenschaftliche Nachfrage, Technologie und öffentliche Prioritäten ändern.