Zusammenfassung

  • Energy Sciences Network (ESnet) ist eine wissenschaftliche Netzwerkeinrichtung des Office of Science des US-Energieministeriums, die vom Lawrence Berkeley National Laboratory betrieben wird. Es handelt sich weder um einen kommerziellen Telekommunikationsanbieter noch um eine unabhängige juristische Person, sondern um eine aus Bundesmitteln finanzierte wissenschaftliche Infrastruktur.
  • ESnet6 kombiniert eine dedizierte Glasfaserbasis von etwa 15.000 Meilen, optische Übertragung, Paketrouting, private Netzwerke, Cloud- und R&E-Netzverbindungen, Messung und programmierbare Dienste. Die für 2024 gemeldeten 57 Tbit/s sind die aggregierte Kapazität, und 1,77 Exabyte ist der jährliche Datenverkehr; das bedeutet nicht, dass jedem Nutzer ein Pfad mit 57 Tbit/s zur Verfügung steht.
  • Ein entscheidender Beitrag von ESnet besteht darin, die Netzwerkleistung als End-to-End-Problem zu behandeln. Science DMZ, perfSONAR, iperf3, OSCARS, SENSE, High-Touch und EJFAT verbessern lokale Systeme, Netzwerkreservierungen, Telemetrie und Live-Datenverarbeitung und verknüpfen die Backbone-Kapazität mit tatsächlichen wissenschaftlichen Ergebnissen.
  • Die nächste Phase geht über reine Geschwindigkeitssteigerung hinaus. American Science Cloud, Integrated Research Infrastructure, ESnet7-Planung, Echtzeit-Streaming von Instrumenten, drahtlose Feldnetze und Quantennetzsteuerung zielen darauf ab, das Netzwerk direkt in wissenschaftliche Workflows zu integrieren. Allerdings sind die Reifegrade unterschiedlich, und Pläne oder Demonstrationen können nicht als allgemein verfügbare Produktionsdienste behandelt werden.

Kein Einzelhandels-ISP, sondern ein Netzwerk für die Wissenschaft

ESnet lässt sich am einfachsten verstehen, indem man dem Weg eines wissenschaftlichen Datensatzes folgt. Detektoren, Teleskope, Mikroskope und Simulationen erzeugen Informationen in einer Forschungseinrichtung. Datenerfassungssysteme nehmen sie auf, und Speicher- oder Übertragungsserver bereiten sie für den Transport vor. Ein lokales Netzwerk befördert die Daten an eine verwaltete Grenze, von der aus ESnet sie innerhalb der USA, zu Forschungseinrichtungen auf der anderen Seite des Atlantiks, zu Supercomputern des US-Energieministeriums, zu Forschungs- und Bildungsnetzwerken und zu kommerziellen Clouds weiterleitet.

Zurück kommen analysierte Daten, Warnmeldungen, Modelle oder Informationen, die die nächste Betriebsentscheidung eines Experiments bestimmen.

Dieser gesamte Pfad wird nicht von einer einzigen Organisation kontrolliert. Instrumententeams, Labor-LANs, regionale Forschungsnetze, Cloud-Anbieter, internationale Partner und Supercomputing-Einrichtungen gehören sehr wahrscheinlich unterschiedlichen Betreibern. ESnet stellt die Weitverkehrsnetzschicht bereit, die auf wissenschaftliche Missionen ausgerichtet ist, und arbeitet mit anderen Betreibern zusammen, damit der gesamte Pfad funktioniert.

Langsame Speicher, überlastete Campus-Leitungen oder ungeeignete Firewalls können einen schnellen nationalen Backbone zunichtemachen, ebenso wie ein Ausfall auf ESnet-Seite eine ordnungsgemäß konzipierte lokale Einrichtung lahmlegen kann.

Die institutionelle Einordnung ist ebenfalls klar. ESnet ist eine Nutzereinrichtung des DOE Office of Science, die hauptsächlich durch Advanced Scientific Computing Research (ASCR) finanziert und beaufsichtigt wird und von der Scientific Networking Division des Berkeley Lab betrieben wird. Das Berkeley Lab selbst wird von der University of California im Rahmen eines Vertrags mit dem DOE betrieben. ESnet besitzt weder Aktionäre noch börsennotierte Aktien noch einen eigenständigen Unternehmenswert oder eigenständige Finanzberichte als kommerzielles Unternehmen.

Es muss daher als bundesstaatliche wissenschaftliche Infrastruktur und nicht als Unternehmen, das Netzwerkdienste verkauft, beschrieben werden.

Forscher schließen normalerweise keinen direkten Vertrag mit ESnet ab. Ihr Datenverkehr gelangt über die Nutzung wissenschaftlicher Instrumente, Supercomputer, Labordienste, Universitätsnetzwerke oder kooperativer Forschungsnetze zu ESnet. ESnet unterscheidet zwischen Standortbenutzern und Endpunktnutzern auf institutioneller Ebene und registriert oder verfolgt einzelne Endnutzer nicht förmlich als Abonnenten. Die im Jahresbericht 2024 genannten „mehr als 30.000 organisatorische Nutzer“ stellen eine Momentaufnahme der institutionellen Größe dar, keine individuelle Abonnentenzahl.

Angesichts dieses Betriebsmodells wird die Rolle von ESnet durch einen reinen Vergleich mit herkömmlichen Telekommunikationsanbietern nicht erfasst. Während ESnet optische Übertragung, Routing und Verbindungen betreibt, befasst es sich auch mit Anforderungsüberprüfungen, Open-Source-Entwicklung, experimentellen Diensten und der Leistungsverbesserung von Standorten. Es bietet keine privatkundentauglichen Leitungen an. Was es bereitstellt, ist die Fähigkeit, entfernte wissenschaftliche Einrichtungen als ein gemeinsames System zu betreiben. (ESnet-Governance;Netzwerkdienste)

Die Ursprünge lagen bei seltenen Großrechnern und Akustikkopplermodems

Die offizielle Geschichte von ESnet beginnt Mitte der 1970er-Jahre, als sowohl Rechner als auch Fernverbindungen noch selten waren. Im Controlled Thermonuclear Research Computer Center des Lawrence Livermore National Laboratory wurde ein geliehener Control Data Corporation 6600 über vier Akustikkoppler verbunden. Die Geräte und Geschwindigkeiten mögen einer anderen Ära angehören, doch die betriebliche Herausforderung bleibt aktuell: Eine spezialisierte wissenschaftliche Gemeinschaft benötigte Fernzugang zu teuren Rechenressourcen, die keine einzelne Einrichtung duplizieren konnte.

Ende der 1970er- und zu Beginn der 1980er-Jahre bauten verschiedene Forschungsbereiche innerhalb des US-Energieministeriums ihre eigenen Netze auf. Hochenergiephysik und magnetische Fusion hatten unterschiedliche Einrichtungen, Kooperationspartner und Datenflüsse, was sich in Netzen wie HEPnet und MFEnet widerspiegelte. Spezialisierte Netze waren sinnvoll, weil kommerzielle Dienste nicht die erforderliche Reichweite, Leistung oder betriebliche Unterstützung boten.

Sie führten jedoch zu Doppelinvestitionen, da jedes Programm eigene Leitungen beschaffte und eigenes technisches Fachwissen vorhielt, während die bereichsübergreifende Koordination fragmentiert blieb.

Die formelle Gründung von ESnet im Jahr 1986 fasste diese Funktionen in einem breiteren wissenschaftlichen Netzwerk zusammen. Der Wandel war nicht nur technisch, sondern auch organisatorisch. Eine gemeinsame Einrichtung kann die Nachfrage über mehrere Programme hinweg prognostizieren, landesweite Leitungen betreiben, internationale Anbindungen koordinieren und spezialisiertes Personal vorhalten. Die Kapazitätsfrage verschob sich von einem Problem einzelner Experimente zu einer Frage der Infrastrukturplanung für das gesamte DOE.

Schon das frühe Modell wies Merkmale auf, die bis heute fortbestehen. Die Nutzer waren nicht durch den Massenmarkt, sondern durch ihre wissenschaftliche Mission definiert; zentrale Rechner oder wissenschaftliche Instrumente rechtfertigten die gemeinsame öffentliche Investition. Das Netzwerkdesign folgte langfristigen Forschungsfahrplänen, und der Betrieb erforderte Personal, das sowohl Kommunikationstechnologie als auch die wissenschaftlichen Auswirkungen von Ausfällen verstand. Die Nachfrage war nicht gleichmäßig; ein einzelnes Experiment konnte Verkehrsmengen erzeugen, die das übliche Niveau weit überstiegen.

Auch das Berkeley Lab verfügte über eine eigene netzwerktechnische Forschungstradition. 1974 schloss es eine CDC 6600 an das ARPANET an, und später trugen Forscher zu grundlegenden Arbeiten zur TCP-Überlastkontrolle bei. Die Arbeiten von Van Jacobson und Mike Karels gehören zum gesamten Forschungsumfeld des Berkeley Lab und sollten nicht als alleinige Leistung von ESnet dargestellt werden. Dennoch stand die Kultur, Protokollverhalten, Messung und Leistung als technische Herausforderung zu behandeln, dem Betriebsdenken von ESnet nahe.

Der Betrieb von ESnet wurde 1996 an das Berkeley Lab übertragen. Dies brachte ESnet in die unmittelbare Nähe des National Energy Research Scientific Computing Center (NERSC), von Netzwerkforschern, Softwareingenieuren und anderen DOE-Programmen. Die heutige Konstellation – ein Produktionsnetzwerk und eine angewandte Forschungsorganisation, die Personal, Einrichtungen und technische Herausforderungen teilen – setzte sich zu diesem Zeitpunkt durch. (ESnet-Geschichte)

Warum das Netzwerk zu einer wissenschaftlichen Nutzereinrichtung wurde

Wissenschaftliche Nutzereinrichtungen existieren, um Fähigkeiten zu teilen, die für einzelne Forschungsgruppen zu teuer, zu spezialisiert oder zu stark voneinander abhängig wären, um sie allein zu errichten. Wie Teilchenbeschleuniger, Lichtquellen oder Supercomputer überträgt ESnet diesen Gedanken auf die Kommunikation. Es bündelt langlaufende Glasfaserrechte, optische Geräte, Router, internationale Kapazität, Rund-um-die-Uhr-Betrieb, Cybersicherheit, Leistungsmessung und technische Unterstützung in einer Einrichtung, die mehrere wissenschaftliche Programme nutzen.

Die Form der wissenschaftlichen Nachfrage erklärt die Notwendigkeit öffentlicher Finanzierung. Kommerzielle Telekommunikationsanbieter können zwar hochkapazitive Leitungen verkaufen, sind aber nicht unbedingt bereit, ein nationales Netz für Detektoren zu entwerfen, die erst in mehreren Jahren in Betrieb gehen, für Supernovae, die innerhalb der Vertragslaufzeit vielleicht gar nicht auftreten, oder für wissenschaftliche Workflows, deren kommerzieller Verkehr gering, deren öffentlicher Wert aber hoch ist.

ESnet kann investieren, bevor die tatsächliche Nachfrage entsteht, denn seine Mission ist es, wissenschaftliche Leistungsfähigkeit bereitzustellen, nicht kurzfristige Netzwerkeinnahmen zu erzielen.

Das Nutzereinrichtungsmodell verändert auch die Art, wie der Bedarf erfasst wird. ESnet führt formelle Anforderungsüberprüfungen mit den Wissenschaftsprogrammen des DOE durch. Forscher und Einrichtungsteams beschreiben Instrumente, Datenvolumen, Speicherorte, Rechenziele, zeitliche Vorgaben, Kooperationsstrukturen und lokale Engpässe mit einem Zeithorizont von fünf bis zehn Jahren. Die Ergebnisse fließen in Entscheidungen über Standortanschlusskapazität, Pfaddiversität, transatlantische Kapazität, Orchestrierungsforschung und Dienstedesign ein.

Diese Arbeit ist weniger sichtbar als eine neue Glasfaserverbindung, kann aber wichtiger sein. Verträge über Seekabelspektrum, Routerbeschaffung oder eine zweite physische Zuleitung zu einem Standort können von der Finanzierungszusage bis zur Inbetriebnahme mehrere Jahre beanspruchen. Würde man erst mit den Vorbereitungen beginnen, wenn ein Experiment Daten liefert, würde aus einem vorhersehbaren Infrastrukturbedarf ein Notfall. Anforderungsüberprüfungen übersetzen wissenschaftliche Planung in technische Vorlaufzeiten.

Gleichzeitig machen Anforderungsüberprüfungen Unsicherheiten sichtbar. Instrumentenzeitpläne verzögern sich, Datenreduktionssoftware verbessert sich, die Cloud-Nutzung wächst und Einrichtungen gestalten Workflows um. ESnet behandelt kein einzelnes Szenario als festen Verkehrsauftrag. Es erstellt mehrere Annahmen und ermittelt, wo Flexibilität, Reservekapazität und stufenweise Einführung erforderlich sind.

In diesem Modell werden einzelne Forscher nicht nach Gigabyte abgerechnet. Der Kernbetrieb wird aus Bundesmitteln finanziert; einige Standortanschlusskosten können durch Programmsponsoring oder die Site User Cost Policy gedeckt werden. Dennoch bleiben Anreizkonflikte bestehen: Sponsoring-Programme wünschen niedrige Anschlusskosten, ESnet strebt Kapazität und Resilienz für viele Programme an, und Standorte könnten lokale Erneuerungen aufschieben, obwohl sie für die Nutzung des nationalen Netzes nötig wären. Die Governance-Aufgabe besteht nicht darin, Kosten auf andere Haushaltstitel zu verschieben, sondern diese Abwägungen mit dem wissenschaftlichen Ertrag zu verknüpfen. (ESnet Site Coordinators Committee und Kostenrichtlinien;Anforderungsüberprüfungsberichte)

Betrieben vom Berkeley Lab, die Mission vom DOE festgelegt

ESnet besitzt keine unternehmerische Hierarchie wie ein Telekommunikationsanbieter. Die Befugnisse verteilen sich entlang der bundesstaatlichen Programmverantwortung. Das DOE Office of Science legt die Mission fest; Advanced Scientific Computing Research übernimmt die hauptsächliche Programmaufsicht und Budgetkontrolle. Die Scientific Networking Division des Berkeley Lab entwirft, betreibt und entwickelt die Einrichtung; die University of California betreibt das Berkeley Lab unter einem Vertrag mit dem DOE. Die angeschlossenen Einrichtungen beteiligen sich über Standortkoordinatoren und das ESnet Site Coordinators Committee.

Inder Monga ist Executive Director von ESnet und leitet die Scientific Networking Division des Berkeley Lab. Nach öffentlich zugänglichen Führungsinformationen sind Chin Guok Chief Technology Officer und Leiter des Bereichs Planning and Innovation, Adam Slagell Chief Security Officer, Jon-Paul Herron Director of Network Engineering und Susan Lucas Deputy of Business Operations. Darunter gliedern sich die Funktionen Optik, Routing, Standorttechnik, Netzbetrieb, Software, Messung, Orchestrierung, Sicherheit, Projektmanagement und wissenschaftliche Zusammenarbeit.

Diese organisatorische Breite korrigiert das einfache Bild eines nationalen Netzes als Ansammlung von Fasern und Routern. ESnet braucht Personal, das Spektrum beschafft, BGP betreibt, Telemetrie aufbaut, Open-Source-Software pflegt, Paketverhalten untersucht, Anlagen plant, Sicherheitsinformationen verwaltet und wissenschaftliche Anforderungen in Netzdesign übersetzt. ESnet ist gleichermaßen Betriebs- wie Entwicklungsorganisation.

In den öffentlichen Informationen gibt es eine ungeklärte Diskrepanz beim Programmmanagement. Die aktuelle ESnet-Governance-Seite nennt Benjamin Brown als ASCR-Programmmanager, während jüngere Anforderungsüberprüfungsunterlagen Carol Hawk als ESnet-Programmmanagerin aufführen. Entweder sind die öffentlichen Angaben nicht zeitgleich aktualisiert, die Zuständigkeit hat gewechselt oder die Rollen sind geteilt. Ohne zusätzliche offizielle Bestätigung kann keine der beiden Personen als alleinige Amtsinhaberin bezeichnet werden.

Das ESnet Site Coordinators Committee bietet den angeschlossenen Einrichtungen eine formelle betriebliche Schnittstelle. Jeder Standort benennt eine Person, die Anträge mit Auswirkungen auf die eigene Anbindung genehmigt, Anforderungen kommuniziert und an Richtlinien- und Planungsdiskussionen teilnimmt. Dies ist eine institutionelle Nutzer-Governance und keine direkte Abstimmung jedes einzelnen Forschers, der das Netz nutzt.

Dieses Gefüge schafft eine pragmatische Aufteilung der Verantwortlichkeiten. ESnet kontrolliert seinen eigenen Backbone und seine Dienste. Die angeschlossenen Standorte kontrollieren Campus-Geräte, Data Transfer Nodes, lokale Sicherheit und Stromversorgung. ASCR kontrolliert die Programmmittel, und die Wissenschaftsprogramme definieren die Auswirkungen von Verzögerungen oder Ausfällen. Internationale Partner kontrollieren ihre eigenen Netze. Damit ein vollständiger Workflow funktioniert, müssen diese unterschiedlichen Entscheidungsbereiche aufeinander abgestimmt sein. (ESnet-Führung;Governance)

ESnet4 trennte allgemeinen IP-Verkehr von riesigen wissenschaftlichen Datenströmen

Mitte der 2000er-Jahre begannen verteilte Experimente, die Natur des Netzwerkverkehrs zu verändern. Der Large Hadron Collider sollte bei CERN Daten erzeugen und an Labore und Rechenzentren in der ganzen Welt verteilen. Allgemeine Internetkonnektivität blieb notwendig, aber einige wissenschaftliche Übertragungen konnten so groß werden, dass sie normale Leitungen monopolisiert hätten. Beide Verkehrsmuster in einem einzigen homogenen Netz zu verarbeiten, würde Kapazitätsmanagement und Dienstgarantien erschweren.

ESnet4 antwortete mit einer hybriden Architektur. Ein IP-Core trug den allgemeinen wissenschaftlichen Verkehr, während ein separates Science Data Network großvolumigen wissenschaftlichen Strömen hochkapazitive optische Pfade bot. Die großen Labore wurden über Metro-Ringe angebunden, und die Zusammenarbeit mit Internet2 und internationalen Partnern erweiterte das Netz über die DOE-Standorte hinaus.

Der Unterschied bestand nicht einfach in „langsamem“ und „schnellem“ Verkehr. Allgemeine IP-Dienste brauchen große Reichweite und flexibles Routing. Geplante Multi-Terabyte-Übertragungen hingegen können von reservierten Layer-2-Pfaden mit festgelegten Startzeiten, Bandbreiten und Endpunkten profitieren. Das Science Data Network erkannte, dass wenige vorhersagbare, hochwertige Ströme ein anderes Steuerungsmodell benötigten als der normale Paketverkehr.

OSCARS entstand in dieser Umgebung. Das On-demand Secure Circuits and Advance Reservation System erlaubte autorisierten Nutzern oder Anwendungen, Netzwerkressourcen für einen bestimmten Zeitraum anzufordern. Das System suchte Pfade, prüfte topologische und richtlinienbezogene Einschränkungen, reservierte Bandbreite und VLAN-Ressourcen, konfigurierte die Geräte und entfernte die Konfiguration nach Ablauf der Reservierung wieder. Was zuvor manuelle Ingenieursarbeit erforderte, wurde zu einem per Software anforderbaren Dienst.

ESnet4 zeigte auch, dass reine Geschwindigkeit nicht der einzige Engpass ist. Selbst wenn ein reservierter Pfad die Weitverkehrskapazität sichert, bleibt eine Anwendung langsam, wenn der Speicher nicht schnell genug liest oder lokale Firewalls Pakete verwerfen. Diese Erfahrung führte direkt zu Science DMZ und End-to-End-Messungen.

In dieser Phase festigte sich ein wiederkehrendes ESnet-Entwurfsmuster: Ein wissenschaftliches Problem äußert sich zunächst als Verkehrsanforderung; die Einrichtung bündelt physische Kapazität, Steuerungsmechanismen und Betriebsverfahren. Sobald sich der Ansatz bewährt, verbreiten sich Software und Designleitfäden über das ursprüngliche Experiment hinaus. (ESnet4-Materialien;OSCARS)

Die Science DMZ legte Engpässe an organisatorischen Grenzen offen

Selbst wenn der nationale Backbone einwandfrei läuft, kann die Übertragungsleistung eines Forschers gering sein. Der Backbone ist nur ein Teil des Pfades. Universalfirewalls, gemeinsam genutzte Campus-Cores, veraltete Router, leistungsschwache Server, Paketverluste und Speicherbeschränkungen können die effektive Geschwindigkeit einer hochkapazitiven Leitung drastisch verringern.

Die Science DMZ ist ESnets Antwort auf dieses End-to-End-Problem. Leistungsstarke Data Transfer Nodes werden auf einem dedizierten Pfad nahe der verwalteten Organisationsgrenze platziert. Die Sicherheitsrichtlinie wird auf spezialisierte Systeme zugeschnitten, die einen begrenzten Dienst anbieten, anstatt langanhaltende wissenschaftliche Übertragungen durch eine vielseitige Stateful-Firewall zu schleusen.

Der Begriff Science DMZ wird gelegentlich als Verzicht auf Sicherheit missverstanden. Tatsächlich erfordert er gehärtete Hosts, Zugriffskontrolllisten auf den Routern, Überwachung, Schwachstellenmanagement, eine eingeschränkte Anwendungsfreigabe und betriebliche Disziplin. Das Design verändert, wo und wie Kontrollen greifen, nicht aber die Sicherheitsverantwortung an sich.

Leistungsmessung ist kein beliebiges Dashboard, sondern Teil der Architektur. perfSONAR-Knoten messen Durchsatz, Paketverlust, Latenz und Pfadänderungen unter kontrollierten Bedingungen. Wenn zwei Standorte eine Übertragungsstörung unterschiedlich wahrnehmen, lässt sich eingrenzen, ob das Problem am Host, an der lokalen Leitung, am regionalen Netz, am ESnet-Backbone oder beim internationalen Partner beginnt. Ohne Messungen meldet jeder Betreiber seine eigene Teilstrecke als in Ordnung, während der Forscher seine Daten nicht bewegen kann.

Data Transfer Nodes benötigen ebenfalls spezialisierte Technik. Netzwerkschnittstellen, CPU-Platzierung, Speicher, Festplatten oder parallele Dateisysteme, TCP-Puffer und Übertragungssoftware bestimmen den effektiven Durchsatz. ESnets Fasterdata-Leitfäden und der technische Support haben diese Faktoren in reproduzierbare Praxis überführt. Der Ansatz verbreitete sich zwar über die DOE-Einrichtungen hinaus, doch nicht jede Implementierung, die sich Science DMZ nennt, wird von ESnet betrieben.

Die breite Akzeptanz der Science DMZ rührt daher, dass sie ein Gerätebeschaffungsproblem in ein Systemdesign-Problem verwandelte. Eine schnellere Leitung zu kaufen löst das Problem nicht, wenn eine andere Teilstrecke der begrenzende Faktor ist. Die sinnvolle Leistungseinheit ist der vollständige Workflow – von Speicher zu Speicher oder von Instrument zu Rechenressource –, und jede Verwaltungsdomäne muss gemessen und ihre Verantwortung geklärt werden. (Science DMZ;Leistungswerkzeuge)

ESnet5 führte landesweites 100G in die Produktion ein

Der nächste Kapazitätssprung wurde von der Advanced Networking Initiative und dem amerikanischen Konjunkturprogramm getragen. ESnet erhielt über den American Recovery and Reinvestment Act 62 Millionen US-Dollar für einen 100-Gbit/s-Langstreckenprototypen und den Übergang zu ESnet5. Die Investition umfasste nicht nur neue Router, sondern auch Spektrumrechte auf landesweiten Fasern, was ESnet mehr direkte Kontrolle über den Einsatz und die Erneuerung von Wellenlängen gab.

ESnet5 ging Ende 2012 in den Produktionsbetrieb. Damals bezeichneten das DOE und ESnet es als das schnellste Wissenschaftsnetzwerk der Welt. Diese historische Behauptung muss im Zusammenhang mit der damals wegweisenden landesweiten 100G-Produktionseinführung gesehen werden; sie kann nicht als bedingungslose Wiederholung für 2026 gelten. Heutige Forschungsnetze veröffentlichen unterschiedliche Metriken – Schnittstellengeschwindigkeiten, aggregierte Backbone-Kapazität, optisches Spektrum, experimentelle Tests –, und das vorgelegte Material enthält keine neutrale Vergleichsgrundlage.

Die Wirkung von 100G ging über die Verzehnfachung der Schnittstellengeschwindigkeit hinaus. Wissenschaftliche Daten, die zuvor Leitungen stundenlang belegt hätten, konnten nun als alltägliche Langstreckenübertragungen geplant werden. Labore erhielten die Möglichkeit, Rechen- und Speicherkapazitäten an einem Ort zu konzentrieren, statt sie an jedem Standort zu duplizieren. Internationale Kollaborationen profitierten von einem leistungsfähigeren US-Backbone. Gleichzeitig legte die Kapazitätserhöhung lokale Engpässe schneller offen und steigerte den Wert von Science DMZ und perfSONAR.

ESnet5 hielt an der hybriden Kombination aus Paketdiensten und dedizierten Pfaden für die Wissenschaft fest. Die Automatisierung gewann an Bedeutung. Im 100G-Maßstab kann die Arbeit – Kapazitätsreservierung, Fehlerdiagnose, Aufrechterhaltung landesweit einheitlicher Dienste – nicht mehr allein durch manuelle Gerätekonfiguration bewältigt werden.

Dieses Projekt zeigte, dass öffentliche Infrastrukturinvestitionen die wissenschaftlichen Optionen verändern können, bevor ein einzelnes Experiment sie vollständig ausschöpft. Reservekapazität dient als Vorsorge für künftige Instrumente und Ausfälle; sie ist nicht in dem Sinne Verschwendung, in dem unverkaufte Privatkundenkapazität es wäre. Ein zusätzlicher Wert besteht darin, neue Workflows erproben zu können, ohne auf den nächsten Bauzyklus warten zu müssen.

Allerdings verlangt diese Logik Disziplin. Kapazitätsschlagzeilen müssen mit der tatsächlichen wissenschaftlichen Nutzung verknüpft werden, und Investitionen müssen anpassbar bleiben, wenn sich Nachfrageprognosen ändern. ESnets spätere Fortschritte in Telemetrie, Caching und Orchestrierung sind der Versuch, aus bereits installierter Kapazität mehr wissenschaftlichen Wert zu ziehen, anstatt allein auf physische Erweiterungen zu setzen. (ESnet5-Ankündigung)

ESnet6 integrierte Optik, Pakete und Software

Das ESnet6-Projekt begann 2017 und wurde nach etwa sechs Jahren Entwurf und Bau am 11. Oktober 2022 der Öffentlichkeit vorgestellt. Zum Starttermin meldete das Berkeley Lab eine aggregierte Kapazität von über 46 Tbit/s auf einer dedizierten Infrastruktur von etwa 15.000 Meilen, mit Backbone-Verbindungen von 400 Gbit/s bis 1 Tbit/s. Der Jahresbericht 2024 spiegelt spätere Erweiterungen wider und nennt 57 Tbit/s sowie Verbindungen von bis zu 1,2 Tbit/s. Dies sind Zahlen zu unterschiedlichen Zeitpunkten und keine widersprüchlichen Definitionen ein und desselben statischen Netzes.

Die physikalische Schicht umfasst Langstreckenfasern, optische Leitungssysteme, Verstärker, Spektrumrechte, Kollokationseinrichtungen und lokale Anschlusspunkte. Der Bericht 2024 zählt 278 Standorte mit optischen Verstärkern. Kohärente Optik trägt mehrere Hochgeschwindigkeitskanäle über eine Faser; Verstärker und rekonfigurierbare optische Geräte erhalten das Signal und leiten Wellenlängen in die richtige Richtung. Selbst eine einzelne Linie auf der Karte kann aus Dark Fiber, Spektrum, Lit Services oder Partnerverträgen bestehen. Die Angabe von etwa 15.000 Meilen bedeutet nicht, dass das DOE sämtliche Kabel rechtlich besitzt.

Oberhalb der optischen Schicht stellen Router und Service-Edge IP, private Routing-Umgebungen, Layer-2-Dienste, Peering und Cloud-Anbindungen bereit. Der Bericht 2024 verzeichnet 78 Router-Standorte. Standorte werden je nach Bedarf mit 10, 100 oder 400 Gbit/s angebunden; der Backbone kann mehrere Schnittstellen oder Wellenlängen bündeln, um höhere Kapazitäten zu erreichen.

Die Softwareschicht unterscheidet ESnet6 von einer reinen Kapazitätserweiterung. Automatisierung hält Geräte- und Dienstzustände aufrecht; programmierbare Telemetrie liefert detailliertere Betriebsnachweise. OSCARS richtet reservierte Pfade ein; SENSE erprobt anwendungsgetriebene, domainübergreifende Koordination. High-Touch erzeugt mithilfe programmierbarer Hardware eine feinere Sichtbarkeit von Paketen und Datenströmen. Schnittstellen zu APIs und Testumgebungen bringen erfolgreiche Forschungsergebnisse näher an den Produktionsbetrieb.

ESnet6 betonte auch die Resilienz. Diverse Pfade, mehrere Standortzugänge, unabhängige Stromversorgungen, alternative Router und hochverfügbare Dienstknoten verringern die Gefahr, dass ein einzelner Ausfall ein Labor vom nationalen System abschneidet. Allerdings ist die Reichweite jeder Maßnahme unterschiedlich. Führen zwei lokale Leitungen durch denselben Kabelkanal, nutzt ein redundanter Backbone wenig. Hängen zwei Router an der gleichen Stromversorgung, erhöht die reine Geräteanzahl die Resilienz nicht.

ESnet6 sollte als geschichtetes wissenschaftliches Gebilde verstanden werden. Die Faser schafft die physische Reichweite; die optischen Geräte schaffen Kapazität. Die Router schaffen Paket- und private Dienste; die Software liefert Wiederholbarkeit und Programmierbarkeit. Die Messung bestätigt, ob die zugesagten Pfade tatsächlich funktionieren. Organisationsübergreifende Verträge und Kooperationen sind nötig, um Grenzen zu überwinden, die ESnet nicht besitzt. (ESnet6-Start;Jahresbericht 2024)

Was 57 Tbit/s bedeuten – und was nicht

Netzwerkstatistiken neigen dazu, unterschiedliche Ebenen in einer einzigen Zahl zusammenzufassen. Die von ESnet für 2024 genannten 57 Tbit/s sind die über das gesamte System verteilte Auslegungskapazität. Sie bezeichnen weder eine einzelne physische Verbindung noch den Durchsatz, der allen Laboren zur Verfügung steht, noch den ständig fließenden Verkehr. Der gleiche Bericht nennt Backbone-Verbindungen von 400 Gbit/s bis 1,2 Tbit/s, sieben US-Standorte mit über 400G-Anschluss sowie 2,7 Tbit/s transatlantische Kapazität – alles Zahlen, die unterschiedliche Fragen beantworten.

Derselbe Bericht spricht von 78 Router-Standorten und 278 optischen Verstärkerstandorten auf einer Infrastruktur von etwa 15.000 Meilen. Das Netz verbindet alle 17 nationalen Labore des DOE, 28 DOE-Nutzereinrichtungen, 277 Forschungs-, Bildungs-, kommerzielle und sonstige Netzbeziehungen in fünf Ländern, mehr als 30.000 institutionelle Nutzer und 137 Mitarbeiter sowie Auftragnehmer in 24 Bundesstaaten. Dies sind separate Grundgesamtheiten und dürfen nicht zu einer „Kundenzahl“ addiert werden. Router, Einrichtungen, Partnernetze, institutionelle Nutzer und Beschäftigte sind jeweils eigene Metriken.

Ein Standortanschluss gibt die Kapazität an einer institutionellen Grenze an. Eine Backbone-Verbindung gibt die Kapazität zwischen Netzknoten an. Optische Systeme tragen mehrere Wellenlängen; logische Dienste nutzen unter Umständen nur einen Teil der physischen Schicht. Die aggregierte Kapazität summiert Ressourcen, die nicht gleichzeitig von ein und derselben Quelle zum selben Ziel genutzt werden können. Das Verkehrsvolumen misst die in einem Zeitraum bewegte Datenmenge und unterscheidet sich von der momentanen Spitzengeschwindigkeit.

ESnet transportierte 2024 insgesamt 1,77 Exabyte, ein Anstieg um 4 % gegenüber 1,7 Exabyte im Jahr 2023. Dieses Wachstum liegt unter dem von ESnet seit 1989 ausgewiesenen langfristigen Durchschnitt von jährlich etwa 55 %. Ein einzelnes Jahr erlaubt keine Aussage darüber, ob die wissenschaftliche Nachfrage sich stabilisiert hat. Große Projekte gehen ungleichmäßig in Betrieb, Softwareänderungen können das Übertragungsvolumen verringern, und ein einziges Experiment oder internationales Ereignis kann die Zusammensetzung stark verschieben.

Der Verkehr ist auch nicht gleichmäßig verteilt. Der Bericht 2024 gibt an, dass der LHC-bezogene Verkehr etwa die Hälfte des Gesamtvolumens ausmachte. Fermilab war mit 136 Petabyte der größte externe Absender, NERSC mit 75,3 Petabyte der größte Empfänger innerhalb des DOE und Oak Ridge mit 58,3 Petabyte der größte Absender innerhalb des DOE. Dies zeigt die hauptsächlichen Arbeitslasten, jedoch kein vollständiges Ranking des wissenschaftlichen Werts; auch kleinere Übertragungen können zeitkritisch sein oder einzigartige Instrumente unterstützen.

Kapazitätsplanung muss gleichzeitig den durchschnittlichen und den Spitzenverkehr, die streckenspezifische Auslastung, die Reserve für Ausfälle, die Standortanschlussgeschwindigkeiten, wissenschaftliche Fristen und künftige Anforderungen betrachten. Ein allein auf Mittelwerten basierendes Netz könnte bei einer Supernova oder einem Seekabelausfall versagen. Ein allein auf das theoretisch größte Ereignis ausgelegtes Netz droht, teure und unflexible Anlagen zu schaffen.

Die technische Herausforderung für ESnet besteht darin, Kapazität dort zu platzieren, wo sie von den benötigten Workflows erreicht werden kann, und sicherzustellen, dass die Systeme an beiden Enden diese Kapazität auch tatsächlich nutzen können. Deshalb sollte die Zahl 57 Tbit/s zusammen mit Science DMZ, Messung, Orchestrierung und Anforderungsüberprüfungen erläutert werden und nicht als eigenständiger Weltranglistenwert. (ESnet in Zahlen)

AS293 routet für wissenschaftliche Missionen, nicht für den Massenmarkt

Die öffentliche Autonomous System Number von ESnet lautet AS293. Es tauscht Routen mit DOE-Standorten, Forschungs- und Bildungsnetzen, kommerziellen Netzen und kostenpflichtigen Transit-Providern. Die Routing-Policy bestimmt, welche Pfade wissenschaftlichen Verkehr transportieren, wie im Fehlerfall umgeschaltet wird und mit welchen externen Netzen eine direkte Verbindung besteht.

Die Peering-Policy ist selektiv. Bewerber müssen BGP einsetzen, ihre Einträge im Internet Routing Registry und in PeeringDB aktuell halten, RPKI-invalide Routen vermeiden und den mit MANRS verbundenen Routing-Sicherheitspraktiken folgen. ESnet verlangt IPv6- oder Dual-Stack-Peering und akzeptiert keine neuen reinen IPv4-Beziehungen. Direkte private Interconnections beginnen bei 100G-Ports, 400G wird dringend empfohlen.

Diese Bedingungen spiegeln sowohl die Mission als auch die Betriebskosten wider. Direkte Verbindungen verbrauchen Ports, Ingenieurszeit und Überwachungskapazität. ESnet muss nicht mit jedem Netz peeren, nur weil eine öffentliche Route existiert. Es wählt Beziehungen aus, die die DOE-Wissenschaftsrouten verbessern, die Transitabhängigkeit verringern und zu wichtigen Kollaborationspartnern führen. Für Ziele, die über Forschungsnetze oder direktes Peering nicht effizient erreichbar sind, wird kostenpflichtiger Transit von Hurricane Electric und Lumen genutzt.

ESnet veröffentlicht BGP-Communities, mit denen sich direkt verbundene Standorte, Forschungs- und Bildungsnetze sowie kommerzielle Netze unterscheiden lassen. Angeschlossene Einrichtungen können diese Informationen für ihre Policies nutzen, jedoch liegt es außerhalb der Kontrolle von ESnet, ob nachgelagerte Netze sie in gleicher Weise interpretieren. Communities sind deskriptive Metadaten und keine Garantie, dass alle Netze dieselben Routing-Entscheidungen treffen.

Auch die Routing-Sicherheit hat Grenzen. Das Zurückweisen RPKI-invalider Routen verhindert einen wichtigen Teil fehlerhafter Originationen, kann aber nicht jeden Route-Leak, kompromittierte Peers, von legitimen Originatoren fehlgeleitete Routen oder ungeeignete ROAs stoppen. Hijack-Überwachung kann unerwartete Origin-Änderungen erkennen, doch die Erkennung kann nach der Propagation erfolgen. Blackholing verwirft Verkehr zum angegriffenen Ziel, um andere Systeme zu schützen, opfert aber die Erreichbarkeit des betroffenen Präfixes.

AS293 transportiert öffentlichen IP-Verkehr, zielt aber nicht darauf ab, die Kundenzahl auf dem Privatkunden-Transitmarkt zu maximieren. Sein Wert liegt in der Qualität der für die Wissenschaftsgemeinschaft bereitgestellten Routen, der Ausfallsicherheit und der verlässlichen Interkonnektivität. (Peering-Policy)

Physische Verbindungen, private Dienste und Pfade in die Cloud

Die Dienste von ESnet beginnen mit der physischen Anbindung. Teilnehmende Standorte können über einen nahen oder entfernten Point of Presence mit 10, 100 oder 400 Gbit/s angebunden werden. Bei Einrichtungen abseits der eigenen Infrastruktur kann ein Service-On-Ramp auf Dark Fiber oder einen Lit Circuit eines Telekommunikationsanbieters zurückgreifen. Die Zugangsstrecke ist Teil des wissenschaftlichen Workflows; die letzte Meile eines externen Anbieters kann zum entscheidenden Engpass oder Ausfallpunkt werden.

Layer-3-IP-Dienste bieten IPv4- und IPv6-Routing. Layer-3-VPNs schaffen logisch getrennte IP- und BGP-Umgebungen für wissenschaftliche Programme mit mehreren Standorten auf der gemeinsamen physischen Plattform. Layer-2-VPNs stellen Punkt-zu-Punkt- oder Multipunkt-Ethernet-Verbindungen bereit, die statisch oder über OSCARS konfiguriert werden. Diese Dienste erlauben es Experimenten und Einrichtungen, sich zu verbinden, ohne sämtliche Beziehungen dem öffentlichen Internet auszusetzen.

Private Dienste bedeuten keine physisch vollständig getrennte Infrastruktur. Die logische Trennung stützt sich auf Router-Konfiguration, Label, Routing-Instanzen, Zugangskontrollen und Betriebsverfahren. Ein Ausfall der gemeinsamen Plattform kann mehrere Dienste betreffen, und Konfigurationsfehler können die beabsichtigte Trennung aufheben. Der Wert liegt nicht in der Behauptung, es gebe keine gemeinsamen Abhängigkeiten, sondern in der verwalteten Trennung und vorhersagbaren Konnektivität.

Cloud Connect verlängert den ESnet-Pfad in kommerzielle Clouds wie AWS, Microsoft Azure, Google Cloud oder Oracle. Standorte können die Cloud-Anbindungspunkte über dezidierte Layer-2- oder Layer-3-Verbindungen anstelle des öffentlichen Internet-Routings erreichen. Dies verbessert die Pfadkontrolle und verringert die Abhängigkeit von instabilem Transit, beseitigt jedoch weder Cloud-seitige Sicherheitsfragen, Anbieterausfälle, Identitätsdesign, Datenübertragungsgebühren noch regionale Verfügbarkeit.

Die Cloud-Beziehung zeigt, wie sich die Rolle von ESnet verändert. DOE-Wissenschaft findet nicht nur innerhalb von Laboren und staatlichen Supercomputern statt. Forscher können kommerziellen Objektspeicher, Spezialdienste oder Burst-Computing nutzen. ESnet muss diese Ressourcen anbinden, ohne den Eindruck zu erwecken, die Cloud sei Teil des Bundesnetzes, und ohne zu behaupten, dedizierte Leitungen machten Cloud-Konten sicher.

Weitere Dienste umfassen sekundären DNS, Network Time, Route-Hijack-Überwachung und Blackholing. Selbst wenn die optische Kapazität intakt ist, können fehlerhafte Namensauflösung, falsche Zeitsynchronisation, Route-Leaks oder DoS-Angriffe wissenschaftliche Systeme unbrauchbar machen.

Das gesamte Dienstangebot ist ein Geflecht aus betrieblichen Vereinbarungen, das mehrere Netzebenen überspannt. Physische Anbindungen schaffen Pfade, Routing schafft Erreichbarkeit. Private Dienste schaffen logische Grenzen, Cloud-Anbindungen erstrecken sich in kommerzielle Infrastrukturen. Sicherheits- und Hilfsdienste verringern bekannte Fehlermodi. Die Nutzer müssen an beiden Enden funktionsfähige Endpunkte und lokale Netze bereitstellen. (Netzwerkdienstmenü)

OSCARS macht Kapazität zu einer reservierbaren Ressource

Gewöhnlicher Internetverkehr nutzt die Kapazität, die bei Ankunft der Pakete verfügbar ist. Dieses Modell eignet sich für normale Kommunikation, doch manche wissenschaftlichen Übertragungen sind geplant, sehr groß und mit hohen Verlusten bei Verzögerungen verbunden. OSCARS erlaubt autorisierten Nutzern oder Anwendungen, Netzwerkressourcen für einen bestimmten Zeitraum zu reservieren.

Eine Reservierung kann Endpunkte, Start- und Endzeit, Bandbreite, VLAN-Informationen, Pfadausschlüsse und weitere Einschränkungen enthalten. Das System prüft die Topologie sowie bestehende Reservierungen, wählt einen Pfad, der die Bedingungen erfüllt, konfiguriert den erforderlichen Zustand im Netz und entfernt ihn nach Ablauf der Reservierung. Es muss Doppelbelegungen knapper Ressourcen verhindern und mit Situationen umgehen, in denen Wartungsarbeiten oder Ausfälle die verfügbare Topologie verändern.

Der entscheidende Unterschied liegt im Betriebsablauf. Das manuelle Einrichten einer Leitung kann bei mehreren Ingenieuren Tage an Koordination erfordern; eine programmatische Reservierung kann in Minuten erstellt und in experimentelle Workflows integriert werden. Das Netz wird zu einer Ressource, die Software ähnlich anfordern kann wie Speicher oder Rechenleistung, und nicht zu einer statischen Hintergrundeinrichtung.

OSCARS ist ein quelloffenes Produktionssystem, das auch außerhalb von ESnet in anderen Netzen und Testumgebungen eingesetzt oder evaluiert wurde. Die öffentlich zugänglichen Einsatzinformationen enthalten jedoch auch historische Angaben; nicht jede aufgeführte Organisation muss es heute noch in derselben Konfiguration betreiben.

Reservierungen garantieren keinen Anwendungsdurchsatz. Sie sichern zwar einen Teil der Netzkapazität, können aber weder den Speicherdurchsatz beschleunigen, noch Paketverluste im Campusnetz beheben oder das Betriebssystem angemessen tunen. Erreicht eine Anwendung nur einen Bruchteil der reservierten Geschwindigkeit, muss die Diagnose wieder den gesamten End-to-End-Pfad betrachten.

Reservierungen werfen auch Zuteilungsfragen auf. Hochprioritäre Experimente profitieren von garantierter Kapazität, aber ungenutzte Reservierungen können die Flexibilität für andere einschränken. Wer Dienste anfordern darf, wie Konflikte gelöst werden und ob Reservierungen vorrangig unterbrochen werden können, sind Fragen der Einrichtungs-Governance, selbst wenn der Vorgang automatisiert ist.

OSCARS ist ein klares Beispiel dafür, wie angewandte Software von ESnet zur Infrastruktur wurde: Aus manuellen Betriebsabläufen wurden reproduzierbare Dienste, und wissenschaftlichen Anwendungen wurde ein Weg eröffnet, ihre Netzanforderungen auszudrücken, während die menschlichen Richtlinien für die Autorisierung erhalten blieben. (OSCARS)

SENSE orchestriert Netzwerk und Endsysteme gemeinsam

Ein reservierter Netzwerkpfad löst nur einen Teil des verteilten Workflows. Speicher, Übertragungsdienste und Rechenressourcen haben eigene Verfügbarkeit, Kapazität und Richtlinien. SENSE – Software-defined network for End-to-end Networked Science at the Exascale – versucht, die Orchestrierung über eine einzelne Netzwerkdomäne hinaus auszudehnen.

SENSE stellt Netz und Endsysteme als auffindbare Ressourcen dar. Eine wissenschaftliche Anwendung kann ein Ziel wie „bewege einen Datensatz zwischen Einrichtungen mit einer bestimmten Rate“ beschreiben. SENSE sammelt die Ressourcenmodelle der teilnehmenden Domänen, handelt die Ressourcen aus, konfiguriert das Netz und die Übertragungsdienste, überwacht die Telemetrie und gibt die Ressourcen nach Abschluss des Workflows frei.

Dies ist schwieriger als das Einrichten einer einzelnen Leitung. Die teilnehmenden Einrichtungen behalten ihre eigenen Zuständigkeiten und Datenmodelle. Eine Domäne mag Bandbreite anbieten, eine andere Speicherendpunkte oder Übertragungsdienste. Richtlinien, Anmeldeinformationen und Wartungsfenster unterscheiden sich. SENSE muss koordinieren, ohne anzunehmen, ein zentraler Controller könne sämtliche Systeme befehligen.

Bei der LHC Data Challenge 2024 hielt ein SENSE-gesteuerter Workflow zwischen Caltech und der University of California, San Diego, 330 Gbit/s aufrecht. Dies ist ein Nachweis, dass umfangreiche, anwendungsgetriebene Orchestrierung in einem realen Produktions-Workflow funktionierte. Es bedeutet jedoch keinen allgemein an allen ESnet-Standorten verfügbaren Produktionsdienst. Auch im Bericht 2024 wurde SENSE noch als Forschungsphase eingestuft.

Der Unterschied zwischen OSCARS und SENSE zeigt, wie sich die Automatisierungseinheit verändert. OSCARS reserviert Netzressourcen innerhalb einer bekannten Dienstedomäne. SENSE versucht, einen vollständigen Pfad inklusive Systemen unterschiedlicher Eigentümer auszuhandeln. Ersteres hat klare Produktionsgrenzen, Letzteres bietet einen höheren wissenschaftlichen Wert, aber auch größere Governance- und Integrationsrisiken.

Die praktische Frage für Betreiber lautet: Wer ist bei Leistungsmängeln verantwortlich? Wenn eine Anwendung ein Ziel deklariert und der Workflow unterperformt, kann die Ursache im Ressourcenmodell, im Netz, im Speicher, in den Anmeldeinformationen, in der Anwendung oder im domänenübergreifenden Timing liegen. Orchestrierung muss Nachweise liefern, die jedem Betreiber zeigen, welcher Teil des ausgehandelten Zustands von der Absicht abwich.

SENSE zielt auf eine Infrastruktur, in der Anwendungen nicht Leitungen, sondern Ergebnisse anfordern. Der Reifegrad sollte nicht allein an der höchsten Übertragungsrate, sondern an reproduzierbarer, domänenübergreifender Produktionsnutzung, klaren Support-Verantwortlichkeiten und der Fähigkeit gemessen werden, sich von Teilausfällen zu erholen. (SENSE;Angewandte Forschung 2024)

EJFAT leitet wissenschaftliche Ereignisse direkt an entfernte Rechenressourcen weiter

Traditionelle wissenschaftliche Datenbewegung orientiert sich oft an Dateien. Ein Experiment erzeugt Daten, das lokale System schreibt sie in Dateien, speichert sie und überträgt sie später zur Analyse in eine andere Einrichtung. Dies ist ein etabliertes Verfahren, dauert aber, bis Ergebnisse vorliegen, und erfordert lokalen Speicher und Rechenkapazität für Belastungsspitzen.

EJFAT – ESnet–Jefferson Lab FPGA Accelerated Transport – bietet einen anderen Weg. Es verteilt UDP-gekapselte Ereignisdaten in Echtzeit vom Instrument an verfügbare Compute-Worker, einschließlich entfernter Supercomputing-Einrichtungen. FPGA-basierte programmierbare SmartNICs lesen die Ereignis-ID und senden alle zum selben Ereignis gehörenden Fragmente an denselben Worker. Ein Steuerungssystem leitet die Verteilung abhängig von der Verfügbarkeit der Rechenknoten um.

Die ereignisweise Gruppierung ist entscheidend. Ein gewöhnlicher Load Balancer kann Pakete auf mehrere Server verteilen, doch in der wissenschaftlichen Verarbeitung müssen alle Fragmente eines detektierten Ereignisses denselben Worker erreichen. EJFAT trennt die schnelle Transferverarbeitung vom Scheduling der Compute-Worker, sodass beide unabhängig skaliert werden können.

Bei einer Demonstration im April 2024 streamte EJFAT Daten mit 100 Gbit/s vom Jefferson Lab in Virginia zum Perlmutter-Supercomputer in Kalifornien und verarbeitete sie in Echtzeit ohne zwischengeschaltete Festplatten. ESnet berichtete, dass spätere Tests rund 20.000 Kerne über mehrere Einrichtungen hinweg nutzten. Es handelt sich um spezifische Demonstrationsergebnisse, die nicht garantieren, dass jedes wissenschaftliche Instrument in derselben Konfiguration eingesetzt werden kann.

Der Fall der Facility for Rare Isotope Beams (FRIB) ist ein jüngeres Betriebsbeispiel. Im Juli 2026 berichtete ESnet, dass Forscher über EJFAT etwa 5–6 Gbit/s Rohdaten an entfernte Supercomputer übertrugen. 615 GB Daten, die in 15 Stunden erzeugt wurden, konnten mit Machine-Learning-Inferenz auf acht NERSC Perlmutter-Knoten in 20 Minuten verarbeitet werden. Die Netzwerkgeschwindigkeit lag unter der 100G-Demo, der wissenschaftliche Wert aber darin, dass während des laufenden Experiments schneller Ergebnisse erzielt wurden.

Echtzeit-Streaming verändert auch die Einrichtungsökonomie. Statt für jede Belastungsspitze lokale Rechenressourcen vorzuhalten, können Detektoren gemeinsam genutzte Supercomputer nutzen. Forscher können Ergebnisse sehen, solange noch wertvolle Strahlzeit vorhanden ist. Allerdings wirken sich Netzwerkausfälle, Probleme bei der Rechenzeitzuteilung und Fehler in der Ereignisverteilung nun direkt auf die Verarbeitung während des Experiments aus und nicht erst auf eine spätere Dateiübertragung.

EJFAT ist ein fortgeschrittener Prototyp oder eine sich entwickelnde Plattform, kein breit angebotener Standarddienst. Eine Produktionseinführung erfordert Instrumentenintegration, Sicherheit, gesicherte FPGA-Verfügbarkeit, Betriebsverantwortlichkeiten, Scheduling-Vereinbarungen und ein klares Verhalten bei UDP-Paketverlusten. Die Bedeutung liegt darin, dass ein Weitverkehrsnetz Teil der Datenerfassungsschleife sein kann und nicht nur ein nachgelagerter Transportweg ist. (EJFAT;FRIB-Fall)

High-Touch, perfSONAR und iperf3 machen Pfade beobachtbar

Hochkapazitive Netze können auf Weisen versagen, die in einem Diagramm der aggregierten Auslastung unsichtbar bleiben. Kurze Mikro-Bursts lassen Warteschlangen überlaufen, Pakete ändern ihre Reihenfolge, Verluste treten nur in einer Richtung oder für einen Teil des Verkehrs auf, und Pfade wechseln zwischen den Messungen. Auch sicherheitsrelevante Flüsse können in der statistischen Abtastung untergehen.

High-Touch nutzt programmierbare Hardware und Software, um detailliertere Paket- und Flusstelemetrie zu sammeln, als es klassische stichprobenbasierte Aufzeichnungen erlauben. 2024 wurde es eingesetzt, um den LHC-Durchsatz zu verstehen, Paketumordnungen auf dem Rubin-Observatory-Pfad zu erkennen und Sicherheitsvorfälle zu untersuchen. Das Ziel ist eine Diagnosegenauigkeit, die Verhaltensweisen sichtbar macht, die im aggregierten Verkehr nicht erkennbar sind.

Feinere Nachweise haben ihren Preis. Paket- und Flussdetails benötigen Speicherplatz, Rechenleistung, Zugriffskontrollen und eine sorgfältige Interpretation. Sie können kommunizierende Endpunkte, Kooperationsstrukturen und den zeitlichen Verlauf wissenschaftlicher Aktivitäten offenlegen. Ein System, das der Betriebstransparenz dient, wird damit gleichzeitig zu einem sensiblen Datenbestand.

perfSONAR bearbeitet eine andere Ebene. Es ist ein verteiltes Messsystem, das von der Zusammenarbeit vieler Organisationen getragen wird; ESnet gehört zu den Gründungsteilnehmern. 2024 wurden weltweit über 2.000 Standorte gemeldet, von denen ESnet mehr als 30 betrieb. Kontrollierte Tests messen Durchsatz, Latenz, Paketverlust und Pfadänderungen zwischen teilnehmenden Knoten.

Die verteilte Anordnung ist entscheidend. Meldet ein Forscher eine langsame Übertragung, kann ein Test zwischen geeignet konzipierten perfSONAR-Knoten zeigen, ob der zugrundeliegende Pfad die erwartete Geschwindigkeit liefern kann. Richtungsbezogene Tests decken Asymmetrien auf; wiederholte Messungen zeigen, wann eine Verschlechterung begann. Traceroute kann Pfadänderungen anzeigen, obwohl der beobachtete Pfad nicht exakt dem tatsächlichen Übertragungspfad der Anwendung entsprechen muss.

iperf3 stellt aktive Durchsatztests über TCP, UDP und SCTP bereit und unterstützt IPv4 wie IPv6. ESnet pflegt dieses quelloffene Werkzeug und berichtet unter bestimmten Bedingungen von Tests mit über 150 Gbit/s auf einer 200G-Strecke. Synthetische Tests sind kein Anwendungsbenchmark, bestätigen aber, dass Host und Netzwerk unter kontrollierten Bedingungen Verkehr transportieren können.

High-Touch, perfSONAR und iperf3 beobachten unterschiedliche Realitäten. High-Touch erfasst Produktionsflüsse feingranular, perfSONAR misst domainübergreifende Pfade regelmäßig oder auf Abruf, und iperf3 testet den Endpunkt-zu-Endpunkt-Durchsatz direkt. Keine Perspektive liefert eine vollständige Diagnose, aber in der Kombination verringern sie das Risiko, aus dem lokalen Dashboard eines einzelnen Betreibers auf verteilte Fehler zu schließen. (Leistungswerkzeuge;Betriebsinnovationen 2024)

Die beste Kapazitätserweiterung könnte darin bestehen, Daten erst gar nicht zu transportieren

Kapazität hinzuzufügen ist nicht der einzige Weg, ein wissenschaftliches Netzwerk zu verbessern. Werden bestimmte Datensätze wiederholt von Forschern aus derselben Region angefordert, verbraucht es Kapazität und erhöht die Latenz, jede Kopie über das Weitverkehrsnetz zu schicken – selbst wenn der Backbone es verkraftet.

Der ESnet-Bericht zur angewandten Forschung 2024 stellte fünf regionale Cache-Knoten vor, die von wissenschaftlichen Datengemeinschaften genutzt werden. Im gesamten Untersuchungszeitraum reduzierten die Caches den Weitverkehrsverkehr um durchschnittlich 33 Terabyte pro Tag. Zwei Drittel der Anfragen wurden lokal bedient; die durchschnittliche Cache-Hit-Rate lag bei 94 %. Die Wirksamkeit unterschied sich jedoch stark zwischen den Regionen: In Südkalifornien wurde eine Reduktion des Weitverkehrs um 69,3 % berichtet, in Chicago um 48,4 % und in Boston um 6,6 %.

Die Unterschiede zeigen, dass der Wert eines Caches von der Popularität der Datensätze, den regionalen Nutzern, der Speicherkapazität, der Verdrängungsstrategie und der Dienstkonfiguration abhängt. In der Nähe einer Community, die dieselben Daten wiederholt analysiert, können große Übertragungen erheblich reduziert werden; in Umgebungen mit selten genutzten, heterogenen Daten kann der Cache Speicher verbrauchen, ohne denselben Effekt zu erzielen.

Caching verändert auch den Kontrollbereich. Der Netzbetreiber wird in die Datenplatzierung einbezogen, und die wissenschaftlichen Gemeinschaften müssen entscheiden, welche Daten repliziert werden dürfen, wie die Aktualität gewahrt bleibt und wer zugreifen kann. Speicherfehler oder veraltete Kopien werden zu betrieblichen Problemen im Umfeld des Netzes.

Das effizienteste Bit könnte jenes sein, das den Backbone gar nicht erst erreicht. Optische Erneuerungen erhöhen das Angebot; Caching verändert die Nachfrage. Workflow-Scheduling vermeidet Stauzeiten; Kompression und lokale Filterung reduzieren die Datenmenge vor der Übertragung. Eine ausgereifte Infrastrukturplanung bewertet diese Hebel gemeinsam, anstatt den Fortschritt allein an installierten Terabit zu messen.

Die Ergebnisse der Untersuchung sollten auf die untersuchten Umgebungen beschränkt verstanden werden. Nicht alle wissenschaftlichen Daten erreichen 94 % Hit-Rate, und Caching kann die für einzigartige Liveströme benötigte neue Kapazität nicht ersetzen. Der entscheidende Punkt ist, dass Daten- und Netzwerkarchitektur gemeinsam gestaltet werden können. (Angewandte Forschung 2024)

Transatlantische Wissenschaft benötigt nicht nur Kapazität, sondern physische Diversität

Die US-Infrastruktur von ESnet ist untrennbar mit ihrer internationalen Rolle verbunden. Die Hochenergiephysik erstreckt sich über Einrichtungen und Rechenzentren auf beiden Seiten des Atlantiks; der Jahresbericht 2024 gibt an, dass der LHC-bezogene Verkehr etwa die Hälfte des ESnet-Verkehrs ausmachte. Selbst wenn alle Router in den USA funktionieren, kann ein Ausfall eines transatlantischen Seekabels zentrale wissenschaftliche Arbeitslasten stoppen.

Von 2024 bis Anfang 2025 stieg die von ESnet ausgewiesene transatlantische Kapazität von etwa 700 Gbit/s auf 2,7 Tbit/s. Ein zentraler Baustein des Plans ist ein 15-Jahres-Vertrag mit Aqua Comms, der ein Viertel eines Faserpaares auf einer Route zwischen New York, Dublin und London sichert. ESnet teilt sich Kapazität und Kosten mit GÉANT auf mehreren Seekabeln. Das technische Ziel ist, über vier physisch diverse Pfade mindestens 3,2 Tbit/s bereitzustellen, mit einem auf über 10 Tbit/s erweiterbaren Design.

Kapazität und Diversität sind verschiedene Probleme. Zwei logisch getrennte Dienste können dasselbe Seekabel, dieselbe Landungsstation und denselben Landkabelkanal teilen und damit gleichzeitig ausfallen. Die Reparatur eines Seekabels erfordert Fehlerlokalisierung, Genehmigungen, ein Kabelschiff, geeignetes Wetter sowie das Bergen und Testen beschädigter Fasern – ein Prozess, der Wochen oder Monate dauern kann. ESnet plant mit dem Szenario dreier gleichzeitiger Ausfälle und hält eine einzelne Ersatzstrecke nicht für ausreichend.

Langfristige Spektrumrechte geben mehr Kontrolle über Erneuerungen als der wiederholte Kauf fertiger Leitungen. Allerdings binden sie langfristig an ein bestimmtes Kabelsystem, eine Landungsstation und einen Betriebspartner. Spektrumverträge beseitigen keine maritimen Risiken; sie verteilen Kapazität und Resilienz auf mehrere Systeme, aber ESnet bleibt abhängig von den Kabeleigentümern, den Reparaturprozessen und den Partnernetzen.

Auch das Wort „dediziert“ verlangt Vorsicht. ESnet verwaltet dedizierte Rechte und dedizierte Infrastruktur auf wichtigen Strecken, aber die physische Ausprägung ist nicht überall gleich. In- und ausländische Strecken umfassen Dark Fiber, Spektrum, Lit Services, Kollokation und Partnerkapazität. Eine Linie auf der Karte verrät nicht, wem die einzelnen Abschnitte gehören und wer sie reparieren darf.

Die Beziehung zu GÉANT zeigt, dass Forschungsnetze auch ohne gemeinsame zentrale Steuerung kooperieren können. Beide Organisationen teilen Kosten und können wissenschaftlichen Verkehr aufeinander abstimmen, bleiben aber gegenüber ihren eigenen Trägern und Teilnehmern verantwortlich. Die End-to-End-Leistung hängt ebenso von den nationalen Forschungsnetzen, den Campus-Systemen und den Experimentiereinrichtungen außerhalb beider Backbones ab. (Transatlantischer Meilenstein;Jahresbericht 2024)

Wissenschaftlicher Bedarf umfasst anhaltend hohe Kapazität, seltene Bursts und strenge Fristen

Der Large Hadron Collider erzeugt einen anhaltend hohen Kapazitätsbedarf. Sein verteiltes Rechenmodell bewegt experimentelle Daten zwischen CERN, Fermilab, Brookhaven, Universitäten und anderen Rechenzentren und erzeugt kontinuierlichen internationalen Verkehr. Der geplante High-Luminosity-Betrieb wird voraussichtlich die Detektordaten, Simulationen und Replikationen erhöhen. Das Netzwerk muss alltägliche große Ströme transportieren und zugleich über Pfaddiversität verfügen, um Seekabel- oder Anlagenausfälle zu umgehen.

Das Vera C. Rubin Observatory veranschaulicht die zeitliche Dringlichkeit. Das Teleskop in Chile ist darauf ausgelegt, etwa alle 30 Sekunden ein Bild von rund 13 GB zu erzeugen. Die Daten müssen schnell am SLAC verarbeitet werden, damit Warnmeldungen über flüchtige Himmelsobjekte an andere Observatorien gesendet werden können. ESnet gibt als Ziel vor, jedes Bild in unter sieben Sekunden über etwa 12.000 Meilen zu transportieren. Die Strecke führt über südamerikanische und internationale Forschungsnetze, und das Ergebnis hängt von der Ingenieursarbeit mehrerer Organisationen ab, nicht nur von ESnet.

DUNE geht von extremen Bursts aus. Im Falle einer Supernova könnten in 100 Sekunden bis zu 600 TB bewegt werden müssen; über die gesamte 20-jährige Programmdauer werden etwa 900 PB erwartet. Dies ist eine künftige Designanforderung und kein heutiger Alltagsverkehr. Doch astrophysikalische Ereignisse lassen sich nicht verschieben, bis Kapazität verfügbar ist. Ein nur auf Durchschnittsauslastung ausgelegtes Netz könnte im wissenschaftlich wertvollsten Moment versagen.

Die Fusionsforschung kombiniert internationale Entfernungen mit langen Entwicklungszeiträumen. Im Mai 2026 wurden 176 TB ITER-Daten mit etwa 80 Gbit/s von Marseille zur DIII-D-Anlage von General Atomics in San Diego übertragen. ITER befindet sich noch im Bau; dies war ein Vorbereitungstest und kein regulärer Vollbetrieb. Anforderungsdokumente gehen für einige künftige Workflows von rund 2 PB pro Tag und mindestens 200 Gbit/s aus.

FRIB und Jefferson Lab zeigen ein anderes Muster. Experimente können eine Fernanalyse benötigen, während die Daten noch eintreffen. EJFAT kann Ereignisströme an NERSC oder Oak Ridge senden, ohne auf fertige Dateien und deren Kopie zu warten. Lichtquellen, Elektronenmikroskope und andere Instrumente stehen vor ähnlichen Abwägungen zwischen lokaler Filterung, KI-Inferenz in der Ferne und der Geschwindigkeit, mit der Ergebnisse an die Anlagenbetreiber zurückgemeldet werden.

Klima- und Geowissenschaften fügen weitere Bedarfe hinzu. Große Simulationen und Beobachtungsdaten bewegen sich zwischen Rechen- und Speichereinrichtungen, und Feldsensoren können dort stehen, wo keine normale Glasfaser hinführt. Eine einzige Schlagzeilen-Geschwindigkeit kann nicht zugleich anhaltend hohe Kapazität, seltene Bursts, niedrige Latenz, internationale Kollaborationen und entfernte Datenerfassung abbilden. (Rubin-Observatory-Fallstudie;DUNE-Fallstudie;Anforderungsüberprüfungen)

Anforderungsüberprüfungen übersetzen wissenschaftliche Pläne in Netzwerkdesign

ESnet kann nicht warten, bis ein Experiment die ersten Daten liefert, um dann Faser, Router und transatlantische Kapazität zu beschaffen. Langfristige Verträge, Gerätekäufe, Standortbau und Softwareentwicklung benötigen Jahre. Deshalb führt ESnet mit den DOE-Wissenschaftsprogrammen Anforderungsüberprüfungen mit einem Horizont von fünf bis zehn Jahren durch.

Forscher und Einrichtungsteams beschreiben Instrumente, prognostizierte Datenmengen, Speicherorte, Rechenziele, zeitliche Vorgaben, internationale Kooperationspartner, Cloud-Nutzung und Resilienzanforderungen. Netzwerk- und Rechenexperten begutachten den gesamten Workflow. Der Wunsch nach einer größeren Leitung kann sich in Wirklichkeit als Problem des lokalen Speichers, der Pfaddiversität, des Sicherheitsdesigns oder der Übertragungssoftware herausstellen.

Anforderungsüberprüfungen sind gemeinsames Design. Das Wissenschaftsprogramm erläutert, was es erreichen will; ESnet übersetzt dies in Infrastrukturabhängigkeiten; und es wird geprüft, ob die angenommenen Pfade funktionieren. Die Ergebnisse beeinflussen Standortanschlusskapazitäten, neue Strecken, Seekapazitätsbeschaffung, Science-DMZ-Implementierungen, Orchestrierungsforschung, Personalausstattung und den Zeitpunkt der nächsten Netzgeneration.

Eine große Überprüfung für die Hochenergiephysik, die 2025 abgeschlossen und im Januar 2026 veröffentlicht wurde, umfasste 127 Teilnehmer und bündelte 14 Fallstudien auf etwa 400 Seiten. Entscheidend ist, dass nicht alle Prognosen zutreffen: Instrumentenzeitpläne verschieben sich, Software wird effizienter, neue Workloads entstehen. Der Wert liegt darin, dass Forscher, Netzingenieure, Rechenzentren und Geldgeber dieselben Annahmen diskutieren und eine Aufzeichnung besitzen, die bewusst fortgeschrieben werden kann.

Wissenschaftlicher Bedarf wächst nicht notwendigerweise stetig. Eine Supernova mag während der Experimentlaufzeit gar nicht auftreten, während KI-Workflows schneller wachsen können als der formelle Überprüfungszyklus. Durchschnittliches Verkehrswachstum ist für die Haushaltsplanung nützlich, ersetzt aber keine fallspezifische Planung. Allein das niedrige 4%-Wachstum von 2024 sollte nicht über jahrzehntelange Infrastrukturentscheidungen bestimmen.

Anforderungsüberprüfungen verteilen auch Verantwortung. Labore sollten nicht annehmen, der nationale Backbone repariere automatisch unzureichende Campus-Pfade. ESnet sollte nicht annehmen, die Wissenschaftsprogramme würden sich nach dem Kapazitätsaufbau schon anpassen. Abhängigkeiten schriftlich in einer gemeinsamen Planung festzuhalten, kann spätere Konflikte konkretisieren. (Anforderungsüberprüfungsberichte)

Wireless Edge und QUANT-NET testen die Grenzen der Einrichtung

Ein landesweites Glasfasernetz eignet sich hervorragend für die Anbindung fester Einrichtungen, aber wissenschaftliche Instrumente stehen nicht immer an solchen Orten. Geothermiefelder, Umweltmessstationen und zeitlich begrenzte Untersuchungsflächen verfügen möglicherweise nicht über einen Telekommunikationsanschluss, eine stabile Stromversorgung oder wirtschaftlich vertretbare Faserstrecken. Der Wireless Edge von ESnet untersucht, wie sich private Mobilfunknetze, Wi-Fi, Richtfunk und Satellitensysteme kombinieren lassen, um wissenschaftliche Workflows an solche Orte zu verlängern.

Ein im Juni 2026 vorgestelltes Geothermie-Observatorium in Nevada kombinierte privates 4G im Citizens Broadband Radio Service-Spektrum, Wi-Fi HaLow großer Reichweite, gewöhnliches WLAN, Starlink-Backhaul, Richtfunk und eine selbstversorgende, transportable Antennenanlage. Dies war ein auf einen spezifischen Standort zugeschnittenes Design und weder ein landesweiter drahtloser Dienst von ESnet noch ein Ersatz für Langstrecken-Glasfaser. Gelände, Wetter, Spektrum, Stromversorgung und der Satellitenbetreiber werden Teil des Dienstpfades.

Organisatorisch bedeutsam ist, dass ESnet seine Verantwortung nicht am nächstgelegenen Faserstandort enden ließ. Die Wissenschaftskollaboration behandelte Datenerfassung, Backhaul und Weitverkehrsübertragung als einen einzigen Workflow. Weil entlegene Forschungsstandorte abweichende physische Bedingungen aufweisen, kann ein standortspezifisch angepasster Ansatz wertvoller sein als ein einheitliches Produkt.

QUANT-NET erforscht eine andere Grenze. Das von ASCR finanzierte Projekt baut eine Quantennetz-Testumgebung mit drei Knoten, die zwei Standorte des Berkeley Lab und der University of California, Berkeley, über etwa 5 km verbindet. Zu den Forschungsgegenständen gehören Ionenfallen, photonische Kopplung, Verschränkungsweitergabe, Bell-Zustandsmessung, zeitkritische Steuerung und modulare Software.

Die Verbindung zu ESnet liegt vor allem im Bereich Steuerung und Orchestrierung. Quantenexperimente benötigen klassische Kommunikation, präzise Zeitsteuerung und die Koordination schwer handhabbarer Geräte. Quelloffene Steuerungssoftware kann die Reproduzierbarkeit von Experimenten erhöhen und manuelle Eingriffe reduzieren. Die Testumgebung ist kein Produktions-Quanteninternet und transportiert auch keine gewöhnlichen wissenschaftlichen Großdaten mittels Quantenverschränkung.

Wireless Edge und QUANT-NET sollten daran gemessen werden, was sie lehren und was sich wiederverwenden lässt. Sie bedeuten nicht, dass jeder ESnet-Nutzer in Kürze einen drahtlosen Zugangsdienst oder eine Quantenverbindung erhält. Sie erweitern die Forschungskapazität von ESnet für den Fall, dass künftige Wissenschaftsnetze neue physische Medien und Steuerungskonzepte benötigen. (Wireless Edge;Quantennetzforschung)

American Science Cloud und ESnet7 verlagern die Planungseinheit von Standorten zu Workflows

Integrated Research Infrastructure und American Science Cloud markieren einen Wechsel in der Denkweise des DOE über seine Einrichtungen. Anstatt wissenschaftliche Instrumente, Netzwerke, Datenspeicher und Supercomputer als unabhängige Dienste zu behandeln, sollen sie als föderierte Umgebung für Wissenschaftsdaten, KI und Hochleistungsrechnen zusammenwirken.

ESnet stellt die Konnektivitäts- und Orchestrierungsschicht. Daten müssen von Instrumenten zu Speichern und Beschleunigern wandern; Nutzer und Dienste benötigen verwalteten Zugang; Workflows müssen verfügbare Ressourcen entdecken können, und die Telemetrie muss zeigen, ob die wissenschaftlichen Ziele erreicht werden. EJFAT, SENSE, OSCARS, Cloud Connect und High-Touch behandeln Teile dieses Problems, doch keines davon macht für sich genommen die gesamte American Science Cloud aus.

Auf der Confab26 wurde Inder Monga als Project Deputy für die American Science Cloud vorgestellt, und das Programm enthielt Demonstrationen sowie Planungen für die nächste Netzgeneration. Dies belegt laufende institutionelle Arbeiten, jedoch nicht, dass im August 2026 bereits eine landesweite Wissenschafts-Cloud fertiggestellt war. Zugangsrichtlinien, der Katalog der angeschlossenen Ressourcen, Produktionssupport und Governance befanden sich noch im Aufbau.

ESnet7 erscheint im selben Planungsumfeld. Der Name existiert, und es fanden bereits Sitzungen zu Telemetrie, Paketinspektion, Datenbewegung, KI und Quantennetzen statt. Die aktuelle Produktionsgeneration ist jedoch ESnet6. Das vorgelegte Material enthält keine finale Architektur, keine Projekt-Baseline, keine Lieferantenauswahl, kein vollständiges Budget und keinen Starttermin.

Diese Unterscheidung ist wichtig. Die Bezeichnung einer Netzgeneration beeinflusst Forschungsprioritäten, Lieferantenbeziehungen und Kapitalanforderungen, bevor überhaupt Geräte installiert sind. Ein Planungsprogramm sollte nicht als fertiger Backbone dargestellt werden. Die angemessenste Lesart ist, dass ESnet die Betriebserfahrung mit ESnet6 und die laufende Workflow-Forschung nutzt, um die für die siebte Generation benötigten Fähigkeiten zu bestimmen.

Geschwindigkeit bleibt wichtig, aber Programmierbarkeit und Intelligenz könnten ebenso entscheidend werden. Eine schnellere Leitung sagt einer Anwendung nicht, wo freie Rechenressourcen sind, identifiziert keine Mikro-Bursts, plant keine Detektorströme und beweist nicht, dass domainübergreifende Dienste ordnungsgemäß freigegeben wurden. Die strategische Frage für ESnet7 lautet, wie weit das Netzwerk wissenschaftliche Workflows verstehen und koordinieren sollte, ohne zu einem unkontrollierbaren zentralen Controller zu werden. (Confab26;Angewandte Forschung 2024)

Bundesmittel finanzieren die Einrichtung, sind aber kein Unternehmensumsatz

ESnet betreibt seinen Backbone nicht, indem es Bandbreite an Privatkunden verkauft. Die Hauptfinanzierung stammt aus dem ASCR-Haushaltstitel High Performance Network Facilities and Testbeds. Der Antrag für das Haushaltsjahr 2027 belief sich auf 103 Millionen US-Dollar und lag damit über den für das Vorjahr als bewilligt ausgewiesenen 97,261 Millionen US-Dollar.

Diese Zahl ist der öffentlich nützlichste Indikator für die Programmgröße, aber keine Gewinn- und Verlustrechnung für ESnet. Der Haushaltstitel umfasst auch netzbezogene Testumgebungen, Softwarewartung, Erneuerungen und Forschungsaktivitäten. Er weist weder die jährlichen Betriebskosten des reinen Produktions-Backbones aus, noch die Investitionsausgaben pro Netzgeneration oder die Einnahmen, die auf einzelne Standortanschlüsse entfallen.

Öffentliche Mittel erlauben Investitionen, bevor eine kommerzielle Nachfrage entsteht. Sie ermöglichen langfristige Spektrumrechte, die Pflege quelloffener Werkzeuge, die Unterstützung von Experimenten mit geringem Verkehrsvolumen, aber hohem wissenschaftlichem Wert, und den Aufbau von Pfaddiversität über die aktuelle Auslastung hinaus. Allerdings hängt dieses Modell vom Kongressbudget, den Prioritäten des DOE und dem Betriebsvertrag des Berkeley Lab ab.

Standortanschlüsse sind nicht immer kostenlos. Die Site User Cost Policy von ESnet kann, abhängig von Sponsoring, Nutzungsberechtigung und zusätzlichen Anforderungen, anschlussspezifische Kosten den institutionellen Nutzern auferlegen. Die Abrechnungseinheit ist der Standort, nicht der einzelne Forscher. Individuelle Endnutzer werden von ESnet weder gesondert berechnet noch registriert.

Das Fehlen eigenständiger Finanzberichte begrenzt eine vollständige Finanzanalyse. Die öffentlichen Unterlagen zeigen weder die Abhängigkeit von allen Hauptlieferanten, noch die Gehaltskosten, Abschreibungen, streckenspezifische Anlagenbuchhaltung oder die jährlichen Investitionsausgaben. 103 Millionen US-Dollar als „Umsatz von ESnet“ zu bezeichnen, wäre irreführend. Zutreffender ist, dass ein Bundesprogramm ein breites Aktivitätsspektrum finanziert, das eine Produktionseinrichtung, Erneuerungen, Softwarewartung und Testumgebungen umfasst.

Die Finanzierungsstruktur beeinflusst auch strategische Entscheidungen. Ein kommerzielles Netz kann sich von Strecken zurückziehen, die die Kosten nicht decken; eine öffentliche Wissenschaftseinrichtung muss nationale Mission, wissenschaftliche Chancen, langfristige Kapazität und Budgetrestriktionen gegeneinander abwägen. Investitionen lassen sich auch ohne unmittelbare finanzielle Rendite rechtfertigen, verlangen dann aber transparente Priorisierung und den Nachweis durch Anforderungsüberprüfungen. (ASCR-Budgetantrag FY2027;ESCC)

Verfügbarkeit, Routing-Sicherheit und Telemetrie schaffen eigene Verantwortlichkeiten

Der ESnet-Bericht 2024 zeigte bemerkenswerte Verfügbarkeitsergebnisse. Alle zehn DOE-Office-of-Science-Standorte, die in der betreffenden Metrik enthalten waren, erreichten – ohne geplante Wartungsarbeiten – eine Dienstverfügbarkeit von 100 %. Es war das erste Jahr, in dem alle Standorte gleichzeitig die 99,9-%-Anforderung übertrafen. Der Jahresbericht nannte für einen breiteren Kreis auch einen Wert von 99,99 %. Beide Werte sind nützlich, haben aber unterschiedliche Bezugsgrößen und bedeuten nicht, dass jeder Dienst, jede Einrichtung und jede internationale Strecke ununterbrochen verfügbar war.

Das Site Resilience Program untersucht die physischen Zugänge, Router, Stromversorgungen und Fehlerbereiche der angeschlossenen Einrichtungen. Selbst ein redundanter nationaler Backbone nutzt wenig, wenn ein einzelnes Labor von einem einzigen lokalen Kabelkanal oder Gerät abhängt. Resilienz endet nicht an der Backbone-Karte; sie muss bis zu den Gebäuden und den Datenübertragungssystemen reichen.

Die Routing-Policy bietet eine weitere Kontrollebene. ESnet verwirft beim Peering RPKI-invalide Routen, verlangt aktuelle Routing-Einträge und stellt Route-Hijack-Überwachung sowie Blackholing bereit. Dies verringert bekannte Risiken, macht das domainübergreifende Routing jedoch nicht vollständig sicher. Auch Routen mit korrektem Origin können unter Route-Leaks oder Richtlinienfehlern leiden. Blackholing schützt andere Systeme, macht die betroffenen Ziele aber unerreichbar.

Die Automatisierung weist ähnliche Abwägungen auf. Standardisierte Konfigurationen, Inventare und Orchestrierung verringern manuelle Fehler und beschleunigen die Wiederherstellung. Zugleich können fehlerhafte Templates, Richtlinien oder Datenaufzeichnungen schnell auf viele Geräte übergreifen. Stufenweise Einführungen, unabhängige Verifikation, klare Rollback- oder Forward-Recovery-Verfahren sowie die Begrenzung der einem einzelnen Automatisierungskonto eingeräumten Rechte sind unverzichtbar.

Betriebsdaten verlangen dieselbe Sorgfalt. Laut der Facility Data Policy von ESnet werden Router-Auslastungsdaten und NetFlow unbegrenzt gespeichert und an die Ost- und Westküste der USA repliziert. Aktive perfSONAR-Messungen werden sechs Monate auf einer einzigen Festplatte ohne Sicherung aufbewahrt. Router-Auslastung und Traceroute sind öffentlich; der Zugriff auf Fluss- und Sicherheitsaufzeichnungen ist eingeschränkt.

Dies steht nicht im Widerspruch zu der Aussage, dass ESnet keine individuellen Endnutzer als Abonnenten verfolgt. Anmelde- und Abrechnungssysteme sind von Netzwerk-Metadaten zu unterscheiden. Auch ohne individuelle Verträge können Metadaten Endpunkte, kommunizierende Einrichtungen, Zeitpunkte und Verkehrsmuster offenbaren. Hochpräzise Telemetrie verbessert Diagnose und Sicherheit, macht Datenminimierung, Zugriffskontrollen, regelmäßige Überprüfungen der Aufbewahrungsdauer und einen verantwortungsvollen Umgang jedoch umso wichtiger.

Das stärkste Resilienzmodell besteht nicht in der Behauptung völliger Ausfallfreiheit. Es liegt in der Kombination aus physischer Diversität, Standorttechnik, Routing-Sicherheit, Messung, Incident Response, Daten-Governance und der klaren Benennung des Geltungsbereichs jeder Metrik. (Verfügbarkeitsmeilenstein;Einrichtungsdatenrichtlinie;Peering-Policy)

Was ESnet zeigt

Die Geschichte von ESnet lässt sich als Abfolge immer schnellerer Netze lesen: von den spezialisierten Vorgängernetzen über ESnet4, das landesweite 100G von ESnet5 bis hin zum Multi-Terabit-ESnet6. Doch diese Geschwindigkeitschronik allein erfasst nicht die wichtigste Kontinuität: Jedes Mal, wenn Bandbreite allein ein wissenschaftliches Problem nicht mehr lösen konnte, veränderte ESnet die umgebende Architektur.

Das Science Data Network trennte große Datenströme vom allgemeinen Verkehr; OSCARS machte Kapazität reservierbar. Die Science DMZ gestaltete organisatorische Grenzen neu; perfSONAR und iperf3 machten Leistungsprobleme messbar. SENSE verband Anwendungsabsichten mit mehreren Verwaltungsdomänen; EJFAT integrierte Weitverkehrspfade in die Verarbeitungsschleife von Detektoren. Caching veränderte die Nachfrage, und transatlantisches Spektrum stärkte die Kontrolle über internationale Kapazität.

Die Organisationsbefugnisse bleiben begrenzt und verteilt. DOE und ASCR legen Mission und Finanzierung fest; das Berkeley Lab betreibt die Einrichtung; die University of California führt das Labor unter Vertrag. Standortkoordinatoren genehmigen Änderungen mit Auswirkungen auf ihre Einrichtungen; internationale Partner kontrollieren ihre eigenen Netze. Cloud-Anbieter, Telekommunikationsunternehmen, Seekabeleigentümer und Gerätehersteller kontrollieren weitere Teile, von denen ESnet abhängt.

Diese Verteilung ist keine Unbequemlichkeit, die sich durch Software beseitigen ließe. Sie ist die Grundbedingung, unter der das Wissenschaftsnetz betrieben wird. Die praktische Leistung von ESnet besteht darin, genügend Koordination herzustellen, um Workflows zu ermöglichen, ohne so zu tun, als besäße eine einzige Institution den gesamten Pfad.

Für die Zukunft ist es wichtig, die Reifegrade genau zu unterscheiden. ESnet7 ist in der Planungsphase; SENSE wurde im letzten vollständigen Bericht als Forschungsphase eingestuft; EJFAT ist ein fortgeschrittener Prototyp oder eine sich entwickelnde Plattform; QUANT-NET ist ein Experiment, und die American Science Cloud befindet sich im Aufbau. Die Nennung dieser Einschränkungen schmälert nicht den technischen Wert.

Die langfristige Bedeutung von ESnet liegt im Modell der wissenschaftlichen Nutzereinrichtung. Es behandelt das Netzwerk als wissenschaftliches Instrument – mit Anforderungen, Betrieb, Software, Messung, Forschung und öffentlicher Finanzierung. Ein Detektor und ein Supercomputer, die Tausende Kilometer voneinander entfernt sind, entfalten ihren gemeinsamen Wert erst, wenn die Systeme dazwischen als ein durchgängiger Pfad gestaltet werden.

Die entscheidende Frage ist daher nicht, ob ESnet das schnellste Netz in einer universellen Rangliste ist. Das vorgelegte Material enthält keine neutrale Rangliste, die alle aktuellen Metriken vergleicht. Die belastbarere, praktische Schlussfolgerung lautet, dass ESnet nach öffentlich zugänglichen Informationen zu den weltweit führenden Wissenschaftsnetzen zählt und dass sein größter Beitrag darin besteht, verteilte Wissenschaft Ende-zu-Ende betriebsfähig gemacht zu haben. (ESnet-Geschichte;ESnet6-Start;Jahresbericht 2024)

Quellen