Zusammenfassung

  • ESnet ist eine wissenschaftliche Nutzereinrichtung des US-Energieministeriums, betrieben vom Lawrence Berkeley National Laboratory, und kein kommerzieller Telekommunikationsanbieter oder unabhängiges Unternehmen.
  • ESnet6 vereint rund 15.000 Meilen dedizierte Glasfaser, optische Systeme, Paketsysteme, spezielle Dienste, Peering, Messung und programmierbare Steuerung; die Zahl von 57 Terabit pro Sekunde ist die Gesamtkapazität, nicht die Benutzergeschwindigkeit.
  • Science DMZ, perfSONAR, OSCARS, SENSE, High-Touch und EJFAT zeigen, dass der besondere Beitrag von ESnet die Entwicklung des gesamten Pfades ist – vom Instrument und dem Standortnetzwerkrand bis zum entfernten Rechnen.
  • Die Pläne für ESnet7 und die American Science Cloud deuten auf ein stärker in wissenschaftliche Arbeitsabläufe integriertes Netz hin, doch mehrere Komponenten sind noch experimentelle Angebote, Forschungssysteme oder neue Dienste.

Ein Wissenschaftsnetz, das ins Herz des Experiments selbst vordringt

Im April 2024 wurden Daten vom Jefferson Lab in Virginia quer durch die Vereinigten Staaten zum Supercomputer Perlmutter in Kalifornien mit 100 Gigabit pro Sekunde übertragen und ohne vorheriges Schreiben auf die Festplatte verarbeitet. Die Demonstration nutzte das experimentelle EJFAT-System von ESnet und platzierte das Weitverkehrsnetz innerhalb des wissenschaftlichen Arbeitsablaufs, statt es nach Abschluss der Datensammlung einzusetzen.

Dieser Wandel fasst die zentrale Frage zusammen, vor der ESnet steht: Kann das Netzwerk Instrumente, Speicher und entfernte Rechenressourcen so weit verbinden, dass Einrichtungen, die Tausende Kilometer voneinander entfernt sind, als Teile einer einzigen Maschine funktionieren?

Der übliche Pfad beginnt mit einem Detektor, Teleskop, Mikroskop oder einer Simulation in einem Labor oder einer Forschungseinrichtung. Lokale Erfassungssysteme sammeln die Daten, Speicher- und Übertragungsserver bereiten sie für den Transport vor, und das Standortnetz überträgt sie an einen kontrollierten institutionellen Perimeter. Von dort kann ESnet die Daten quer durch die USA, über den Atlantik, zu einem DOE-Supercomputer, über einen Partner aus dem Forschungs- und Bildungsnetzwerk oder in eine kommerzielle Cloud-Umgebung leiten.

Das Ergebnis kann in Form eines analysierten Datensatzes, einer Warnung, eines Modells oder einer Entscheidung zurückkommen, die den nächsten Schritt des Experiments bestimmt.

Keine einzelne Institution kontrolliert diesen gesamten Pfad. Die Teams für die Instrumente, die Labornetze, die regionalen Forschungsnetze, die Cloud-Anbieter, die internationalen Partner und die Supercomputing-Einrichtungen können verschiedenen Institutionen unterstehen. ESnet betreibt die wissenschaftlich motivierte Weitverkehrsschicht und arbeitet mit diesen Betreibern zusammen, damit der Pfad als ein System funktioniert.

Ein langsamer Speicherserver, eine überlastete Standortverbindung oder eine ungeeignete Firewall können die Kapazität eines schnellen nationalen Backbones zunichtemachen, ebenso wie ein Ausfall innerhalb von ESnet eine gut konzipierte lokale Einrichtung lahmlegen kann.

Institutionell ist ESnet eine Nutzereinrichtung des Office of Science des US-Energieministeriums. Das Advanced Scientific Computing Research-Programm bietet die Hauptaufsicht, während die Scientific Networking Division am Lawrence Berkeley National Laboratory den Betrieb übernimmt. Das Berkeley Lab selbst wird von der University of California unter Vertrag für das Ministerium verwaltet.

ESnet hat keine bekannten Aktien, Anteilseigner, Unternehmensbewertungen oder eigenständigen kommerziellen Budgets, weshalb seine Rolle besser als föderale Wissenschaftsinfrastruktur verstanden wird und nicht als Netzwerkunternehmen mit einem öffentlichen Kundenstamm.

Forscher interagieren in der Regel indirekt mit ESnet über ein Instrument, einen Supercomputer, einen Labordienst, eine Universitätsverbindung oder ein kooperierendes Netzwerk. Die Einrichtung unterscheidet zwischen institutionellen Standortnutzern und Endnutzern und gibt an, dass sie keine einzelnen Endnutzer offiziell registriert oder verfolgt. Daher stellt die im Jahresbericht 2024 genannte Zahl von über 30.000 organisatorischen Nutzern eine institutionelle Kennzahl dar und keine Abonnentenanzahl.

Gewöhnliche Vergleiche mit Telekommunikationsunternehmen erfassen nur einen Teil der Rolle. ESnet betreibt Routing, optischen Transport und Peering, führt aber auch Anforderungsüberprüfungen durch, entwickelt Open-Source-Tools, testet neue Dienste und hilft Standorten, die Ende-zu-Ende-Leistung zu diagnostizieren. Sein übergeordneter Zweck besteht nicht darin, Konnektivität zu verkaufen, sondern geografisch verteilte wissenschaftliche Einrichtungen in die Lage zu versetzen, mit der Geschwindigkeit, den Beweisen und der betrieblichen Klarheit zusammenzuarbeiten, die für die Unterstützung der Forschung selbst erforderlich sind. (ESnet-Governance;Netzwerkdienste)

Fernrechnen schuf den Bedarf an einem gemeinsamen wissenschaftlichen Netz

Die offizielle Geschichte von ESnet reicht bis in die Mitte der 1970er Jahre zurück, als Fernrechnen und -kommunikation noch selten waren. Am Controlled Thermonuclear Fusion Research Computing Center des Lawrence Livermore National Laboratory schlossen Mitarbeiter einen geliehenen Control Data Corporation 6600 über vier Akustikkoppler an. Die Ausrüstung und die Geschwindigkeiten gehören einer anderen Ära an, doch das betriebliche Problem ist vertraut: Eine spezialisierte wissenschaftliche Gemeinschaft benötigte Fernzugriff auf teure Rechenleistung, die nicht an jeder teilnehmenden Institution repliziert werden konnte.

Innerhalb des DOE entwickelten in den späten 1970er und frühen 1980er Jahren verschiedene Forschungsgemeinschaften ihre eigenen Netze. Die Hochenergiephysik und die Magnetfusionsforschung hatten unterschiedliche Einrichtungen, Kollaborateure und Datenflüsse, und frühe Netze wie HEPnet und MFEnet spiegelten diese Grenzen wider. Der Bau dedizierter Netze war logisch, als kommerzielle Dienste nicht die erforderliche Bandbreite, Leistung oder betriebliche Aufmerksamkeit bieten konnten, aber er führte auch zu Doppelarbeit.

Jedes Programm verhandelte Leitungen, wartete Technik und baute unabhängig Know-how auf, was die langfristige Zusammenarbeit und Modernisierung zersplittert hielt.

Die offizielle Gründung von ESnet im Jahr 1986 vereinte diese Funktionen in einem breiteren wissenschaftlichen Netz. Die Veränderung war ebenso organisatorisch wie technisch. Die gemeinsame Einrichtung konnte die programmübergreifende Nachfrage antizipieren, nationale Verbindungen betreiben, internationale Konnektivität koordinieren und spezialisiertes Fachwissen bewahren. Außerdem konnte die Kapazität von einem projektbezogenen Anliegen zu einem ministeriumsweiten Infrastrukturplan werden.

Das frühe Modell legte mehrere Eigenschaften fest, die noch heute erkennbar sind. Die Nutzerdefinition war missionswissenschaftlich und nicht am Massenmarkt orientiert. Zentrale Rechner und Instrumente rechtfertigten eine gemeinsame öffentliche Investition. Das Netzdesign folgte langfristigen Forschungsprogrammen. Der Betrieb erforderte Personal, das sowohl Telekommunikationssysteme als auch die wissenschaftlichen Konsequenzen von Ausfällen verstand. Außerdem trat die Nachfrage unregelmäßig auf, da ein einziges Experiment ein Vielfaches des üblichen Datenverkehrs erzeugen konnte.

Das Berkeley Lab hat seine eigene Netzgeschichte. Der CDC 6600 wurde 1974 an das ARPANET angeschlossen, und Forscher dort trugen später zu grundlegenden Arbeiten zur TCP-Überlastkontrolle bei. Die Arbeit von Van Jacobson und Mike Karels gehört zum weiteren Berkeley-Lab-Umfeld und sollte nicht allein ESnet zugeschrieben werden. Dennoch bleibt die institutionelle Verbindung wichtig, weil sie den Betrieb eines produktiven Wissenschaftsnetzes in die Nähe von Forschern brachte, die Protokollverhalten, Messung und Leistung als untersuchbare Ingenieurprobleme und nicht als feste Gegebenheiten betrachteten.

Der Betrieb zog 1996 zum Berkeley Lab. Dieser Umzug etablierte den heutigen Hauptsitz von ESnet in Nachbarschaft zum National Energy Research Scientific Computing Center, Netzwerkforschern, Softwareingenieuren und anderen DOE-Programmen. Er stärkte auch eine Kultur, in der eine Produktionseinrichtung und eine angewandte Forschungsorganisation Personal, Labore und technische Fragestellungen teilen. (Geschichte von ESnet)

Öffentliche Finanzierung ermöglicht ESnet den Ausbau vor der Nachfrage

Die wissenschaftliche Nutzereinrichtung existiert, weil bestimmte Fähigkeiten so teuer, spezialisiert oder miteinander verbunden sind, dass jedes Forscherteam sie nicht selbst bauen kann. Diese Logik gilt für einen Teilchenbeschleuniger, eine Lichtquelle oder einen führenden Supercomputer, und ESnet wendet sie auf die Telekommunikation an. Fern-Glasfaserrechte, optische Geräte, Router, internationale Kapazität, laufender Betrieb, Cybersicherheit, Leistungsmessung und technischer Support werden in einer einzigen Einrichtung gebündelt, die mehrere Programme bedient.

Die Rechtfertigung für die öffentliche Finanzierung ergibt sich aus der Natur der wissenschaftlichen Nachfrage. Ein Telekommunikationsunternehmen kann eine Hochleistungsleitung verkaufen, gestaltet sein nationales Netz aber normalerweise nicht um einen Detektor herum, der erst in Jahren in Betrieb geht, einen Supernova-Datenschub, der während der Vertragslaufzeit vielleicht nicht eintritt, oder einen wissenschaftlichen Arbeitsablauf mit geringem kommerziellem Volumen und hohem öffentlichem Wert. ESnet kann vor der messbaren Nutzung bauen, weil seine Mission wissenschaftliche Fähigkeit ist und nicht die kurzfristige Netzwerkerlöserzielung.

Das Einrichtungsmodell verändert auch die Art und Weise, wie Nachfrage entdeckt wird. ESnet führt formelle Anforderungsüberprüfungen mit den Wissenschaftsprogrammen des DOE durch. Forscher und Einrichtungsteams beschreiben Instrumente, Datenmengen, Speicherorte, Rechenziele, zeitliche Anforderungen, Kooperationsmuster und lokale Engpässe über einen Horizont von fünf bis zehn Jahren. Die Ergebnisse fließen in die Dimensionierung von Standortverbindungen, die Pfaddiversität, transatlantische Beschaffungen, die Orchestrierungsforschung und das Dienstleistungsdesign ein.

Dieser Prozess mag weniger spektakulär erscheinen als eine neue kohärente optische Verbindung, aber er kann wirkungsvoller sein. Eine Seespektrumvereinbarung, eine Routerbeschaffung oder der Bau eines zweiten Standorteingangs können Jahre der Finanzierung und Umsetzung erfordern. Wenn man wartet, bis das Experiment seine Daten produziert, werden vorhersehbare Infrastrukturanforderungen zu Notfällen. Anforderungsüberprüfungen verwandeln wissenschaftliche Pläne in einen technischen Zeithorizont, innerhalb dessen gearbeitet werden kann.

Die Überprüfungen decken auch Unsicherheiten auf. Prognosen können sich ändern, Instrumentenzeitpläne verschieben sich, Datenreduktionssoftware verbessert sich, die Cloud-Nutzung dehnt sich aus, oder der Arbeitsablauf einer Einrichtung wird umgestaltet. ESnet behandelt eine Fallstudie nicht als garantierte Verkehrsprognose, sondern nutzt die Belege, um eine Bandbreite von Anforderungen zu erstellen, und entscheidet dann, wo Flexibilität, Überkapazität und schrittweiser Ausbau gerechtfertigt sind.

Das Einrichtungsmodell vermeidet eine Abrechnung pro Gigabyte für einzelne Wissenschaftler. Der Kernbetrieb wird bundesfinanziert, während einige standortbezogene Anschlusskosten je nach Programmträgerschaft und der Site User Cost Policy zugewiesen werden können. Diese Regelung ist nicht ohne Interessenkonflikte; ein Trägerprogramm bevorzugt möglicherweise niedrigere Anschlusskosten, ESnet bevorzugt Kapazität und Flexibilität für mehrere Programme, und ein Standort kann lokale Modernisierungen verzögern, die nötig sind, um vom nationalen Netz zu profitieren. Die Governance hat die Aufgabe, diese Entscheidungen auf wissenschaftliche Ergebnisse auszurichten und nicht auf einen Wettbewerb um die Verschiebung von Kosten in einen anderen Budgetposten. (ESnet Site Coordinators Committee und Kostenpolitik;Berichte zu Anforderungsüberprüfungen)

Das DOE definiert die Mission, das Berkeley Lab betreibt das Netz

ESnet besitzt nicht die institutionelle Hierarchie eines Telekommunikationsunternehmens. Seine Autorität verteilt sich über eine föderale Programmkette. Das Office of Science des DOE legt die Mission fest, das Advanced Scientific Computing Research-Programm bietet die grundlegende Aufsicht und Haushaltskontrolle, und das Berkeley Lab beherbergt die Scientific Networking Division, die die Einrichtung entwirft, betreibt und weiterentwickelt.

Die University of California verwaltet das Berkeley Lab unter Vertrag für das Ministerium, und die angeschlossenen Institutionen beteiligen sich über Standortkoordinatoren und das ESnet Site Coordinators Committee.

Inder Monga ist der Exekutivdirektor von ESnet und Direktor der Scientific Networking Division am Berkeley Lab. Aktuelle öffentliche Quellen nennen Chin Guok als Chief Technology Officer und Leiter für Planung und Innovation, Adam Slagell als Chief Security Officer, Jon-Paul Herron als Manager für Netzwerktechnik und Susan Lucas als Stellvertreterin für Geschäftsbetrieb. Unter diesen Positionen befinden sich Funktionen für optische Technik, Routing, Standorttechnik, Netzbetrieb, Software, Messung, Orchestrierung, Sicherheit, Projektmanagement und Wissenschaftskommunikation.

Die Breite dieser Struktur korrigiert das vereinfachte Bild eines nationalen Netzes als Ansammlung von Glasfasern und Routern. ESnet braucht Personal, das Spektrum kaufen, BGP betreiben, Messsysteme bauen, Open-Source-Software pflegen, Paketverhalten untersuchen, Einrichtungen planen, Sicherheitsbeweise verwalten und wissenschaftliche Anforderungen in Netzdesigns übersetzen kann. Die Organisation ist gleichzeitig betrieblich und entwicklungsorientiert.

Die öffentlichen Aufzeichnungen enthalten eine ungeklärte Angabe zum Programmmanagement. Die aktuelle Governance-Seite nennt Benjamin Brown als den von ASCR ernannten Programmmanager, während neuere Materialien zu den Anforderungsüberprüfungen Carol Hawk als ESnet-Programmmanagerin bezeichnen. Die Beweislage erlaubt die Feststellung, dass die öffentlichen Quellen noch nicht abgeglichen sind oder dass sich die Zuständigkeiten geändert oder aufgeteilt haben, aber sie erlaubt nicht, ohne weitere Bestätigung eine aktuelle exklusive Reihenfolge zu wählen.

Das ESnet Site Coordinators Committee bietet einen formellen operativen Kanal für die angeschlossenen Institutionen. Jeder Standort ernennt einen Koordinator, der Anfragen genehmigen kann, die die ESnet-Verbindung der Institution betreffen, Anforderungen übermitteln und an Richtlinien- und Planungsdiskussionen teilnehmen kann. Dies ist eine institutionelle Nutzer-Governance und keine direkte Abstimmung aller Wissenschaftler, deren Daten das Netz durchlaufen.

Daraus ergibt sich eine praktische Verteilung der Verantwortung. ESnet kontrolliert sein Backbone und seine Dienste, der angeschlossene Standort kontrolliert das Campus-Netzwerkgerät, die Data Transfer Nodes, die lokale Sicherheit und die Stromversorgung, ASCR kontrolliert die programmweite Finanzierung, die Wissenschaftsprogramme definieren die Konsequenzen von Verzögerungen oder Ausfällen, und internationale Partner kontrollieren ihre eigenen Netze. Der vollständige Arbeitsablauf funktioniert nur dann, wenn diese getrennten Autoritäten aufeinander abgestimmt bleiben. (ESnet-Führung;Governance)

ESnet4 trennte den üblichen Verkehr von außergewöhnlichen wissenschaftlichen Flüssen

Mitte der 2000er Jahre begannen verteilte Experimente das Verkehrsmuster zu verändern. Der Large Hadron Collider sollte Daten am CERN erzeugen und über eine globale Hierarchie von Laboren und Rechenzentren verteilen. Allgemeine Internetkonnektivität blieb unerlässlich, aber eine begrenzte Anzahl wissenschaftlicher Transfers konnte so groß werden, dass sie normale Verbindungen dominierte. Ein einziges undifferenziertes Netz für beide Muster zu bauen, erschwerte das Kapazitätsmanagement und die Dienstgarantien.

ESnet4 begegnete dem Problem mit einer hybriden Architektur. Ein IP-Kern trug den allgemeinen Wissenschaftsverkehr, während ein separates Science Data Network hochleistungsfähige optische Leitungen für große Datenströme verwendete und die dynamische Pfadkonfiguration unterstützte. Metropolitan Area Loops verbanden die Hauptlabore, und die Zusammenarbeit mit Internet2 und internationalen Partnern erweiterte das System über die DOE-Standorte hinaus.

Die Architektur trennte den Verkehr nach betrieblichen Anforderungen, nicht nach einer vereinfachten Aufteilung in „schnell“ und „langsam“. Ein allgemeiner IP-Dienst brauchte breiten Zugang und flexibles Routing, während ein geplanter Multi-Terabyte-Transfer von einem reservierten Layer-2-Pfad mit bekannter Startzeit, dedizierter Bandbreite und bekannten Endpunkten profitieren konnte. Das Science Data Network erkannte an, dass eine begrenzte Anzahl vorhersagbarer, hochwertiger Datenströme ein anderes Kontrollmodell rechtfertigen konnte als die übliche Paketvermittlung.

OSCARS entstand aus dieser Umgebung. Das On-demand Secure Circuits and Advance Reservation System ermöglichte es autorisierten Nutzern oder Anwendungen, Netzwerkressourcen für einen bestimmten Zeitraum anzufordern. Das System musste den Pfad finden, Topologie- und Richtlinienbeschränkungen prüfen, Bandbreite und VLAN-Ressourcen reservieren, den Zustand in den Geräten herstellen und nach Ablauf der Reservierung wieder entfernen. Es verwandelte eine Aufgabe, die auf manueller Koordination beruhte, in einen softwarebasiert anforderbaren Dienst.

ESnet4 zeigte auch, dass die reine Geschwindigkeit nicht mehr der einzige Engpass war. Eine reservierte Leitung konnte die Kapazität im Weitverkehrsnetz schützen, aber die Anwendung blieb langsam, weil das Speichersystem nicht schnell genug lesen konnte oder eine lokale Firewall Pakete verwarf. Diese Lehre führte direkt zur Science-DMZ-Architektur und zur Ende-zu-Ende-Messung.

Diese Phase etablierte ein wiederkehrendes Muster im Design von ESnet. Das wissenschaftliche Problem tritt zuerst als Verkehrsanforderung auf, dann baut die Einrichtung physische Kapazität, einen Kontrollmechanismus und eine Betriebsweise darum herum. Wenn sich der Ansatz bewährt, verbreiten sich die Software und die Ingenieurrichtlinien über das ursprüngliche Experiment hinaus. (Historische Materialien zu ESnet4 und ESnet5;OSCARS)

Die Science DMZ zeigte, dass der Engpass oft am Rand liegt

Ein nationales Backbone kann einwandfrei funktionieren, während der Wissenschaftler unter schlechter Übertragungsleistung leidet. Der Grund ist klar: Das Backbone ist nur ein Teil des Weges. Institutionelle Firewalls, gemeinsam genutzte Universitätsnetzkerne, veraltete Router, schwache Server, Paketverluste und Speichergrenzen können einen Hochgeschwindigkeitspfad auf einen Bruchteil seiner technischen Fähigkeit reduzieren.

Die Science DMZ ist die Antwort von ESnet auf diese Ende-zu-Ende-Realität. Die Architektur platziert Data Transfer Nodes in einen Hochleistungspfad nahe eines kontrollierten institutionellen Perimeters. Die Sicherheitsrichtlinie wird auf die begrenzten Dienste zugeschnitten, die diese Systeme bereitstellen, anstatt den konstanten Wissenschaftsverkehr durch eine zustandsbehaftete Allzweck-Firewall zu zwingen, die für viele Arten von Unternehmensanwendungen ausgelegt ist.

Der Begriff kann fälschlicherweise als Aufruf zur Abschaffung von Sicherheit verstanden werden. Die Science DMZ setzt jedoch auf gehärtete Hosts, Router-Zugriffskontrolllisten, Überwachung, Schwachstellenmanagement, Minimierung exponierter Dienste und betriebliche Disziplin. Das Design ändert, wo und wie einige Kontrollen angewendet werden, und vermeidet es, ein Gerät mit ungeeignetem Durchsatz oder Sitzungsverhalten in den Hauptdatenpfad zu stellen, nur weil es Teil des üblichen Unternehmenssicherheitsmusters ist.

Die Leistungsmessung ist Teil der Architektur, kein optionales Dashboard. perfSONAR-Knoten führen kontrollierte Tests zu Durchsatz, Paketverlust, Latenz und Pfadänderungen durch. Wenn zwei Standorte sich über die Ursache schlechter Übertragung uneins sind, helfen die Messungen festzustellen, ob das Problem beim Host, der lokalen Verbindung, im regionalen Netz, im ESnet-Backbone oder beim internationalen Partner beginnt. Ohne diese Beweise kann jeder Betreiber behaupten, sein Abschnitt sei in Ordnung, während der Forscher weiterhin keine Daten übertragen kann.

Data Transfer Nodes erfordern eigene Ingenieursarbeit. Netzwerkkarten, Prozessorplatzierung, Speicher, Festplatten oder parallele Dateisysteme, TCP-Puffer und Übertragungssoftware bestimmen das erreichbare Leistungsniveau. Die Fasterdata-Richtlinien und die technische Beratung von ESnet machen diese Details zu einer reproduzierbaren Praxis. Der Ansatz hat sich über die DOE-Labore hinaus verbreitet, aber ESnet betreibt nicht jede Installation, die den Namen verwendet.

Die Science DMZ wurde einflussreich, weil sie eine Beschaffungsfrage in eine Systemfrage umwandelte. Eine schnellere Leitung repariert keinen Pfad, der anderswo begrenzt ist. Die sinnvolle Leistungseinheit ist der vollständige Arbeitsablauf von Speicher zu Speicher oder von Instrument zu Rechenleistung, wobei jede administrative Domäne gemessen wird und eine klare Verantwortung trägt. (Science-DMZ-Richtlinien;Netzwerkleistungswerkzeuge)

ESnet5 machte das kontinentale 100G-Netz zum Produktionsdienst

Der nächste große Kapazitätssprung wurde durch die Advanced Networking Initiative und US-Konjunkturfördermittel unterstützt. ESnet erhielt 62 Millionen Dollar im Rahmen des American Recovery and Reinvestment Act, um einen 100-Gigabit-pro-Sekunde-Weitverkehrstestbed zu entwickeln und den Übergang zu ESnet5 zu unterstützen. Die Investition umfasste nicht nur neue Router, sondern ESnet erwarb auch Spektrumskapazitätsrechte über einen nationalen Glasfaser-Fußabdruck, was dem Programm mehr Kontrolle über die Bereitstellung und Aufrüstung von Wellenlängen gab.

ESnet5 ging Ende 2012 in Produktion. Das DOE und ESnet bezeichneten es damals als das schnellste Wissenschaftsnetz der Welt. Diese historische Behauptung war an eine bahnbrechende kontinentale 100G-Bereitstellung gebunden und sollte 2026 nicht als absolute globale Einstufung wiederholt werden. Forschungsnetze geben heute Kapazitätszahlen durch unterschiedliche Metriken an, darunter individuelle Schnittstellengeschwindigkeiten, gesamte Backbone-Kapazität, optisches Spektrum und Testbed-Experimente. Die verfügbaren Beweise enthalten keinen unabhängigen aktuellen Vergleich, der einen einzigen Sieger nach einer globalen Metrik bestimmt.

Die wirtschaftlichen Auswirkungen von 100G gingen über die Verzehnfachung der Schnittstellengeschwindigkeit hinaus. Wissenschaftliche Projekte konnten regelmäßige Weitverkehrstransfers planen, die zuvor Verbindungen viel länger belegt hätten. Labore konnten einige Rechen- oder Speicherressourcen zentral bündeln, statt sie lokal zu replizieren, und internationale Kollaborationen erhielten ein leistungsfähigeres US-Backbone. Die neue Kapazität deckte lokale Begrenzungen schneller auf und machte die Science DMZ und perfSONAR noch wichtiger.

ESnet5 behielt die hybride Beziehung zwischen Paketdienst und dedizierten Wissenschaftspfaden bei. Es vertiefte auch die Bedeutung der Automatisierung. Im 100G-Maßstab konnte man Kapazitäten nicht mehr durch manuelle Gerätekonfiguration reservieren, Fehler diagnostizieren und einen konsistenten Dienst über einen nationalen Fußabdruck aufrechterhalten.

Das Projekt zeigt, wie öffentliche Infrastrukturinvestitionen wissenschaftliche Optionen verändern, bevor ein einzelnes Experiment das gesamte Netz nutzt. Kapazität schafft eine Reserve für zukünftige Instrumente, aber Überkapazität ist nicht in demselben Sinne Verschwendung wie ein ungenutzter kommerzieller Dienst. Ihr Wert umfasst die Vermeidung von Experimentverzögerungen, die Absorption von Ausfällen und die Möglichkeit, neue Arbeitsabläufe zu testen, ohne auf einen weiteren Bauzyklus warten zu müssen.

Dennoch muss die Investition an der wissenschaftlichen Nutzung gemessen werden, und das Design muss anpassungsfähig bleiben, wenn sich die Prognosen ändern. Die späteren Arbeiten von ESnet zu Messung, Zwischenspeicherung und Orchestrierung spiegeln den Versuch wider, aus jedem installierten Bit mehr wissenschaftlichen Wert zu ziehen, anstatt kontinuierliche physische Erweiterung als einzige Lösung zu behandeln. (Historische ESnet5-Ankündigung)

ESnet6 kombiniert optische Kapazität mit programmierbarer Steuerung

Das ESnet6-Projekt begann 2017 und wurde am 11. Oktober 2022 nach etwa sechs Jahren Design und Bau öffentlich vorgestellt. Bei der Einführung meldete das Berkeley Lab über 46 Terabit pro Sekunde Gesamtkapazität über einen dedizierten Fußabdruck von rund 15.000 Meilen, mit Backbone-Verbindungen zwischen 400 Gigabit pro Sekunde und einem Terabit pro Sekunde. Der Jahresbericht 2024 gab später eine Zahl von 57 Terabit pro Sekunde und einen Verbindungsbereich von bis zu 1,2 Terabit pro Sekunde an. Die Zahlen stammen aus unterschiedlichen Zeitpunkten und einem expandierenden System, nicht aus widersprüchlichen Definitionen eines statischen Netzes.

Die physische Schicht umfasst Fern-Glasfaserpfade, optische Leitungssysteme, Verstärker, Spektrumrechte, Hosting-Einrichtungen und lokale Service-Einstiegspunkte. Der Bericht von 2024 zählte 278 Standorte für optische Verstärker. Kohärente Optik trägt mehrere Hochgeschwindigkeitskanäle über die Fasern, während Verstärker und rekonfigurierbare optische Geräte die Signalpegel aufrechterhalten und Wellenlängen lenken. Ein auf der Karte erscheinender Pfad kann durch Dark Fiber, Spektrum, einen beleuchteten Dienst oder eine Partnervereinbarung kontrolliert werden.

Die Beschreibung von 15.000 Meilen beweist nicht, dass das DOE jedes Kabel rechtlich besitzt.

Über der optischen Schicht bieten Router und Dienst-Edge-Plattformen IP, dedizierte Routing-Umgebungen, Layer-2-Dienste, Peering und Cloud-Konnektivität. Der Jahresbericht zählte 78 Router-Standorte. Einzelne Standorte können je nach Anforderungen mit 10, 100 oder 400 Gigabit pro Sekunde angeschlossen werden, während Backbone-Verbindungen mehrere Schnittstellen oder Wellenlängen bündeln können, um höhere Zahlen zu erreichen.

Die Softwareschicht unterscheidet ESnet6 von einer reinen Kapazitätserweiterung. Die Automatisierung verwaltet den Geräte- und Dienstzustand, und die programmierbare Messung liefert den Betreibern detailliertere Beweise. OSCARS konfiguriert reservierte Pfade, SENSE erprobt die anwendungsgesteuerte Orchestrierung über mehrere Domänen hinweg, und High-Touch nutzt programmierbare Hardware für eine reichhaltigere Paket- und Flusstransparenz. APIs und Testbed-Hooks ermöglichen den Übergang erfolgreicher Forschung in den Betrieb.

Der Bau legte auch größeren Wert auf Resilienz. Diverse Pfade, mehrere Standortzugänge, unabhängige Stromversorgung, redundante Router und hochverfügbare Dienststandorte verringern die Wahrscheinlichkeit, dass ein einzelner Ausfall ein Labor vom nationalen System trennt. Diese Schutzmaßnahmen haben jedoch unterschiedliche Reichweiten; ein mehrfaches Backbone nützt nichts, wenn die beiden lokalen Leitungen denselben Kabelkanal teilen, und ein zweiter Router schafft keine Resilienz, wenn beide Geräte von demselben Stromsystem abhängen.

ESnet6 sollte daher als mehrschichtige Einrichtung verstanden werden. Die Glasfaser bietet physischen Zugang, die Optik schafft Kapazität, die Router stellen Paket- und Spezialdienste bereit, die Software ermöglicht Wiederholbarkeit und Programmierbarkeit, und die Messung belegt, ob der versprochene Pfad funktioniert. Institutionelle Vereinbarungen erlauben die Überquerung von Grenzen, die ESnet nicht besitzt. (ESnet6-Einführung;Jahresbericht 2024)

Was 57 Terabit pro Sekunde bedeuten – und was nicht

Netzwerkstatistiken verdichten oft unterschiedliche Schichten zu einer einzigen Zahl. Die Zahl von 57 Terabit pro Sekunde aus dem Jahr 2024 stellt die gesamte technische Kapazität des Systems dar. Sie ist weder eine einzelne physische Verbindung, noch die für jedes Labor verfügbare Durchsatzrate, noch der zu jedem Zeitpunkt übertragene Verkehr. Derselbe Bericht beschreibt Backbone-Verbindungen zwischen 400 Gigabit pro Sekunde und 1,2 Terabit pro Sekunde, sieben US-Standorte mit 400G oder mehr und eine transatlantische Kapazität von 2,7 Terabit pro Sekunde. Jede Zahl beantwortet eine andere Frage.

Der Bericht zählte außerdem 78 Router-Standorte und 278 Verstärker-Standorte über einen Fußabdruck von fast 15.000 Meilen. Er verband alle 17 nationalen DOE-Labore, listete 28 DOE-Nutzereinrichtungen, 277 Beziehungen zu Forschungs- und Bildungsnetzen, kommerziellen Netzen und anderen in fünf Ländern, über 30.000 organisatorische Nutzer und 137 Mitarbeiter und Auftragnehmer in 24 Bundesstaaten. Diese Zahlen beschreiben unterschiedliche Mengen und sind nicht als Kundenzahl zu addieren; Router, Einrichtungen, Partnernetze, institutionelle Nutzer und Belegschaft sind getrennte Metriken.

Ein Standortanschluss ist die Kapazität an einer einzelnen institutionellen Grenze, eine Backbone-Verbindung die Kapazität zwischen zwei Netzstandorten. Das optische System kann mehrere Wellenlängen transportieren, und ein logischer Dienst kann nur einen Teil der physischen Schicht nutzen. Die Gesamtkapazität aggregiert viele Ressourcen, die nicht alle gleichzeitig dieselbe Quelle und dasselbe Ziel bedienen können. Das Verkehrsvolumen misst die in einem Zeitraum übertragenen Daten, nicht die höchste zu einem Moment verfügbare Rate.

ESnet übertrug im Kalenderjahr 2024 1,77 Exabyte, gegenüber 1,7 Exabyte im Jahr 2023. Der Anstieg von 4 % war niedrig im Vergleich zu dem von der Einrichtung berichteten historischen durchschnittlichen jährlichen Wachstum von etwa 55 % seit 1989. Ein einzelnes Jahr beweist nicht, dass die wissenschaftliche Nachfrage stagniert. Große Projekte gehen unregelmäßig in Betrieb, Softwareänderungen können Übertragungen reduzieren, und ein einzelnes Experiment oder internationales Ereignis kann den Mix schnell verändern.

Der Verkehr ist zudem konzentriert. Der Bericht von 2024 gab an, dass die Aktivität des Large Hadron Collider etwa die Hälfte des Gesamtverkehrs ausmachte. Fermilab war mit 136 Petabyte der größte externe Sender, NERSC mit 75,3 Petabyte der größte DOE-Empfänger und Oak Ridge mit 58,3 Petabyte der größte DOE-Sender. Diese Zahlen zeigen wichtige Arbeitslasten, bilden aber keine vollständige Rangliste des wissenschaftlichen Werts; ein kleinerer Transfer kann zeitkritischer sein oder ein einzigartiges Instrument unterstützen.

Die Kapazitätsplanung benötigt daher mehrere gleichzeitige Perspektiven: Spitzen- und Durchschnittsverkehr, pfadbezogene Nutzung, Ausfallreserven, Standortanschlussraten, wissenschaftliche Zeitpläne und zukünftige Anforderungen. Ein Netz, das nur auf die durchschnittliche Nutzung ausgelegt ist, kann bei einem Supernova-Schub oder einem Kabelbruch versagen, während ein Netz, das auf das größte theoretische Ereignis ausgelegt ist, teure und unflexible Vermögenswerte aufbauen kann.

Das Ingenieurproblem von ESnet besteht darin, Kapazität dort zu platzieren, wo die Arbeitsabläufe, die sie benötigen, darauf zugreifen können, und dann zu überprüfen, ob die Endsysteme sie nutzen können. Deshalb sollte die Kapazitätszahl neben Science DMZ, Messung, Orchestrierung und Anforderungsüberprüfungen stehen und nicht als selbsterklärende Rangliste am Anfang des Artikels. (ESnet in Zahlen)

AS293 leitet für die Mission, nicht für den Massenmarkt

Die öffentliche Autonomous System Number von ESnet ist AS293. Das Netz tauscht Routen mit DOE-Standorten, Forschungs- und Bildungsnetzen, kommerziellen Netzen und bezahlten Transitprovidern aus. Die Routing-Richtlinie bestimmt, welche Pfade den Wissenschaftsverkehr tragen dürfen, wie Ausfälle behandelt werden und welche externen Netze direkten Peering erhalten.

Die Peering-Richtlinie ist selektiv. Potenzielle Partner müssen BGP verwenden, aktuelle Informationen im Internet Routing Registry und in PeeringDB pflegen, RPKI-ungültige Ankündigungen vermeiden und die mit MANRS verbundenen Routing-Sicherheitspraktiken einhalten. ESnet verlangt IPv6-Peering oder Dual-Stack und akzeptiert keine neuen reinen IPv4-Beziehungen. Direktes privates Peering beginnt bei einem 100G-Port, mit einer starken Präferenz für 400G.

Diese Bedingungen spiegeln sowohl die Mission als auch die Betriebskosten wider. Direktes Peering verbraucht Ports, Ingenieurzeit und Überwachungskapazität. ESnet muss nicht mit jedem Netz peeren, nur weil öffentliche Pfade existieren, sondern sucht Beziehungen, die die wissenschaftlichen Routen des DOE verbessern, die Abhängigkeit von Transit verringern oder wichtige Kollaborateure erreichen. Der allgemeine Internetzugang wird durch bezahlten Transit von Hurricane Electric und Lumen für Ziele ergänzt, die das Netz nicht effizient über Forschungsnetze oder direktes Peering erreicht.

Das Netz veröffentlicht BGP-Communities, die zwischen ESnet-Standorten, Forschungs- und Bildungsnetzen und kommerziellen Netzen unterscheiden. Angeschlossene Institutionen können diese Tags nutzen, um ihre eigene Richtlinie anzuwenden, aber ihre Interpretation in nachgelagerten Netzen bleibt außerhalb der Kontrolle von ESnet. Sie sind Metadaten und keine globale Garantie, dass jedes Netz dieselbe Routing-Entscheidung trifft.

Die Routing-Sicherheit hat ebenfalls Grenzen. Die Ablehnung von RPKI-invalid-Ankündigungen verhindert eine wichtige Klasse fehlerhafter Routen, aber sie verhindert nicht alle Lecks, kompromittierte Partner, korrekte Quellen, die falsch verwendet werden, oder ungenaue Route-Origin-Autorisierungen. Die Überwachung auf Routenentführungen kann unerwartete Änderungen des Ursprungs erkennen, aber die Erkennung kann nach der Verbreitung erfolgen. Blackhole-Routing kann einen Standort während eines Angriffs schützen, indem der Verkehr zu einem Ziel verworfen wird, aber der Schutz wird durch die geopferte Erreichbarkeit des Präfixes erreicht.

Das missionsorientierte Design zeigt sich an den Dienstgrenzen. ESnet transportiert öffentlichen IP-Verkehr, versucht aber nicht, den Endkunden-Transitmarkt zu gewinnen. Seine Richtlinie ist um wissenschaftlichen Zugang, Resilienz und vertrauenswürdiges Peering herum organisiert. Der Wert des Netzes ergibt sich aus der Qualität der Pfade, die es für die Gemeinschaft schafft, der es dient, und nicht aus der Maximierung der Anzahl von Einzelhandelskunden, die mit AS293 verbunden sind. (ESnet-Peering-Richtlinie)

Dedizierte Pfade erweitern die Reichweite, ohne externe Risiken zu beseitigen

Die Dienstliste von ESnet beginnt mit der physischen Konnektivität. Berechtigte Standorte können sich lokal oder über einen entfernten Point of Presence mit 10, 100 oder 400 Gigabit pro Sekunde verbinden. Wenn eine Einrichtung weit vom dedizierten Fußabdruck entfernt ist, kann der Service On-Ramp Dark Fiber oder eine beleuchtete Leitung eines Betreibers nutzen. Das Zugangsdesign wird Teil des wissenschaftlichen Pfades, und die vom Anbieter bereitgestellte letzte Meile kann zur wichtigsten Einschränkung für Leistung oder Ausfallsicherheit werden.

Der Layer-3-IP-Dienst bietet IPv4- und IPv6-Routing. Ein privates virtuelles Layer-3-Netzwerk schafft eine logisch getrennte IP- und BGP-Umgebung für ein standortübergreifendes Programm, wobei die physische Infrastruktur mit anderen Diensten geteilt wird. Virtuelle private Layer-2-Netzwerke bieten Punkt-zu-Punkt- oder Multipunkt-Ethernet-Konnektivität, entweder mit statischer Konfiguration oder über OSCARS. Diese Dienste erlauben es Experimenten, Einrichtungen zu verbinden, ohne jede Beziehung über das öffentliche Internet offenzulegen.

Ein dedizierter Dienst bedeutet jedoch keine vollständige physische Isolation. Die logische Trennung hängt von Router-Konfigurationen, Tags, Routing-Zuständen, Zugriffskontrolllisten und betrieblicher Praxis ab. Ein Ausfall der gemeinsamen Plattform kann mehrere Dienste betreffen, und ein Konfigurationsfehler kann die beabsichtigte Trennung zunichtemachen. Der Wert liegt in der kontrollierten Segmentierung und der vorhersagbaren Konnektivität, nicht in der Behauptung, dass keinerlei gemeinsame Abhängigkeiten bestehen.

Cloud Connect erweitert die Pfade von ESnet in große kommerzielle Cloud-Umgebungen, darunter AWS, Microsoft Azure, Google Cloud und Oracle. Ein Standort kann den Verbindungspunkt des Anbieters über eine dedizierte Layer-2- oder Layer-3-Verbindung erreichen, anstatt über das öffentliche Internet zu routen. Dies kann die Pfadkontrolle verbessern und die Exposition gegenüber variablem Transit verringern, beseitigt aber nicht die Cloud-Sicherheit, Anbieterausfälle, das Identitätsdesign, die Datenausgangsgebühren oder die regionale Verfügbarkeit.

Die Cloud-Beziehung zeigt die sich verändernde Rolle von ESnet. Die DOE-Wissenschaft findet nicht mehr nur in bundesstaatlichen Laboren und Supercomputern statt; Forscher können kommerziellen Objektspeicher, spezialisierte Dienste oder temporäres Rechnen nutzen. ESnet muss diese Ressourcen anbinden, ohne zu behaupten, dass die Cloud Teil des föderalen Netzes ist oder dass die dedizierte Leitung das Cloud-Konto von sich aus sicher macht.

Zu den weiteren Diensten gehören sekundäres DNS, Netzwerkzeit, Überwachung auf Routenentführungen und Blackhole-Routing. Jeder dieser Dienste behandelt eine unterstützende Abhängigkeit, die die Forschung selbst dann zum Erliegen bringen kann, wenn die optische Kapazität verfügbar bleibt. Ein Fehler des Namensdienstes, ein Zeitfehler, ein Route-Leck oder ein Denial-of-Service-Angriff können ein wissenschaftliches System unbrauchbar machen, ohne die Faser zu beschädigen.

Die Dienstliste ist ein Satz operativer Verträge zwischen den Netzwerkschichten. Die physische Konnektivität definiert den Weg, das Routing schafft Erreichbarkeit, dedizierte Dienste bieten logische Grenzen, Cloud-Konnektivität erweitert das System in kommerzielle Infrastruktur, und Sicherheits- und Supportdienste mindern bekannte Ausfallmuster. Der Nutzer muss jedoch immer noch einen Endpunkt und ein lokales Netz aufbauen, das an jedem Ende korrekt funktioniert. (ESnet-Dienstliste)

OSCARS macht Kapazität buchbar

Der meiste Internetverkehr nutzt die verfügbare Kapazität, wenn die Pakete ankommen. Dieses Modell funktioniert gut für allgemeine Kommunikation, aber einige wissenschaftliche Transfers sind geplant, groß und teuer in der Verzögerung. OSCARS gibt autorisierten Nutzern und Anwendungen die Möglichkeit, Netzwerkressourcen für einen bestimmten Zeitraum zu reservieren.

Eine Reservierung kann Endpunkte, Start- und Endzeiten, Bandbreite, VLAN-Informationen, Pfadausnahmen und andere Einschränkungen festlegen. Das System prüft die Topologie und bestehende Verpflichtungen, findet einen akzeptablen Pfad, erstellt den erforderlichen Zustand im Netz und entfernt ihn nach Ablauf der Reservierung. Es muss vermeiden, dieselbe knappe Ressource zweimal zuzuweisen, und Wartungen oder Ausfälle berücksichtigen, die die verfügbare Topologie verändern.

Die Bedeutung ist betrieblich, nicht kosmetisch. Eine manuelle Einrichtung einer Leitung könnte Tage der Koordination zwischen Ingenieuren erfordern, während eine programmatische Reservierung in Minuten erstellt und in den Arbeitsablauf eines Experiments eingefügt werden kann. Das Netz hört auf, ein statisches Hintergrundrohr zu sein, und wird zu einer Ressource, die Software ebenso anfordern kann wie Speicher oder Rechenleistung.

OSCARS ist ein produktives Open-Source-System und wurde von anderen Netzen und Testbeds übernommen oder getestet. Einige öffentliche Akzeptanzzahlen erscheinen auf Seiten mit historischem Material, daher ist die sicherste Schlussfolgerung, dass sich das System über ESnet hinaus verbreitet hat, ohne jede aufgeführte Implementierung als derzeit aktuell und identisch zu betrachten.

Eine Reservierung garantiert keinen Anwendungsdurchsatz. Sie kann eine bestimmte Menge an Netzwerkkapazität schützen, aber sie kann einen Speicherserver nicht schneller lesen lassen, Paketverluste innerhalb eines Standortnetzes beheben oder das Betriebssystem optimieren. Wenn die Anwendung nur einen Bruchteil der reservierten Rate erreicht, muss die Diagnose wieder beim vollständigen Pfad ansetzen.

Reservierungen werfen auch Zuteilungsfragen auf. Ein hochpriorisiertes Experiment kann von garantierter Kapazität profitieren, während ungenutzte Reservierungen die für andere verfügbare Flexibilität verringern. Richtlinien müssen festlegen, wer den Dienst anfordern darf, wie Konflikte gelöst werden und ob eine Reservierung unterbrochen werden kann. Diese Entscheidungen bleiben Teil der Einrichtungs-Governance, auch wenn der Konfigurationscode automatisiert ist.

OSCARS bleibt eines der klarsten Beispiele von ESnet, wie angewandte Software zu Infrastruktur wird. Es verwandelte eine operative Praxis in einen wiederholbaren Dienst, behielt die menschliche Autorisierungspolitik bei und gab wissenschaftlichen Anwendungen eine kontrollierte Möglichkeit, Netzwerkanforderungen auszudrücken. (OSCARS)

SENSE erprobt die Fähigkeit von Anwendungen, ein Ende-zu-Ende-Ergebnis anzufordern

Ein reservierter Netzwerkpfad löst nur einen Teil eines verteilten Arbeitsablaufs. Speichersysteme, Datenübertragungsdienste und Rechenressourcen haben ihre eigene Verfügbarkeit, Kapazität und Richtlinien. SENSE – Software-defined network for End-to-end Networked Science at the Exascale – erweitert die Orchestrierung über eine einzelne Netzwerkdomäne hinaus.

Das Projekt stellt Netze und Endsysteme als auffindbare Ressourcen dar. Eine wissenschaftliche Anwendung kann ein gewünschtes Ergebnis beschreiben, etwa die Übertragung eines Datensatzes zwischen zwei Einrichtungen mit einer bestimmten Rate. SENSE sammelt Modelle aus den teilnehmenden Domänen, verhandelt Ressourcen, konfiguriert das Netz und die Transferdienste, überwacht die Messung und gibt die Ressourcen nach Abschluss des Arbeitsablaufs frei.

Diese Aufgabe ist schwieriger als das Konfigurieren einer einzelnen Leitung. Die teilnehmenden Institutionen behalten ihre Autorität und ihre Datenmodelle. Eine Domäne kann Netzwerkbandbreite anbieten, während eine andere Speicherknoten oder Transferdienste bereitstellt, und Richtlinien, Berechtigungsnachweise und Wartungsfenster unterscheiden sich. SENSE muss orchestrieren, ohne anzunehmen, dass ein zentraler Controller jedem System Befehle erteilen kann.

Während der Large Hadron Collider Data Challenge 2024 hielten von SENSE unterstützte Arbeitsabläufe 330 Gigabit pro Sekunde zwischen Caltech und der University of California, San Diego, aufrecht. Das Ergebnis zeigt, dass die anwendungsgesteuerte Orchestrierung auf einem bestimmten Live-Pfad mit hoher Rate funktionieren kann, beweist aber nicht, dass SENSE ein allgemeiner Produktionsdienst an jedem ESnet-Standort ist. Der Bericht von 2024 beschrieb das Projekt weiterhin als in der Forschungsphase befindlich.

OSCARS und SENSE automatisieren zwei verschiedene Arbeitseinheiten. OSCARS reserviert Netzwerkressourcen innerhalb einer bekannten Dienstedomäne, während SENSE versucht, einen vollständigen Pfad auszuhandeln, der Systeme umfasst, die verschiedenen Institutionen gehören. Ersteres hat klarere Produktionsgrenzen, während Letzteres einen breiteren wissenschaftlichen Wert mit größeren Governance- und Integrationsrisiken bietet.

Die praktische Frage für Betreiber ist die Zuständigkeit für Fehler. Wenn eine Anwendung ihre Absicht erklärt und der Arbeitsablauf schlecht läuft, kann die Ursache im Ressourcenmodell, im Netz, im Speicherdienst, in den Anmeldeinformationen, in der Anwendung oder in einem Zeitproblem zwischen den Domänen liegen. Die Orchestrierung benötigt Beweise, die genau genug sind, um jedem Betreiber mitzuteilen, welcher Teil vom vereinbarten Zustand abgewichen ist.

SENSE deutet auf eine Architektur hin, in der Anwendungen Ergebnisse anstelle von Leitungen anfordern können. Sein Fortschritt sollte anhand wiederholter produktiver Nutzung über mehrere Domänen, der Klarheit der Support-Verantwortung und der Fähigkeit zur Wiederherstellung nach Teilausfällen beurteilt werden, nicht allein anhand der höchsten experimentellen Übertragungsrate. (SENSE;Angewandte Forschung 2024)

EJFAT transportiert wissenschaftliche Ereignisse direkt zum entfernten Rechnen

Der traditionelle Wissenschaftsdatentransfer folgt oft einer dateibasierten Sequenz. Das Experiment erzeugt Daten, lokale Systeme verarbeiten genug, um Dateien zu schreiben, die Dateien gelangen in den Speicher, und ein späterer Prozess überträgt sie zur Analyse an eine andere Einrichtung. Dieses Muster ist verständlich und betrieblich zuverlässig, verzögert jedoch die Rückmeldung und erfordert lokalen Speicher und Rechenleistung, die mit der Erfassungsspitze umgehen können.

EJFAT – ESnet–Jefferson Lab FPGA Accelerated Transport – unterstützt einen anderen Pfad. Das System verteilt Live-Ereignisdaten, die in UDP gekapselt sind, vom Instrument auf verfügbare Rechenknoten, die sich in einem entfernten Supercomputer befinden können. Eine programmierbare FPGA-basierte SmartNIC liest Ereignis-IDs und sendet alle Fragmente desselben Ereignisses an einen einzigen Arbeiter. Wenn Rechenknoten verfügbar oder ausgelastet werden, kann das Steuerungssystem die Verteilung ändern.

Die Zusammenführung von Ereignisfragmenten ist ein wichtiger Faktor. Ein allgemeiner Load Balancer kann Pakete auf Server verteilen, aber die wissenschaftliche Verarbeitung kann erfordern, dass alle Fragmente eines Detektorereignisses denselben Arbeiter erreichen. EJFAT trennt die Hochgeschwindigkeits-Weiterleitungsfunktion von der Planung der Rechenarbeiter und erlaubt beiden Seiten, unabhängig zu skalieren.

Die eingangs erwähnte Demonstration vom April 2024 zwischen Jefferson Lab und Perlmutter erreichte 100 Gigabit pro Sekunde ohne eine zwischengeschaltete Festplattenphase. Spätere Tests nutzten Rechenressourcen, die über mehrere Einrichtungen und etwa 20.000 Kerne verteilt waren, wie ESnet berichtete. Diese Ergebnisse zeigen die Fähigkeiten des Systems, bedeuten aber nicht, dass jedes Instrument es ohne technische Anpassungen übernehmen kann.

Die Facility for Rare Isotope Beams liefert ein neueres operationsnahes Beispiel. Im Juli 2026 berichtete ESnet, dass Forscher rohe Experimentdaten mit etwa 5–6 Gigabit pro Sekunde über EJFAT an entfernte Supercomputer streamten. Ein einzelner Lauf produzierte 615 Gigabyte in 15 Stunden und wurde dann in 20 Minuten auf acht Perlmutter-Knoten mittels maschinellen Lernens verarbeitet. Die niedrigere Netzwerkgeschwindigkeit als die 100G-Demonstration macht das Ergebnis nicht weniger bedeutsam, weil das wissenschaftliche Ergebnis eine schnellere Rückmeldung während eines realen Arbeitsablaufs war.

Das Live-Streaming verändert die Einrichtungsökonomie. Ein Detektor kann gemeinsame Rechenleistung ausleihen, anstatt lokale Kapazität für jede Spitze aufzubauen, und Forscher können Ergebnisse überprüfen, während die knappe Strahlzeit noch verfügbar ist. Das System schafft jedoch auch neue Abhängigkeiten; ein Netzausfall, ein Rechenzuteilungsproblem oder ein Fehler in der Ereignisverteilung können das Experiment in Echtzeit beeinträchtigen, anstatt einen späteren Dateitransfer zu verzögern.

EJFAT bleibt ein fortgeschrittener Prototyp oder eine entstehende Plattform, kein universell unterstützter Dienst. Der Übergang zur Produktion erfordert Instrumentenintegration, Sicherheit, FPGA-Verfügbarkeit, betriebliche Zuständigkeit, Planungsvereinbarungen und ein klares Verhalten bei UDP-Paketverlusten. Seine Bedeutung liegt darin, zu zeigen, dass ein Weitverkehrsnetz in die Erfassungsschleife eintreten kann, anstatt danach zu arbeiten. (EJFAT;FRIB-Wissenschaftsbericht)

High-Touch, perfSONAR und iperf3 machen den Pfad sichtbar

Ein Hochgeschwindigkeitsnetz kann auf Weisen versagen, die aggregierte Nutzungsdiagramme nicht zeigen. Kurze Mikro-Bursts können eine Warteschlange füllen, Pakete können in anderer Reihenfolge ankommen, Verluste können eine Richtung oder eine Verkehrsklasse betreffen, der Pfad kann sich zwischen zwei Tests ändern, oder sicherheitsrelevante Ströme können in der statistischen Stichprobe verschwinden.

High-Touch verwendet programmierbare Hardware und Software, um eine reichhaltigere Paket- und Flussmessung als herkömmliche stichprobenbasierte Protokolle zu sammeln. Es wurde 2024 eingesetzt, um den LHC-Durchsatz, die mit dem Rubin Observatory-Verkehr verbundene Paketumordnung und Sicherheitsereignisse zu untersuchen. Der Zweck ist diagnostische Präzision: Verhalten zu identifizieren, das aggregierte Verkehrszahlen verbergen.

Detailliertere Beweise haben Kosten. Paket- und Flussinformationen erfordern Speicher, Verarbeitung, Zugriffskontrollen und sorgfältige Interpretation und können kommunizierende Endpunkte, Kooperationsmuster und den Zeitpunkt wissenschaftlicher Aktivitäten offenlegen. Deshalb wird ein System, das für betriebliche Transparenz ausgelegt ist, zu einem sensiblen Datenbestand.

perfSONAR behandelt eine andere Schicht. Es ist ein verteiltes Messsystem, das von einer Partnerschaft mehrerer Institutionen unterstützt wird, wobei ESnet einer der wichtigsten Gründungsteilnehmer ist. Im Jahr 2024 wurden weltweit über 2.000 Standorte gemeldet, und ESnet betreibt mehr als 30. Kontrollierte Tests messen Durchsatz, Latenz, Verlust und Pfadverhalten zwischen teilnehmenden Knoten.

Das verteilte Design ist grundlegend. Ein Forscher kann einen langsamen Transfer melden, aber ein Test zwischen gut konzipierten perfSONAR-Knoten zeigt, ob der zugrunde liegende Pfad die erwartete Rate unterstützt. Gerichtete Tests können Asymmetrie isolieren, wiederholte Messungen können zeigen, wann eine Verschlechterung begann, und Traceroute-Daten können eine Pfadänderung identifizieren, obwohl der beobachtete Weg und das tatsächliche Weiterleitungsverhalten der Anwendung abweichen können.

iperf3 bietet einen aktiven Durchsatztest über TCP, UDP oder SCTP und unterstützt IPv4 und IPv6. ESnet pflegt das Open-Source-Tool und meldet Tests von über 150 Gigabit pro Sekunde auf 200G-Pfaden unter bestimmten Bedingungen. Ein synthetischer Test stellt keinen Anwendungsbenchmark dar, hilft aber festzustellen, ob Host und Netz in der Lage sind, Verkehr unter kontrollierten Bedingungen zu übertragen, wonach Speicher und Anwendungsverhalten separat untersucht werden können.

High-Touch, perfSONAR und iperf3 bieten zusammen verschiedene Sichten auf die Wahrheit. High-Touch beobachtet die Produktionsströme mit größerer Genauigkeit, perfSONAR liefert geplante oder On-Demand-Messungen des domänenübergreifenden Pfades, und iperf3 testet direkt den Durchsatz von Endpunkt und Netz. Keine einzelne Sicht liefert ein vollständiges Bild, aber ihre Kombination verringert die Versuchung, einen verteilten Fehler von einem einzelnen Betreiber-Dashboard aus zu diagnostizieren. (Netzwerkleistungswerkzeuge;Betriebliche Innovationen 2024)

Caching kann Verkehr entfernen, statt ihn schneller zu transportieren

Die Erhöhung der Kapazität ist nicht die einzige Möglichkeit, ein wissenschaftliches Netz zu verbessern. Einige Datensätze werden wiederholt von Forschern in derselben Region angefordert, und das erneute Kopieren über das Weitverkehrsnetz verschwendet Bandbreite und erhöht die Latenz, selbst wenn das Backbone den Verkehr bewältigen kann.

Die angewandten Forschungsberichte von ESnet für 2024 beschrieben fünf regionale Caching-Knoten, die mit wissenschaftlichen Datengemeinschaften genutzt wurden. Die Knoten reduzierten den Weitverkehr im Studienmittel um 33 Terabyte pro Tag. Zwei Drittel der Anfragen wurden lokal bedient, mit einer durchschnittlichen Trefferquote von 94 %. Die Wirkung variierte jedoch stark nach Standort, mit gemeldeten Reduzierungen von 69,3 % in Südkalifornien, 48,4 % in Chicago und 6,6 % in Boston.

Diese Unterschiede offenbaren die Natur des Werts. Der Nutzen des Cachings hängt von der Popularität des Datensatzes, den lokalen Nutzern, der Cache-Größe, der Räumungsrichtlinie und der Dienstkonfiguration ab. Ein Knoten in der Nähe einer Gemeinschaft, die dieselben Daten wiederholt analysiert, kann große Transfers eliminieren, während ein Knoten, der vielfältige oder selten angeforderte Daten bedient, Speicher verbrauchen kann, ohne denselben Nutzen zu erzielen.

Caching verändert auch die Kontrollfrage. Ein Netzbetreiber beginnt, sich an der Datenplatzierung zu beteiligen, während die wissenschaftlichen Gemeinschaften festlegen müssen, welche Datensätze repliziert werden dürfen, wie sie aktuell gehalten werden und wer Zugriff hat. Cache-Ausfälle und veraltete Inhalte werden zu netzwerknahen Betriebsproblemen.

Die Studie zeigt, warum das effizienteste Bit dasjenige sein kann, das das Backbone nie erreicht. Optische Upgrades erhöhen das Angebot, während Caching die Nachfrage verändert. Die Planung von Arbeitsabläufen kann Operationen aus überlasteten Zeiträumen verschieben, und lokale Kompression oder Filterung kann Daten vor der Übertragung reduzieren. Ein ausgereiftes Infrastrukturprogramm bewertet alle diese Mechanismen, anstatt den Fortschritt nur an den installierten Terabit zu messen.

Das Ergebnis muss auf die untersuchte Anwendung beschränkt bleiben. Es beweist nicht, dass jeder wissenschaftliche Datensatz eine Trefferquote von 94 % erreichen wird oder dass Caching neue Kapazität für einzigartige Live-Ströme ersetzen kann. Es liefert jedoch Beweise dafür, dass Datenarchitektur und Netzwerkarchitektur gemeinsam gestaltet werden können. (Angewandte Forschung 2024)

Transatlantische Wissenschaft braucht physische Vielfalt neben Kapazität

Der heimische Fußabdruck von ESnet kann nicht von seinen internationalen Verpflichtungen getrennt werden. Die Hochenergiephysik ist um Einrichtungen und Rechenzentren auf beiden Seiten des Atlantiks organisiert, und der Jahresbericht 2024 führte etwa die Hälfte des ESnet-Verkehrs auf die Aktivität des Large Hadron Collider zurück. Daher kann ein Kabelausfall zwischen Europa und Nordamerika eine zentrale wissenschaftliche Arbeitslast beeinträchtigen, selbst wenn alle heimischen Router intakt sind.

Im Laufe von 2024 und Anfang 2025 erweiterte ESnet die gemeldete transatlantische Kapazität von etwa 700 Gigabit pro Sekunde auf 2,7 Terabit pro Sekunde. Ein Schlüsselelement war eine 15-jährige Vereinbarung mit Aqua Comms für ein Viertel eines Faserpaares auf einer Route, die New York mit Dublin und London verbindet. ESnet teilt auch Kapazität und Kosten mit GÉANT über mehrere Kabelsysteme. Das technische Ziel ist es, mindestens 3,2 Terabit pro Sekunde über vier physisch unabhängige Pfade zu erreichen, mit einer Design-Skalierbarkeit auf über 10 Terabit pro Sekunde.

Kapazität und Vielfalt lösen unterschiedliche Probleme. Zwei logische Dienste können dasselbe Kabel, dieselbe Landestation oder denselben Landweg teilen und somit gemeinsam ausfallen. Die Reparatur eines Seekabels erfordert möglicherweise die Lokalisierung des Fehlers, Genehmigungen, ein Kabelschiff, geeignetes Wetter und die physische Bergung der beschädigten Faser, und die Reparatur kann Wochen oder Monate dauern. Daher plant ESnet für Szenarien, in denen drei Kabel gleichzeitig ausfallen, anstatt anzunehmen, dass ein einziger Backup-Pfad ausreicht.

Langfristige Spektrumrechte geben der Einrichtung mehr Kontrolle über Upgrades als der wiederholte Kauf kompletter statischer Leitungen. Sie schaffen jedoch auch Verpflichtungen gegenüber bestimmten Kabelsystemen, Landeinfrastrukturen und Betriebspartnern. ESnet beseitigt die Seekabelrisiken nicht durch die Anmietung von Spektrum, sondern erwirbt die Fähigkeit, Kapazität und Resilienz über mehrere Systeme hinweg zu gestalten, bleibt dabei aber von den Kabelbesitzern, den Reparaturverfahren und den Partnernetzen abhängig.

Dies ist eine weitere Stelle, an der das Wort „dediziert“ Präzision erfordert. ESnet kontrolliert dedizierte Rechte und Infrastruktur auf wichtigen Strecken, aber das physische Eigentumsmodell variiert. Inländische und internationale Strecken können Dark Fiber, Spektrum, beleuchtete Dienste, gemeinsame Unterbringung oder Kapazitäten von Partnern umfassen. Eine Linie auf der Karte zeigt nicht für jeden Abschnitt das gleiche Maß an Eigentum oder Reparaturhoheit an.

Die Beziehung zu GÉANT zeigt, warum Forschungsnetze zusammenarbeiten, ohne unter zentraler Kontrolle zu stehen. Die beiden Organisationen können Kosten teilen und den Wissenschaftsverkehr koordinieren, aber jede bleibt ihren eigenen Institutionen und Mitgliedern gegenüber rechenschaftspflichtig. Die Gesamtleistung hängt weiterhin von nationalen Forschungsnetzen, Universitätssystemen und Experimentiereinrichtungen ab, die außerhalb eines einzelnen Backbones liegen. (Transatlantischer Kapazitätsmeilenstein;Jahresbericht 2024)

Die wissenschaftliche Nachfrage kommt als Dauerlast, seltene Schübe und feste Termine

Der Large Hadron Collider liefert die Dauerlast. Das verteilte Rechenmodell verschiebt Experimentdaten zwischen CERN, Fermilab, Brookhaven, Universitäten und anderen Zentren und erzeugt einen stetigen internationalen Verkehr. Der geplante Hochluminositätsbetrieb wird die Detektorausbeute, Simulationen und Replikation voraussichtlich erhöhen. Das Netz muss große Ströme unter normalen Bedingungen transportieren und dabei genügend Pfaddiversität für Kabel- oder Einrichtungsausfälle erhalten.

Das Vera C. Rubin Observatory liefert den festen Termin. Das Teleskop in Chile soll etwa alle 30 Sekunden ein Bild von etwa 13 Gigabyte erzeugen. Die schnelle Verarbeitungspipeline am SLAC unterstützt die Ausgabe von Warnungen über vorübergehende Objekte, damit andere Observatorien reagieren können. ESnet gibt ein Ziel an, jedes Bild in weniger als sieben Sekunden über etwa 12.000 Meilen zu übertragen. Der Weg umfasst südamerikanische Forschungsnetzpartner und internationale Partner, so dass das Ergebnis von koordinierter Technik außerhalb des alleinigen Bereichs von ESnet abhängt.

DUNE liefert den seltenen Schub. Während eines Supernova-Ereignisses rechnet das Neutrino-Programm mit der Notwendigkeit, bis zu 600 Terabyte in 100 Sekunden zu übertragen. Das breitere Programm soll über zwanzig Jahre etwa 900 Petabyte erzeugen. Dies sind Planungsanforderungen für zukünftige Operationen und keine Beschreibung des aktuellen täglichen Verkehrs. Ihre Bedeutung liegt darin, dass das Ereignis nicht geplant werden kann, nachdem die Kapazität verfügbar ist; ein auf die durchschnittliche Nutzung ausgelegtes Netz könnte im wissenschaftlich wertvollsten Moment versagen.

Die Fusionsforschung verbindet internationale Entfernung mit einem langen Entwicklungshorizont. Im Mai 2026 übertrug ein Test 176 Terabyte ITER-Daten von Marseille zur DIII-D-Einrichtung von General Atomics in San Diego mit annähernd 80 Gigabit pro Sekunde. ITER befand sich noch im Bau, so dass der Transfer die Bereitschaft und nicht den normalen Vollbetrieb demonstrierte. Die Anforderungsmaterialien gehen davon aus, dass einige zukünftige Fusionsarbeitsabläufe etwa zwei Petabyte pro Tag und mindestens 200 Gigabit pro Sekunde erreichen werden.

FRIB und Jefferson Lab zeigen ein drittes Muster: Ein Experiment kann Fernanalyse benötigen, während die Daten noch erfasst werden. EJFAT ermöglicht es Ereignisströmen, Rechenleistung am NERSC oder in Oak Ridge zu erreichen, anstatt auf den Abschluss und die Replikation von Dateien zu warten. Lichtquellen, Elektronenmikroskope und andere Instrumente stehen vor ähnlichen Entscheidungen hinsichtlich lokaler Filterung, entfernter KI-Inferenz und der Geschwindigkeit, mit der Ergebnisse zum Bediener zurückkehren.

Klima- und Geowissenschaften erweitern die Nachfrageform erneut. Große Simulationen und Beobachtungsdatensätze werden zwischen Rechen- und Speichereinrichtungen verschoben, während Feldsensoren an Orten ohne herkömmliche Glasfaser existieren können. Kein einzelner Leitindikator kann all diese Bedürfnisse beschreiben. ESnet muss kontinuierliche Massentransfers, seltene Schübe, latenzarme Rückkopplungen, internationale Zusammenarbeit und Fernerfassung innerhalb eines einzigen Einrichtungsmodells unterstützen. (Rubin Observatory Fallstudie;DUNE Fallstudie;Anforderungsüberprüfungen)

Anforderungsüberprüfungen verwandeln Wissenschaftspläne in Netzinfrastruktur

ESnet kann nicht warten, bis ein Experiment seinen ersten Datensatz produziert, bevor Glasfaser, Router oder transatlantische Kapazität bestellt werden. Langfristige Vereinbarungen, Gerätebeschaffungen, Standortbauten und Softwareentwicklung benötigen Jahre. Daher führt die Einrichtung Anforderungsüberprüfungen mit den DOE-Wissenschaftsprogrammen über einen Horizont von fünf bis zehn Jahren durch.

Forscher und Einrichtungsteams beschreiben Instrumente, erwartete Datenmengen, Speicherorte, Rechenziele, zeitliche Einschränkungen, internationale Mitarbeiter, Cloud-Nutzung und Resilienzanforderungen. Netz- und Rechenfachleute untersuchen dann den vollständigen Arbeitsablauf. Die Anforderung nach einer größeren Verbindung kann ein bedeutenderes Problem beim lokalen Speicher, der Pfaddiversität, der Sicherheitsarchitektur oder der Datenübertragungssoftware aufdecken.

Der Überprüfungsprozess stellt eine Form des Co-Designs dar. Die Wissenschaftsprogramme erklären, was sie zu erreichen versuchen, und ESnet übersetzt das Ziel in Infrastrukturabhängigkeiten und testet, ob der vorgeschlagene Pfad funktionieren kann. Das Ergebnis kann die Dimensionierung der Standortverbindung, neue Pfade, Seekabelbeschaffungen, die Einführung von Science DMZ, Orchestrierungsforschung, Personalausstattung oder den Zeitplan für die nächste Netzgeneration beeinflussen.

Die große Hochenergiephysik-Überprüfung, die 2025 abgeschlossen und im Januar 2026 veröffentlicht wurde, umfasste 127 Teilnehmer und 14 Fallstudien in einem fast 400-seitigen Bericht. Ihre Bedeutung liegt nicht in der Annahme, dass jede Prognose zutrifft – Instrumente können sich verzögern, Software kann effizienter werden, und neue Arbeitslasten können entstehen. Der Wert ist eine dokumentierte Aufzeichnung, in der Forscher, Netzwerkingenieure, Rechenzentren und Geldgeber dieselben Annahmen sehen und bewusst anpassen können.

Prognosen bleiben schwierig, weil die wissenschaftliche Nachfrage stoßweise auftritt. Eine Supernova tritt während der Lebensdauer eines Experiments vielleicht nicht ein, während ein KI-Arbeitsablauf schneller wachsen kann als der formelle Überprüfungszyklus. Das durchschnittliche Verkehrswachstum ist für die Budgetierung nützlich, kann aber die Planung für bestimmte Fälle nicht ersetzen. Der ungewöhnlich niedrige Anstieg des Verkehrs um 4 % im Jahr 2024 beweist kein Ende des langfristigen Bedarfs, sondern zeigt, warum ein einzelnes Jahr kein jahrzehntelanges Infrastrukturprogramm bestimmen sollte.

Anforderungsüberprüfungen verteilen auch Verantwortung. Ein Labor kann nicht annehmen, dass das nationale Backbone einen ungeeigneten lokalen Pfad repariert, und ESnet kann nicht annehmen, dass das Wissenschaftsprogramm sich anpasst, nachdem die Kapazität aufgebaut ist. Die Abhängigkeiten in einen gemeinsamen Plan zu legen, macht spätere Meinungsverschiedenheiten sichtbarer. (Berichte zu Anforderungsüberprüfungen)

Drahtlose und Quantenprojekte testen die Grenzen der ESnet-Mission

Das nationale Glasfasernetz erreicht feste Einrichtungen gut, aber wissenschaftliche Instrumente arbeiten nicht immer an diesen Orten. Geothermalfelder, Umweltobservatorien und temporäre Kampagnen verfügen möglicherweise nicht über Netzabdeckung, zuverlässige Stromversorgung oder einen praktikablen Faserpfad. Das Wireless-Edge-Programm von ESnet untersucht, ob private Mobilfunknetze, Wi-Fi, Richtfunk und Satelliten den wissenschaftlichen Arbeitsablauf auf diese Standorte ausdehnen können.

Ein im Juni 2026 angekündigter Einsatz an einem Geothermiestandort in Nevada kombinierte ein privates 4G-Netz unter Nutzung des Citizens Broadband Radio Service-Spektrums, Wi-Fi HaLow mit großer Reichweite, konventionelles Wi-Fi, eine Starlink-Verbindung, Richtfunk und einen selbstversorgten tragbaren Turm. Das Design reagierte auf einen einzelnen Feldstandort, war kein allgemeines drahtloses Zugangsprodukt von ESnet und kann nicht die kontinuierliche Kapazität von Fern-Glasfaser bieten. Gelände, Wetter, Spektrum, Strom und der Satellitenanbieter bleiben Teile des Dienstpfades.

Der wichtige organisatorische Punkt ist, dass ESnet nicht am nächstgelegenen Faserpunkt aufhörte und den Rest als Problem eines anderen behandelte. Die Wissenschaftskommunikationsfunktion behandelte Erfassung, Rücktransport und Weitverkehr als einen einzigen Arbeitsablauf. Dieser Ansatz kann nützlicher sein als ein standardisiertes Produkt, da entfernte Wissenschaftsstandorte unterschiedlichen physischen Einschränkungen unterliegen.

QUANT-NET erkundet eine andere Grenze. Das von ASCR finanzierte Projekt baut ein Drei-Knoten-Quantennetzwerk-Testbed, das das Berkeley Lab mit zwei Standorten der University of California, Berkeley, über etwa fünf Kilometer verbindet. Die Arbeit umfasst Ionenfallen, photonische Verbindungen, Verschränkungsaustausch, Bell-Messungen, zeitkritische Steuerung und ein modulares Software-Framework.

Die Verbindung zu ESnet liegt hauptsächlich in Steuerung und Orchestrierung. Quantenexperimente benötigen klassische Kommunikation, präzises Timing und Koordination zwischen Geräten, die noch schwierig zu betreiben sind. Open-Source-Steuerungssoftware kann Experimente reproduzierbarer machen und den manuellen Abstimmungsaufwand reduzieren. Das Testbed ist jedoch kein produktives Quanteninternet und transportiert keine konventionellen großen Wissenschaftsdaten über Verschränkung.

Wireless Edge und QUANT-NET sollten daher an dem gemessen werden, was sie lernen und was wiederverwendet werden kann. Keines der Projekte beweist, dass jeder ESnet-Nutzer einen drahtlosen Zugangsdienst oder eine Quantenverbindung erhält. Sie erweitern die Forschungsfunktion der Einrichtung in Bereiche, in denen zukünftige Wissenschaftsnetze möglicherweise neue physische Medien und Steuerungssysteme benötigen. (Wireless-Edge-Einsatz;Quantennetzwerkforschung)

American Science Cloud und ESnet7 verlagern die Planung von Standorten zu Arbeitsabläufen

Das Integrated Research Infrastructure-Programm und das entstehende American Science Cloud-Projekt spiegeln eine Veränderung in der Art und Weise wider, wie das DOE seine Einrichtungen beschreibt. Anstatt das Instrument, das Netz, den Datenspeicher und den Supercomputer als unabhängige Dienste zu behandeln, zielen die Programme darauf ab, sie als föderierte Umgebung für wissenschaftliche Daten, KI und Hochleistungsrechnen arbeiten zu lassen.

Die Rolle von ESnet liegt in der Konnektivitäts- und Orchestrierungsschicht. Daten müssen von Instrumenten zu Speicher und Beschleunigern bewegt werden, Nutzer und Dienste benötigen kontrollierten Zugang, Arbeitsabläufe müssen verfügbare Ressourcen entdecken, und Messungen müssen zeigen, ob das System das wissenschaftliche Ziel erreicht. EJFAT, SENSE, OSCARS, Cloud Connect und High-Touch behandeln jeweils einen Teil des Problems, aber keines allein stellt die American Science Cloud dar.

Auf der Confab26 wurde Inder Monga als stellvertretender Projektleiter der American Science Cloud bezeichnet, und die Programm-Sessions umfassten Demonstrationen und die Planung der nächsten Netzgeneration. Dies ist ein Beweis für aktive institutionelle Arbeit, nicht für die Fertigstellung einer öffentlichen Wissenschafts-Cloud im August 2026. Zugangsrichtlinien, der Bestand der verbundenen Ressourcen, der Produktionssupport und die Governance blieben in der Entwicklung.

ESnet7 taucht im selben Planungsumfeld auf. Der Name ist real, und die Innovationssitzungen untersuchten Messung, Paketinspektion, Datenbewegung, KI und Quantennetze. Dennoch bleibt ESnet6 die aktuelle Produktionsgeneration. Die verfügbaren Beweise haben keine endgültige öffentliche Architektur, keine Projekt-Baseline, keine Lieferantenauswahl, kein vollständiges Budget und kein Startdatum festgelegt.

Die Namen von Netzgenerationen wecken Erwartungen, lange bevor die Ausrüstung installiert ist. Ein Planungsprogramm kann Forschungsprioritäten, Lieferantengespräche und Kapitalanfragen formen, sollte aber nicht als fertiges Backbone präsentiert werden. Die genaueste Interpretation ist, dass ESnet die Betriebserfahrung von ESnet6 und die aktuellen Arbeitsablaufprojekte nutzt, um zu definieren, wie die siebte Generation aussehen soll.

Geschwindigkeit wird weiterhin wichtig sein, aber die Beweise deuten darauf hin, dass Programmierbarkeit und Intelligenz ebenso wichtig werden könnten. Eine schnellere Verbindung kann einer Anwendung nicht sagen, wo Rechenkapazität verfügbar ist, einen Mikro-Burst identifizieren, einen Detektorstrom planen oder nachweisen, dass ein Dienst über mehrere Domänen hinweg korrekt freigegeben wurde. Die strategische Frage für ESnet7 lautet daher, wie viel des wissenschaftlichen Arbeitsablaufs das Netz verstehen und orchestrieren soll, ohne zu einem schwer handhabbaren zentralen Controller zu werden. (Confab26 Programm;Angewandte Forschung 2024)

Bundesfinanzierung trägt die Einrichtung, aber der Haushaltsposten ist kein Umsatz

ESnet finanziert sein Backbone nicht durch den Verkauf von Bandbreite an die Öffentlichkeit. Es wird hauptsächlich vom DOE durch die ASCR-Aktivität High Performance Network Facilities and Testbeds finanziert. Der Haushaltsentwurf für das Geschäftsjahr 2027 schlug 103 Millionen Dollar für diesen Posten vor, verglichen mit 97,261 Millionen Dollar in der vorherigen Bewilligungsspalte.

Diese Zahlen bieten den besten öffentlichen Hinweis auf die Programmebene, sind aber keine Gewinn- und Verlustrechnung für ESnet. Der Posten unterstützt auch netzbezogene Testbeds, Softwarewartung, Upgrades und Forschungsaktivitäten. Er gibt keine separaten jährlichen Betriebskosten für das Produktions-Backbone, keine Investitionsausgaben pro Netzgeneration und keine mit einzelnen Standortverbindungen verbundenen Einnahmen preis.

Die öffentliche Finanzierung ermöglicht es der Einrichtung, zu investieren, bevor die Nachfrage kommerziell wird. Sie kann langfristige Spektrumrechte kaufen, Open-Source-Tools pflegen, wissenschaftlich hochwertige Experimente mit geringem Volumen unterstützen und eine Pfaddiversität aufbauen, die über das hinausgeht, was die unmittelbare Nutzung rechtfertigt. Dasselbe Modell schafft eine Abhängigkeit von Kongressbewilligungen, Ministeriumsprioritäten und dem Betriebsrahmen des Berkeley Lab.

Standortverbindungen sind nicht immer kostenlos. Die Site User Cost Policy erlaubt es institutionellen Nutzern, anschlussbezogene Kosten entsprechend ihrer Trägerschaft, Berechtigung und zusätzlichen Anforderungen zu tragen. Die Beziehungseinheit ist der Standort, nicht der einzelne Forscher, und die Endpunkte werden nicht einzeln über ESnet abgerechnet oder registriert.

Das Fehlen eines eigenständigen Abschlusses schränkt die Finanzanalyse ein. Die öffentlichen Materialien zeigen keine vollständige Lieferantenkonzentration, keine Gehaltsliste, keinen Abschreibungsplan, kein anlagenbasiertes Verzeichnis nach Strecke und kein jährliches Investitionsbudget. Daher wäre es falsch, 103 Millionen Dollar als „ESnet-Umsatz“ zu bezeichnen. Genauer ist, dass ein föderales Programm eine Produktionseinrichtung, ihre Upgrade-Arbeiten, Softwarewartung und Testbeds durch einen breiteren Aktivitätsposten finanziert.

Die Finanzierungsstruktur beeinflusst auch die strategische Entscheidungsfindung. Ein kommerzielles Netz kann eine unrentable Strecke aufgeben, während eine öffentliche Wissenschaftseinrichtung die nationale Mission, die wissenschaftliche Chance und die langfristige Kapazität mit den Haushaltszwängen abwägen muss. Dies kann Investitionen ohne sofortige finanzielle Rendite rechtfertigen, macht aber klare Prioritäten und Anforderungsnachweise unerlässlich. (ASCR-Budgetantrag FY 2027;ESCC und Standortrichtlinie)

Zuverlässigkeit und Transparenz schaffen Verpflichtungen jenseits der Betriebszeit

Die ESnet-Berichte für 2024 verzeichneten ein bemerkenswertes Verfügbarkeitsergebnis: Die zehn im Metrik enthaltenen Office-of-Science-Standorte erreichten nach Abzug geplanter Wartung eine Dienstverfügbarkeit von 100 %. Es war das erste Jahr, in dem alle Standorte gleichzeitig die Schwelle von 99,9 % überschritten. Der Jahresbericht gab außerdem eine breitere Betriebszeit von 99,99 % an. Dies sind nützliche, aber unterschiedlich dimensionierte Metriken und beweisen nicht, dass jeder Dienst, jede Einrichtung und jeder internationale Pfad keine Unterbrechung erlitten hat.

Das Site Resilience Program untersucht diverse Zugänge, Router, Stromversorgung und Ausfallbereiche innerhalb der angeschlossenen Einrichtungen. Es spiegelt eine unbequeme Wahrheit wider: Ein nationales Backbone kann mehrfache Pfade haben, während ein Labor immer noch von einem einzigen lokalen Kabelkanal oder Gerät abhängig sein kann. Resilienz muss das Gebäude und den Data Transfer Node erreichen und darf nicht an einer Backbone-Karte enden.

Die Routing-Richtlinie bietet eine weitere Kontrollebene. ESnet lehnt RPKI-ungültige Ankündigungen im Peering ab, verlangt aktuelle Routing-Registrierungen und unterstützt die Überwachung auf Routenentführungen sowie Blackhole-Routing für Ziele. Diese Kontrollen mindern bekannte Risiken, machen das Routing zwischen autonomen Systemen jedoch nicht unfehlbar. Eine korrekte Routenquelle kann mit einem Leck oder einem Richtlinienfehler verbunden sein, und Blackhole-Routing schützt andere Systeme, indem es das Ziel unerreichbar macht.

Automatisierung schafft einen ähnlichen Kompromiss. Standardisierte Konfigurationen, Inventar und Orchestrierung reduzieren manuelle Fehler und beschleunigen die Wiederherstellung, aber eine falsche Vorlage, Richtlinie oder ein falscher Datensatz können sich schnell über viele Geräte ausbreiten. Die angemessene Reaktion ist eine schrittweise Bereitstellung, unabhängige Verifizierung, klare Rollback- oder Forward-Recovery-Verfahren und Grenzen für die Befugnisse eines einzelnen Automatisierungskontos.

Betriebsdaten verdienen eine ähnliche Aufmerksamkeit. Die Datenrichtlinie der Einrichtung besagt, dass Router-Nutzungsdaten und NetFlow unbegrenzt aufbewahrt und zwischen den Speichern an der Ost- und Westküste repliziert werden können. Aktive perfSONAR-Messungen werden sechs Monate lang auf einer einzigen Festplatte ohne Backup aufbewahrt. Router-Nutzungs- und Traceroute-Daten sind öffentlich, während Fluss- und Sicherheitsprotokolle einem eingeschränkten Zugriff unterliegen.

ESnet besitzt zwar keine individuelle Abonnementbeziehung zu den Nutzern, sammelt aber dennoch detaillierte Betriebsdaten; dies sind unterschiedliche Systeme. Es besteht kein Organisationsverhältnis und keine individuelle Abrechnung, aber Netzwerkmetadaten können Endpunkte, kommunizierende Institutionen, Zeitpunkt und Verkehrsmuster identifizieren. Hochauflösende Messungen verbessern Diagnose und Sicherheit, erhöhen aber den Bedarf an Datenminimierung, Zugriffskontrollen, Aufbewahrungsüberprüfungen und verantwortungsvoller Nutzung.

Ein glaubwürdiges Resilienzmodell basiert auf klar umrissenen Mechanismen: physische Vielfalt, Standorttechnik, Routing-Sicherheit, Messung, Incident Response, Daten-Governance und klar definierte Metriken. (Verfügbarkeitsmeilenstein;Datenrichtlinie der Einrichtung;Peering-Richtlinie)

Der eigentliche Test ist, ob die verteilte Wissenschaft in der Praxis funktioniert

Die Geschichte von ESnet kann als eine Abfolge immer schnellerer Netze gelesen werden: die Vorläufer-Spezialsysteme, ESnet4, das kontinentale 100G-ESnet5, das Multi-Terabit-ESnet6. Diese Abfolge ist real, übersieht jedoch die wichtigere Kontinuität. Die Einrichtung hat wiederholt die Architektur rund um die wissenschaftliche Arbeit verändert, wenn die bloße Erhöhung der Bandbreite das Problem nicht lösen konnte.

Das Science Data Network trennte außergewöhnliche Ströme vom normalen Verkehr, OSCARS machte Kapazität buchbar, die Science DMZ veränderte den institutionellen Perimeter, perfSONAR und iperf3 verwandelten Leistungsstreitigkeiten in Messungen. SENSE verband die Anwendungsabsicht mit mehreren administrativen Domänen, EJFAT brachte den Weitverkehrspfad in die Detektorschleife, Caching veränderte die Nachfrage, und das transatlantische Spektrum veränderte das Kontrollniveau von ESnet über das internationale Wachstum.

Die Autorität der Organisation bleibt begrenzt. Das DOE und ASCR legen Mission und Finanzierung fest, das Berkeley Lab betreibt die Einrichtung, und die University of California verwaltet das Labor unter Vertrag. Die Standortkoordinatoren genehmigen Änderungen, die ihre Institutionen betreffen, und internationale Partner kontrollieren ihre eigenen Netze. Cloud-Unternehmen, Betreiber, Kabelbesitzer und Gerätehersteller behalten die Autorität über Komponenten, von denen ESnet abhängt.

Die Verteilung der Kontrolle ist kein Problem, das Software beseitigen kann, sondern die Bedingung, unter der ein Wissenschaftsnetz arbeitet. Die praktische Errungenschaft besteht darin, robust genug zu orchestrieren, um den Arbeitsablauf zu liefern, ohne zu behaupten, dass eine einzige Institution den gesamten Pfad besitzt.

Dieselbe Disziplin muss auf Zukunftsaussagen angewendet werden. ESnet7 befindet sich noch in der Planung, SENSE bleibt laut dem letzten vollständigen Bericht eine Forschungsaktivität, EJFAT ist ein fortgeschrittener Prototyp oder eine entstehende Plattform, QUANT-NET ist experimentell, und die American Science Cloud war noch im Aufbau. Der Wert der Beweise über sie liegt in der genauen Beschreibung ihres Reifegrads.

Die langfristige Bedeutung von ESnet liegt im Nutzereinrichtungsmodell. Das Netz wird als wissenschaftliches Instrument behandelt, mit Anforderungen, Betrieb, Software, Messung, Forschung und öffentlicher Finanzierung. Dieses Modell erkennt an, dass ein Detektor und ein Supercomputer, die Tausende von Kilometern voneinander entfernt sind, nur dann einen gemeinsamen Wert bieten, wenn die Systeme dazwischen als ein einziger Pfad konzipiert werden.

Keine unabhängige aktuelle Metrik in den verfügbaren Beweisen kann ESnet als das schnellste Netz der Welt einstufen, und dies ist nicht der nützlichste Test. Der aussagekräftigere Test ist, ob ein Instrument den entfernten Speicher oder die Rechenleistung mit der erforderlichen Rate erreichen, sich erholen kann, wenn ein Teil des Pfades ausfällt, und Beweise liefern kann, die zeigen, wo die Verantwortung liegt. Die Stellung von ESnet wird sich an diesen Produktionsergebnissen bestätigen oder verringern, wenn die American Science Cloud, das Live-Streaming und das zukünftige ESnet7-Programm von Demonstrationen und Plänen zu unterstützten Wissenschaftsdiensten übergehen. (Geschichte von ESnet;ESnet6-Einführung;Jahresbericht 2024)

Quellen