Zusammenfassung

  • SoftBanks NCCL-Test aller Links fand eine Verbindung mit nur einem nicht näher bestimmten Bruchteil der normalen Datenrate. LED, Link Status und optische Leistung blieben nominal. Die Signale waren nicht falsch; sie reichten für die workloadbezogene Abnahme nicht aus.
  • Die JANOG58-Unterlagen nennen Switch, Optics, NIC, Faser und Connector-Verschmutzung als Prüfflächen, veröffentlichen aber weder Root Cause noch exaktes Verhältnis, Ereignis-BER/FEC oder gemessene Reparatur. Die Zahlen und Optics-Wechsel auf den Folgeseiten sind Beispiele.
  • Eine rackweite Abnahmekette muss reproduzierbare Leistung, Layer-1-Evidenz, eindeutige Topologie, begrenzte Änderungen und denselben Test nach der Reparatur verbinden. Installierte GPUs, sichtbare ASN und erreichbare Präfixe belegen diese interne Nutzkapazität nicht.

Yasuhiro Uchida und Chaocheng Chang präsentierten SoftBanks Erfahrung am 16. Juli 2026, dem zweiten Tag der JANOG58. Die Session Rack-Scale GPUサーバーのNW設計と運用までの苦悩 beschreibt die erste rackskalierte GPU-Umgebung des Betreibers von Netzwerk und Serviceaufteilung bis zu Strom, Flüssigkeitskühlung und Verkabelung. Das finale Deck umfasst 56 Seiten.

Auf der entscheidenden Seite steht ein NCCL benchmark über alle Verbindungen. Ein bestimmter Link erreichte nur einen Bruchteil der normalen Kommunikation. Der Anteil wird nicht beziffert; insbesondere nennt die Quelle kein Drittel. Gleichzeitig zeigte die LED Green, der Link Status blieb UP und die optische Leistung lag im Normalbereich.

Damit ist ein Symptom belegt, aber keine Ursache. Der Statuskreis sah die Bedingung, für die er ausgelegt war. Die Schnittstelle erreichte ihren administrativen oder protokollarischen Zustand. Die empfangene Lichtleistung überschritt keine konfigurierte Alarmgrenze. Keine dieser Aussagen garantiert eine ausreichende Fehlerkorrekturreserve, gesundes Verhalten jeder Lane oder die End-to-end-Rate eines NCCL collective.

Die Statussignale bleiben nützlich. Die Publikation rechtfertigt nicht, sie durch einen einzigen Benchmark zu ersetzen. Sie zeigt, dass die Abnahme eine weitere Kontrolle benötigt: den Nachweis, dass jeder für den Workload erforderliche Link seine definierte Rate reproduzierbar liefert.

Neben dem finalen Deck existiert ein neunseitiger Preread. Der offizielle Link trägt den Dateinamen j56-lt4.pdf. Er behandelt flüssigkeitsgekühlte Switches, proprietäre Cooling-Schnittstellen und Standardisierung. Das Dokument erklärt eine Facility-Abhängigkeit, ist aber kein kürzerer Ereignisbericht. Es enthält weder die fehlenden Incident Counter noch eine nachträgliche Reparatursequenz.

Die physische Größenordnung macht die Abnahmelücke teuer. Ein GB200 NVL72 Rack besteht laut Unterlagen aus 18 Compute Trays mit jeweils vier B200 GPUs und neun Switch Trays mit jeweils zwei NVSwitch. Das ergibt 72 GPUs und 36 CPUs; SoftBank nennt eine Leistungsaufnahme oberhalb von 100 kW. NVIDIAs Hardwaredokumentation bestätigt diese Referenzform und führt passive cable backplane, power shelves, busbar und Flüssigkeitskühlungsmanifolds auf.

Diese Architekturangaben sagen nichts über die Leistung des betroffenen Links. Sie zeigen jedoch, wie ein kleineres Netzwerkbauteil erheblich teurere Rechenressourcen wirtschaftlich blockieren kann. Die Beschleuniger bleiben eingebaut, versorgt und bilanziert, während die für einen Tenant verfügbare Kapazität sinkt.

SoftBank trennt drei Fabrics. Das Compute Fabric trägt GPU-Scale-out-Verkehr. Das Converged Fabric trägt Front-end, Storage und NCCL bootstrap. Das OOB Fabric trägt Switch- und Servermanagement, Facility Monitoring und NVSwitch Management. Funktionale Trennung macht Zuständigkeiten erkennbar, beseitigt aber keine gemeinsam genutzten Kabel-, Strom-, Kühlungs-, Firmware- oder Prozessabhängigkeiten.

Das OOB-Design zeigt ein verwandtes Problem. Kommunikation über den Management Port zu Leaf Switches kann ein Single Point of Failure sein. Loopback Reachability über den Underlay des Compute Fabric kann den Betriebszugang günstiger verbessern, als jeden Low-speed-Port separat zu verkabeln. Das Deck stellt zugleich klar, dass dies OOB nicht ersetzt. Ein Pfad, der bei der Reparatur des Production Fabric hilft, darf nicht zum einzigen Zugang werden, der selbst von diesem Fabric abhängt.

Der schwache Link schafft dieselbe Abgrenzungsaufgabe auf der Leistungsseite. Ein collective wird nicht durch den mittleren Portstatus bestimmt, sondern durch den langsamen oder degradierten Teil seines Kommunikationsgraphen. Eine nominal betriebsbereite Verbindung kann deshalb deutlich teurere GPU-Kapazität hinter sich festhalten.

Die fünf genannten Prüfflächen — Switch, Optics, NIC, Faser und verschmutzter Connector — durchqueren Liefer- und Supportgrenzen. Ein Fehler kann beim Transmitter, Receiver, einer Lane, einem Module, dem Connector oder Cable entstehen. Sichtbar wird er am Ende als geringere Workload-Rate. Ohne eine gemeinsame Evidenzkette kann jeder Lieferant innerhalb seiner eigenen Spezifikation recht haben, während das zusammengesetzte System zu langsam bleibt.

Die Folgeseiten erklären pre-FEC BER, post-FEC BER und FEC histograms. Sie zeigen normale und auffällige Muster sowie einen Optics-Tausch in erklärenden Diagrammen. Diese Werte und Handlungen sind keine Ereignistelemetrie. SoftBank sagt nicht, dass der betroffene Link die dargestellten Werte hatte, in die gezeigten Bins gelangte oder nach einem Module-Wechsel wieder normal lief.

Diagnose, Eingriff und Wiederherstellung sind getrennte Evidenzstufen. BER kann Fehler vor der Korrektur zeigen. FEC kann sichtbar machen, wie viel Korrekturreserve verbraucht wird. Ein begrenzter Komponententausch kann eine Hypothese prüfen. Erst die Wiederholung des ursprünglichen All-Link-Tests kann zeigen, ob die nutzbare Rate zurückgekehrt ist.

Genau diese Before/after-Sequenz fehlt im öffentlichen Material. Es gibt weder komponentenspezifische Ursache noch exaktes Leistungsverhältnis, tatsächliche Incident-Counter oder veröffentlichten Kundenimpact. Aus einem didaktischen Optics-Wechsel darf daher keine Reparaturgeschichte werden; aus dem degradierten Link kein behaupteter Production-Ausfall.

SoftBanks geplante Betriebsänderung ist enger, aber klar. Das Deck nennt Link UP = OK unzureichend. Es verlangt mehr Verständnis für physische Indikatoren wie BER und FEC, eine wöchentliche und monatliche Sammlung und Analyse von Interface- und Optics-Logs sowie den Wechsel von reiner Interface-down-Erkennung zu Degradationsanzeichen.

Das ist ein Monitoringentwurf, kein publizierter Prognoseerfolg. Schwellenwerte, Aufbewahrung, False Positives, vorab erkannte Störungen und Availability-Gewinne werden nicht genannt. Belegt ist, dass der Operator einen Blind Spot identifiziert und physiknähere Signale in den Betriebsnachweis aufnehmen will.

Auch die Serviceeinheit verändert die Fehlergrenze. Das Deck vergleicht Rack-, Tray- und GPU-Level. SoftBank fasst zusammen, gegenwärtig Rack und Tray als Einheiten anzubieten. Ein GPU-Service wurde untersucht, ist aber nicht als aktuelles Angebot ausgewiesen.

Ein ganzes Rack lässt sich für einen Kunden einfacher abgrenzen, überträgt ihm jedoch gemeinsame Abhängigkeiten wie Compute Fabric, CDU, NVSwitch, Compute Trays und Busbar. Ein Tray eignet sich für kleinere Kunden, benötigt aber NVLink Partitioning. Der NVSwitch-Managementprozess ist rackweit gemeinsam und wird als Single Point of Failure bezeichnet; ein höheres SLA verlangt Rack- oder Scalable-Unit-Redundanz.

An diesen Entscheidungen hängt Autorität. SoftBank kontrolliert Abnahme, Topologie, Workload Admission, Monitoring und Restoration Decision auf der betriebenen Plattform. NVIDIA sowie Switch-, NIC- und Optics-Anbieter kontrollieren Referenzdesigns, Firmware, privilegierte Diagnostik, Qualifikationslisten und Supportmaßnahmen. Das Facility-Team kontrolliert Strom, Flüssigkeitskühlung und physischen Zugriff.

JANOG kontrolliert die Veröffentlichung der Session. Diese Rolle macht das Betriebserlebnis prüfbar, verleiht aber kein Mandat zur Abnahme eines Production Links. Eine Konferenz ist weder Asset Owner noch Vertragspartner noch Incident Commander.

Die Kosten folgen den realen Kontrollflächen. SoftBank bezahlt dichte Verkabelung, Optics, Switches, Ersatzteile, ein repräsentatives Labor, Strom, Kühlung und Facharbeit über Vendor-Grenzen hinweg. Workload Owner tragen verspätete Jobs und idle accelerators, wenn eine degradierte Verbindung die nominale Abnahme passiert. Kleinere Käufer können Test-Rack, Spares und Spezialwissen schwerer finanzieren und werden stärker vom integrierten Anbieter abhängig.

Der Nutzen einer strengeren Abnahme fällt dem Operator zu, wenn installierte Hardware zu abrechenbarer Leistung wird, und dem Tenant, wenn diese Leistung nachweisbar wiederhergestellt werden kann. Anbieter profitieren von System- und Supportverkäufen. Die Verteilung wird problematisch, sobald ein Anbieter zugleich Benchmark, Diagnosedaten und das Kriterium für erfolgreiche Reparatur exklusiv kontrolliert.

SoftBank erklärte im Dezember 2025, eine Plattform mit 1.224 Blackwell GPUs habe am 22. Dezember den Betrieb aufgenommen; eine Erweiterung auf mehr als 4.000 sei geplant. Die erste Zahl ist eine Operator-Angabe zur Inbetriebnahme, die zweite ein Plan. Keine misst die Zahl abgenommener Links zu einem bestimmten Zeitpunkt.

Auch ein anderer Benchmark darf nicht übertragen werden. TOP500 beschreibt SoftBanks CHIE-4 als DGX-B200-System mit InfiniBand NDR400. Dessen Rang gehört nicht zur auf JANOG58 behandelten GB200-NVL72-Plattform.

Eine belastbare Gegenprobe beginnt mit Topologieidentität. Für jeden erforderlichen Link wird eine erwartete NCCL-Verteilung oder ein anderer portabler Workload Baseline gespeichert. Link state, optische Leistung, Lane Counter, pre/post-FEC BER und FEC histogram werden mit Module, Faser, Switch/NIC-Endpunkten, Firmware, Topologie und Timestamp verbunden.

Bei einer Abweichung wird jeweils nur eine begrenzte Komponente oder Konfiguration verändert. Die Counter vor und nach dem Eingriff bleiben erhalten. Danach läuft derselbe Test über alle Links erneut. Trend, Alert, Ticket, Component Change und Verified Restoration sind getrennte Einträge.

Ein Tenant muss nicht jeden proprietären Vendor Counter erhalten. Der Service Owner muss aber beweisen können, dass der akzeptierte Link die erklärte Rate erfüllte und nach dem Eingriff in dieselbe Verteilung zurückkehrte. Ein geschlossenes Ticket nach dem Austausch eines Teils ist noch kein Leistungsnachweis.

Externe Reachability bildet eine andere Schicht ab. Management- und Kundenpräfixe können erreichbar bleiben, während der interne Collective Path unterliefert. ASN und BGP belegen Routingidentität und Zugang zum Service Edge. Sie zertifizieren weder den GPU Fabric hinter dem Präfix noch übertragen sie einem RIR, Standards Body oder einer Konferenz Abnahmeautorität.

Die präzise Lehre aus JANOG58 lautet daher nicht „BER statt Link State“. Nominalzustand, physische Evidenz und Workloadleistung müssen in einer wiederholbaren Kette zusammenlaufen. Abnahme verlangt Rate, Gegenprobe und Wiederholung nach Reparatur.

Quellen