Summary

  • Adel Iazzag beschreibt bei NANOG 98 zwei AllToAll-Austausche pro MoE-Expertenschicht. Ungleich verteilte Ziele führen viele Sender an einem Port zusammen; der belastete Port kann sich mit der nächsten Schicht ändern.
  • Er verlangt einen Test des echten AllToAll-Kollektivs, Netzwerk-Topologie als Eingabe für den Scheduler und für viele-zu-eins-Ankünfte erprobte Staukontrolle.

Der Port mit der längsten Warteschlange ist kein fester Arbeitsplatz. In Adel Iazzags NANOG-98-Vortrag wählen die Schichten eines Mixture-of-Experts-Modells immer wieder andere Experten-GPUs aus. Daten strömen von vielen Quellen zu den Gewählten und zurück. Was gerade ein Incast-Ziel war, kann im nächsten Schritt ruhig sein. Die Netzplanung muss das Bewegungsmuster verstehen, bevor sie einen einzelnen Hotspot zum Ausbauprojekt erklärt.

Die Originalfolien zerlegen den Sammelbegriff KI-Training. Datenparallelismus tauscht Gradienten per AllReduce aus: Viele Uplinks werden gleichzeitig belastet und danach still. Pipeline-Parallelismus verbindet aufeinanderfolgende Stufen; eine Übergabe kann langsam sein, obwohl die Portauslastung klein aussieht. Tensor-Parallelismus tauscht in jeder Schicht häufig Ergebnisse innerhalb derselben Gruppe aus. Diese Gruppe soll im Scale-up-Bereich bleiben. MoE erzeugt ungleichmäßiges AllToAll und einen wandernden Incast.

Das Beispiel mit 256 GPUs zählt beim Ring-AllReduce 510 Kommunikationsschritte und beim Baum 16. Es sind Schritte im Algorithmusbild, keine gemessenen Sekunden. Die Wahl des Kollektivs, seine Nachrichtengröße und die GPU-Platzierung verändern das Verkehrsbild. Ein Durchschnittswert der Linkauslastung kann diese Unterschiede nur verdecken.

Iazzags konkrete Liste beginnt mit ausgerichteten Rails: NICs mit gleichem Index an entsprechende Leafs. Sie verlangt eins-zu-eins-Abonnement für gleichzeitig sendende GPUs und getestete Staukontrolle für viele Sender an einem Ziel. ECMP allein reicht im beschriebenen Entwurf nicht; Paket- oder Flowlet-Spraying sind weitere Werkzeuge. Vor allem muss der Scheduler die Topologie sehen. Er bestimmt, welche Pipeline-Stufen nebeneinanderliegen, ob eine Tensorgruppe im Scale-up-Bereich bleibt und auf welchem Weg Expertentoken zusammentreffen.

Die Unterlagen nennen weder einen gemessenen Produktionsausfall noch verlorene GPU-Stunden. Den nächsten Beleg kann der Betreiber selbst erzeugen: AllToAll auf dem tatsächlichen Fabric ausführen, die Zielports je Phase verfolgen und den Ablauf mit der Platzierung vergleichen. Ein teurerer Switch löst wenig, wenn der Scheduler den nächsten Verkehrsschwall wieder in den ungünstigsten Pfad lenkt.

Quellen: NANOG-98-Sitzung · Iazzags Originalfolien.