Summary

  • Adel Iazzag décrit dans ses diapositives NANOG 98 des échanges AllToAll deux fois par couche MoE: les destinations sont inégales, plusieurs GPU convergent sur un port, et ce port congestionné peut changer.
  • Il demande de tester le collectif AllToAll sur le réseau réel, d'informer le planificateur de la topologie et de vérifier le contrôle de congestion pour les arrivées de plusieurs sources vers une seule destination.

Un port réseau a sa minute de gloire, puis le prochain calcul choisit un autre expert. C'est le piège opérationnel que décrit Adel Iazzag lors de NANOG 98: Mixture-of-Experts envoie les jetons vers les GPU sélectionnés, et le point où les flux se rejoignent se déplace. L'alarme d'hier désigne peut-être le mauvais port aujourd'hui.

Le diaporama original refuse de traiter tous les entraînements comme un seul trafic. Le parallélisme de données synchronise les gradients en AllReduce: les liaisons montent ensemble en charge, puis se calment. Un pipeline déplace activations et gradients entre étapes voisines; le taux d'utilisation peut rester bas pendant qu'une étape attend la précédente. Le parallélisme tensoriel échange de petits résultats à chaque couche entre les mêmes GPU. Iazzag veut garder ce groupe dans le domaine scale-up. MoE ajoute les envois AllToAll, des destinations inégales et un incast qui change de port.

Son exemple à 256 GPU compte 510 étapes de communication pour un anneau AllReduce et 16 pour un arbre. Ces étapes décrivent l'algorithme du schéma; elles ne mesurent pas des secondes d'exécution. Elles rappellent néanmoins que l'algorithme du collectif, la taille des messages et la topologie changent la charge vue par les commutateurs. Acheter du débit supplémentaire avant de connaître cette charge revient à acheter une route sans savoir où passent les véhicules.

Iazzag propose des choix vérifiables: aligner les rails en reliant le même indice de NIC au même leaf, prévoir une souscription un pour un quand tous les GPU émettent à plein débit, éprouver le contrôle de congestion en plusieurs-vers-un et aller au-delà d'ECMP si la diversité des chemins l'exige. Le planificateur doit voir la topologie. Il place les étapes du pipeline, garde ou disperse les groupes tensoriels et choisit les GPU qui recevront les jetons d'experts. Le réseau paie ensuite le trajet de ces décisions.

L'action immédiate consiste à lancer un vrai AllToAll sur le fabric, relever les files et les ports qui chauffent à chaque phase, puis confronter ces traces au placement des GPU. Le support public ne chiffre ni incident d'un cluster nommé ni coût d'attente en GPU-heures. La décision de conception, elle, est testable dans un réseau donné: identifier le collectif, sa destination mouvante et le réglage qui laisse passer le prochain paquet.

Sources: session NANOG 98 · diapositives originales d'Iazzag.