Summary

  • Adel Iazzag explica que Mixture-of-Experts produce AllToAll dos veces por capa de expertos, con destinos desiguales y varios emisores que llegan a un puerto cuya congestión cambia de lugar.
  • Para diseñar la red pide probar ese colectivo, dar al planificador la topología y validar el control de congestión bajo tráfico de muchos a uno.

El puerto más ocupado de una red de IA puede perder el puesto antes de que termine el siguiente paso del entrenamiento. En la charla de NANOG 98, Adel Iazzag sigue los tokens de un modelo Mixture-of-Experts: cada capa elige expertos, los GPU intercambian datos y el destino de la avalancha puede cambiar. Perseguir un único enlace caliente deja al operador detrás del trabajo.

Su presentación original separa las formas de tráfico. En paralelismo de datos, AllReduce combina gradientes y muchos enlaces se encienden a la vez. En el pipeline, una etapa entrega activaciones y recibe gradientes de su vecina; puede haber poca utilización y mucha espera. En paralelismo tensorial, un grupo pequeño intercambia resultados en cada capa, razón para mantenerlo dentro de scale-up. MoE crea la cuarta demanda: AllToAll con destinos desiguales, incast y puertos calientes que cambian.

El ejemplo de 256 GPU del material cuenta 510 pasos para un anillo AllReduce y 16 para un árbol. Son pasos de los algoritmos dibujados, no tiempos observados de un entrenamiento. El mensaje para una compra de red es concreto: distintos colectivos ocupan enlaces de forma distinta. Una media de utilización y un precio por puerto no dicen dónde esperará el siguiente trabajo.

Iazzag propone alinear rails: la NIC de un mismo índice en cada servidor hacia el leaf correspondiente. Añade capacidad uno a uno cuando todos los GPU pueden transmitir a velocidad de línea y exige probar el control de congestión con entradas de muchos a uno. ECMP por sí solo puede quedarse corto; el material menciona dispersión por paquete o por flowlet. El planificador necesita el mapa físico para colocar etapas vecinas, contener los grupos tensoriales y evitar que los expertos concentren tráfico en una ruta mal preparada.

El paso siguiente es ejecutar AllToAll en el fabric real y observar qué puerto recibe la oleada en cada fase. No hay en las diapositivas una factura de GPU inactivos ni un incidente identificado de producción; ese dato tendría que salir de un trabajo medido. La decisión que sí puede tomarse hoy es poner la topología y la traza del colectivo en la misma mesa.

Fuentes: sesión NANOG 98 · presentación original de Iazzag.