Summary

  • Segundo os slides de Adel Iazzag na NANOG 98, o Mixture-of-Experts provoca AllToAll duas vezes por camada de especialistas; destinos desiguais fazem vários emissores convergirem para uma porta que pode mudar.
  • A resposta operacional combina um teste do coletivo no fabric real, posicionamento de GPUs guiado pela topologia e controle de congestionamento validado para chegadas de muitos a um.

O switch que foi o vilão no turno da manhã pode estar inocente na próxima camada do modelo. Adel Iazzag descreveu na NANOG 98 um tráfego que segue a escolha de especialistas do Mixture-of-Experts. Os tokens vão aos GPUs selecionados; muitos remetentes podem mirar o mesmo destino. Na camada seguinte, a escolha muda. O porto congestionado acompanha o trabalho, não um mapa fixo de cabos.

Os slides originais distinguem quatro assinaturas. No paralelismo de dados, AllReduce sincroniza gradientes e acende muitos uplinks em conjunto. No pipeline, a troca entre estágios vizinhos é sensível à latência; um gráfico de baixa utilização pode acompanhar espera elevada. O paralelismo tensorial exige trocas frequentes entre um pequeno grupo, idealmente dentro do domínio scale-up. MoE cria AllToAll desigual duas vezes por camada de especialistas, com incast em portas que se alternam.

No exemplo didático de 256 GPUs, Iazzag conta 510 passos de comunicação para um anel AllReduce e 16 para uma árvore. São passos do algoritmo representado, não segundos de um emprego medido. A diferença lembra que escolher o coletivo e posicionar os participantes altera a carga na rede antes de qualquer compra de capacidade.

A lista de projeto do palestrante começa com alinhamento de rails: NICs do mesmo índice nos servidores ligadas ao leaf correspondente. Depois vêm subscrição um para um quando todos os GPUs podem enviar na velocidade da linha, controle de congestionamento testado sob chegadas de muitos a um e dispersão por pacote ou flowlet quando ECMP sozinho deixa caminhos insuficientes. O scheduler precisa conhecer a topologia: ele aproxima estágios do pipeline, mantém grupos tensoriais no domínio certo e decide onde os especialistas recebem o tráfego.

O material não traz um incidente nomeado de produção nem uma conta de GPU-horas desperdiçadas. Para descobrir o impacto numa instalação real, execute AllToAll no próprio fabric, acompanhe a porta quente em cada fase e compare a trilha com a posição dos GPUs. Comprar links maiores enquanto o scheduler continua empurrando a multidão para o mesmo funil é uma forma cara de repetir o teste errado.

Fontes: sessão NANOG 98 · slides originais de Iazzag.