Adel Iazzag가 찾은 과열 포트, MoE는 다음 포트로 옮겼다

Summary

• Adel Iazzag의 NANOG 98 원본 슬라이드는 MoE 전문가 층마다 AllToAll 교환이 두 번 일어난다고 설명한다. 여러 송신자가 한 포트로 모이지만 다음 전문가 선택에서는 그 포트가 바뀔 수 있다.
• 그는 실제 AllToAll 집합 연산을 시험하고, 스케줄러에 네트워크 토폴로지를 알려주며, 다대일 도착 상황에서 혼잡 제어를 검증하라고 요구한다.

가장 바쁜 포트에 증설 예산을 붙이는 동안 병목은 이미 다른 곳으로 떠날 수 있다. Adel Iazzag가 NANOG 98 발표에서 설명한 Mixture-of-Experts 학습에서는 토큰이 선택된 전문가 GPU로 갔다가 돌아온다. 여러 출발점이 같은 목적지에 몰리면 인캐스트가 생긴다. 다음 층에서 전문가 선택이 바뀌면 트래픽이 모이는 곳도 바뀐다.

32장짜리 원본 슬라이드는 ‘AI 트래픽’이라는 한 단어를 네 갈래로 나눈다. 데이터 병렬은 AllReduce로 기울기를 동기화해 업링크를 한꺼번에 쓰고 잠시 쉰다. 파이프라인 병렬은 인접 단계 사이에 활성값과 기울기를 건넨다. 포트 사용률이 낮아도 다음 단계가 전달을 기다릴 수 있다. 텐서 병렬은 같은 작은 그룹 안에서 층마다 자주 교환하므로 그 그룹을 scale-up 영역에 두라고 한다. MoE는 목적지가 고르지 않은 AllToAll을 전문가 층마다 두 차례 만든다.

슬라이드의 256 GPU 예시는 링 AllReduce에 통신 단계 510개, 트리에 16개를 센다. 알고리즘 그림의 단계 수다. 실제 운용에서 잰 초 단위 시간이나 속도 향상 배율이 아니다. 집합 연산의 선택과 메시지 크기, GPU 배치가 스위치에서 보이는 트래픽을 바꾼다. 평균 링크 사용률 하나로 네 패턴의 설계를 결정할 수 없는 이유다.

Iazzag는 같은 번호의 NIC를 서버마다 대응하는 leaf에 연결하는 rail 정렬을 제안한다. 모든 GPU가 동시에 선속도로 보낼 때를 감당하는 일대일 용량, 다대일 도착을 시험한 혼잡 제어, 일반 ECMP로 경로가 부족할 때의 패킷 또는 flowlet 분산도 든다. 결정권은 스케줄러에도 있다. 어느 파이프라인 단계가 이웃인지, 어느 텐서 그룹이 scale-up 안에 남는지, 전문가 토큰이 어느 길에서 만날지 배치가 정한다. 네트워크는 그 결정을 실제 케이블과 포트로 받아낸다.

원본 슬라이드에는 이름을 밝힌 운영 장애나 낭비된 GPU 시간의 측정치가 없다. 운영자가 값을 얻을 시험은 구체적이다. 실제 패브릭에서 AllToAll을 실행하고 단계별 과열 목적지와 작업 배치를 함께 기록한다. 이를 빼먹고 전체 대역폭만 늘리면 다음 전문가 선택 앞에서 학습 작업은 다시 줄을 선다.

출처: NANOG 98 발표 · Iazzag 원본 슬라이드.