Summary

  • Adel IazzagのNANOG 98資料では、MoEの各専門家層でAllToAllが2回起きる。宛先は均等ではなく、複数の送信元が集中するポートも次の層で変わる。
  • 必要なのは実際のファブリックでAllToAllを試し、配置を決めるスケジューラーにトポロジーを渡し、多対一の到着で輻輳制御を検証することだ。

「このポートが詰まる」と分かった瞬間、その知識の賞味期限が始まる。Adel IazzagがNANOG 98で説明したMixture-of-Expertsの通信では、トークンの送り先となる専門家GPUが層ごとに選ばれる。送信元が一か所へ殺到するincastは、次の層で別のポートに現れ得る。固定したホットスポットだけを追う運用では、仕事の動きに追いつけない。

本人の32枚の原資料は、学習を一種類の通信にまとめない。データ並列では勾配のAllReduceで上りリンクが一斉に使われ、また静かになる。パイプライン並列は隣り合う段階の受け渡しが遅いと、利用率の低い画面の裏で次の段階が待つ。テンソル並列は同じ少数GPU間で各層に何度も通信するので、scale-upの内側へ置きたい。MoEは宛先の偏ったAllToAllを生み、混雑点が動く。

資料の256 GPUの図では、リングAllReduceを510通信ステップ、ツリーを16ステップとして示す。これはアルゴリズムの手順数であり、学習時間の測定値ではない。集合通信の選択とメッセージの大きさ、GPUの置き場所が、スイッチへ届く仕事の形を変える。

Iazzagの処方は機器の型番より前にある。同じ番号のNICを同じleaf側へ揃えるrail配置、全GPUが同時に送るための1対1の収容率、多対一で試した輻輳制御。資料はECMPだけでは足りない場合にパケットやflowletでの分散にも触れる。そしてスケジューラーへトポロジーを渡す。隣接するパイプライン段階やテンソル群の位置、専門家への流量の集まり方は、配置が決めるからだ。

公開資料に特定の本番障害やGPU待機費用の実測はない。運用者が次に測れるのは、自社ファブリックで動くAllToAllの完了時間とポートごとの混雑の移動である。帯域を買う前に、仕事がどこへ集中するかを調べる。高価なGPUを待たせるかどうかは、その順序にも左右される。

出典：NANOG 98講演 · Iazzagの原資料。