AI ワークロードの変動がデータセンターのエネルギー浪費を増大させる

Data Center Knowledge は、AI トレーニングの変動が大規模クラスタで GPU 需要の急激な低下を生み出すと報じた。オペレーターは、主トレーニングと競合する生産的タスクや電力を浪費するダミーワークロードなどのセカンダリワークロードでこの低下を平滑化する。BTW 読者へのシグナルは、AI データセンターのエネルギー逼迫が、ワークロードを考慮した電力管理の問題でもあるということだ。

• 大規模クラスタでの一括同期トレーニングが GPU 需要の急激な低下を引き起こす
• セカンダリワークロードは電力供給を安定化させるが、エネルギーコストとインフラコストを増大させる

事実

AI データセンターのエネルギー消費が増加する理由の一部は、一括同期トレーニングが大規模クラスタ内で GPU 需要の急激な低下を引き起こすことにある。オペレーターはこの低下をセカンダリワークロードで平滑化する：それは GPU 容量を争う生産的タスクか、安定した電力プロファイルを維持するために無駄な計算を実行するダミーワークロードである。Oracle はミリ秒単位の GPU ハートビートを用いてこの活動をトリガーする。この手法によりエネルギー消費が膨らみ、冷却要件が増大し、系統連系承認が遅延する可能性がある。

評価

AI データセンターのエネルギー逼迫は、単に供給不足によるものではなく、施設内部の非効率な電力挙動にも起因する。セカンダリワークロードは需要を平坦化するが、隠れたコストをもたらす：生産的タスクは主たるトレーニングを遅延させ、ダミータスクは電力を浪費し、ピーク近傍での継続的動作は機器の摩耗を加速させる。業界は、ワークロード感知型のハードウェアレベルおよびオーケストレーションレベルでの電源管理が欠如していることを、追加の計算で補っている。

注目点

GPU ベンダーやオペレーターが、セカンダリワークロードに代わる消費電力の少ない代替手段、例えばハードウェアレベルでの平滑化、予測スケジューリング、電力変動に連動した系統連系ルールなどを開発するかどうかに注目。