Volatilidade da carga de trabalho de IA aumenta o desperdício de energia em data centers

O Data Center Knowledge relatou que a volatilidade do treinamento de IA cria quedas acentuadas na demanda de GPU em grandes clusters. Os operadores suavizam essas quedas com cargas de trabalho secundárias, incluindo tarefas produtivas que competem com o treinamento primário e cargas de trabalho simuladas que desperdiçam energia. O sinal para os leitores do BTW é que a pressão energética dos data centers de IA também é um problema de gerenciamento de energia ciente da carga de trabalho.

• O treinamento síncrono em lote cria quedas acentuadas na demanda de GPU em grandes clusters
• Cargas de trabalho secundárias estabilizam a energia, mas aumentam os custos de energia e infraestrutura

O fato

Os data centers de IA usam mais energia em parte porque o treinamento síncrono em lote cria quedas acentuadas na demanda de GPU entre os clusters. Os operadores suavizam essas quedas com cargas de trabalho secundárias: tarefas produtivas que competem pela capacidade da GPU, ou cargas de trabalho simuladas que executam cálculos sem sentido para manter um perfil de energia estável. A Oracle usa um heartbeat de GPU em escala de milissegundos para disparar essa atividade. A prática infla o uso de energia, aumenta a demanda de refrigeração e pode atrasar as aprovações da rede elétrica.

A avaliação

A pressão energética dos data centers de IA não se trata apenas da geração limitada de evidências públicas; trata-se também do comportamento ineficiente da energia dentro da instalação. As cargas de trabalho secundárias nivelam a demanda, mas introduzem custos ocultos: as tarefas produtivas retardam o treinamento primário, as cargas simuladas desperdiçam eletricidade e a operação sustentada em pico acelera o desgaste dos equipamentos. O setor está usando computação extra para compensar a falta de gerenciamento de energia ciente da carga de trabalho no nível de hardware e orquestração.

O que observar

Observe se os fornecedores de GPU e operadores desenvolvem alternativas com menor desperdício para cargas de trabalho secundárias, incluindo suavização em nível de hardware, agendamento preditivo ou regras de interconexão vinculadas à volatilidade da energia.