MLCommons estabelece novos testes de benchmark de IA medindo velocidade

MLCommons sets new AI benchmark tests measuring speed é perfilado pela BTW Media porque evidências publicadas o vinculam à infraestrutura da internet, governança, dependências operacionais ou visibilidade de mercado.

• MLCommonsapresenta novos testes de benchmark de IA que medem a velocidade de chips e sistemas de IA na geração de respostas de grandes modelos de linguagem.
• Os chips H100 da Nvidia, juntamente com servidores do Google, Supermicro e da própria Nvidia, superam os concorrentes em ambos os novos benchmarks de desempenho bruto.

Na quarta-feira, o MLCommons estabelece novos testes de benchmark de IA para medir a velocidade de resposta às consultas dos usuários, em um esforço para melhorar a eficiência.

Novos testes de benchmark de IA pelo MLCommons

Na quarta-feira, o grupo de benchmark de IA MLCommons estabelece uma série de testes e divulga vários resultados para avaliar a velocidade e eficiência do hardware de ponta em responder às interações dos usuários.

Entre os novos benchmarks introduzidos pelo MLCommons, dois focam na capacidade de resposta dos chips e sistemas de IA na geração de saídas, o que oferece insights sobre a velocidade com que aplicações de IA, como o ChatGPT, podem fornecer respostas às consultas dos usuários.

Leia também: Eliyan levanta US$60 milhões para interconexões de chiplet que aceleram chips de IA

Um dos benchmarks recém-introduzidos, chamado Llama 2, mede especificamente a velocidade de cenários de perguntas e respostas para grandes modelos de linguagem, ostentando 70 bilhões de parâmetros desenvolvidos pela Meta Platforms. Além disso, o MLCommons expandiu as ferramentas de benchmark ao incorporar um segundo gerador de texto para imagem, chamado MLPerf, baseado no modelo Stable Diffusion XL da Stability AI.

Confronto de desempenho de servidores: Nvidia domina

Em termos de desempenho bruto, servidores equipados com os chips H100 da Nvidia, incluindo os do Google, Supermicro e da própria Nvidia, destacaram-se como líderes nos benchmarks mais recentes.

Leia também: Data centers de próxima geração da Nvidia funcionarão com provedores de nuvem

Vários fabricantes de servidores introduziram designs baseados no chip L40S menos potente da Nvidia, mas a Krai apresentou um design para o benchmark de geração de imagens, apresentando um chip de IA da Qualcomm conhecido por seu menor consumo de energia em comparação com os processadores de última geração da Nvidia.

A Intel também exibiu seus chips aceleradores Gaudi2, enfatizando que os resultados são impressionantes. No entanto, é crucial notar que, embora o desempenho bruto seja vital, o consumo de energia dos chips de IA avançados representa um desafio significativo.