MLCommons définit de nouveaux benchmarks IA mesurant la vitesse

MLCommons sets new AI benchmark tests measuring speed est profilé par BTW Media car des preuves publiées le relient à l'infrastructure internet, à la gouvernance, aux dépendances opérationnelles ou à la visibilité du marché.

• MLCommonsprésente de nouveaux benchmarks IA mesurant la vitesse des puces et systèmes d'IA dans la génération de réponses à partir de grands modèles de langage.
• Les puces H100 de Nvidia, aux côtés des serveurs de Google, Supermicro et Nvidia, surpassent leurs concurrents dans les deux nouveaux benchmarks en termes de performances brutes.

Mercredi, MLCommons établit de nouveaux tests de référence en IA pour mesurer la vitesse de réponse aux requêtes des utilisateurs, dans un effort pour améliorer l'efficacité.

Nouveaux benchmarks IA par MLCommons

Mercredi, le groupe de benchmark IA MLCommons a mis en place une série de tests et publié plusieurs résultats pour évaluer la vitesse et l'efficacité du matériel de pointe dans la réponse aux interactions des utilisateurs.

Parmi les nouveaux benchmarks introduits par MLCommons, deux se concentrent sur la réactivité des puces et systèmes d'IA dans la génération de sorties, ce qui donne un aperçu de la vitesse à laquelle les applications d'IA, telles que ChatGPT, peuvent fournir des réponses aux requêtes des utilisateurs.

Lire aussi: Eliyan lève 60 millions de dollars US pour des interconnexions de chiplets qui accélèrent les puces d'IA

L'un des benchmarks nouvellement introduits, baptisé Llama 2, mesure spécifiquement la vitesse des scénarios de questions-réponses pour les grands modèles de langage, affichant 70 milliards de paramètres développés par Meta Platforms. De plus, MLCommons a élargi ses outils de benchmarking en intégrant un deuxième générateur texte-image, appelé MLPerf, basé sur le modèle Stable Diffusion XL de Stability AI.

Confrontation des performances des serveurs: Nvidia domine le jeu

En termes de performances brutes, les serveurs équipés de puces H100 de Nvidia, y compris ceux de Google, Supermicro et Nvidia elle-même, se sont distingués comme les mieux classés dans les derniers benchmarks.

Lire aussi: Les centres de données de nouvelle génération de Nvidia pour travailler avec les fournisseurs de cloud

Plusieurs fabricants de serveurs ont présenté des conceptions basées sur la puce L40S moins puissante de Nvidia, mais Krai a présenté une conception pour le benchmark de génération d'images, dotée d'une puce d'IA Qualcomm connue pour sa consommation d'énergie inférieure à celle des processeurs de pointe de Nvidia.

Intel a également présenté ses puces accélératrices Gaudi2, soulignant les résultats comme impressionnants. Cependant, il est crucial de noter que si la performance brute est vitale, la consommation d'énergie des puces d'IA avancées pose un défi important.