- MLCommonsprésente de nouveaux benchmarks IA mesurant la vitesse des puces et systèmes d'IA dans la génération de réponses à partir de grands modèles de langage.
- Les puces H100 de Nvidia, aux côtés des serveurs de Google, Supermicro et Nvidia, surpassent leurs concurrents dans les deux nouveaux benchmarks en termes de performances brutes.
Mercredi, MLCommons établit de nouveaux tests de référence en IA pour mesurer la vitesse de réponse aux requêtes des utilisateurs, dans un effort pour améliorer l'efficacité.
Nouveaux benchmarks IA par MLCommons
Mercredi, le groupe de benchmark IA MLCommons a mis en place une série de tests et publié plusieurs résultats pour évaluer la vitesse et l'efficacité du matériel de pointe dans la réponse aux interactions des utilisateurs.
Parmi les nouveaux benchmarks introduits par MLCommons, deux se concentrent sur la réactivité des puces et systèmes d'IA dans la génération de sorties, ce qui donne un aperçu de la vitesse à laquelle les applications d'IA, telles que ChatGPT, peuvent fournir des réponses aux requêtes des utilisateurs.
L'un des benchmarks nouvellement introduits, baptisé Llama 2, mesure spécifiquement la vitesse des scénarios de questions-réponses pour les grands modèles de langage, affichant 70 milliards de paramètres développés par Meta Platforms. De plus, MLCommons a élargi ses outils de benchmarking en intégrant un deuxième générateur texte-image, appelé MLPerf, basé sur le modèle Stable Diffusion XL de Stability AI.
Confrontation des performances des serveurs: Nvidia domine le jeu
En termes de performances brutes, les serveurs équipés de puces H100 de Nvidia, y compris ceux de Google, Supermicro et Nvidia elle-même, se sont distingués comme les mieux classés dans les derniers benchmarks.
Plusieurs fabricants de serveurs ont présenté des conceptions basées sur la puce L40S moins puissante de Nvidia, mais Krai a présenté une conception pour le benchmark de génération d'images, dotée d'une puce d'IA Qualcomm connue pour sa consommation d'énergie inférieure à celle des processeurs de pointe de Nvidia.
Intel a également présenté ses puces accélératrices Gaudi2, soulignant les résultats comme impressionnants. Cependant, il est crucial de noter que si la performance brute est vitale, la consommation d'énergie des puces d'IA avancées pose un défi important.