• L'indice d'hallucination utilise la métrique propriétaire de Galileo, le « context adherence », pour évaluer les inexactitudes des sorties sur différentes longueurs d'entrée.
  • Les modèles propriétaires comme Claude 3.5 Sonnet et Gemini 1.5 Flash dominent l'indice grâce à leurs données d'entraînement exclusives.

NOTRE AVIS
L'industrie de l'IA continue de faire face aux hallucinations comme un obstacle majeur aux produits d'IA générative prêts pour la production. L'indice d'hallucination publié par Galileo fournit une évaluation complète des modèles d'IA générative, en se concentrant sur leurs performances dans le traitement des hallucinations. Il fournit également des informations précieuses pour les entreprises afin de sélectionner le modèle adapté à leurs besoins spécifiques et à leurs contraintes budgétaires.
-Lia XU, journaliste BTW

Ce qui s'est passé

Galileo, un développeur de premier plan en IA générative, a publié son dernierindice d'hallucination. Il évalue 22grands modèles de langage d'IA(LLM) de grandes entreprises comme OpenAI, Anthropic, Google et Meta. L'indice de cette année s'est élargi pour inclure 11 nouveaux modèles, reflétant la croissance rapide des LLM à code source ouvert et fermé au cours des huit derniers mois.

L'indice a révélé que le modèle Claude 3.5 Sonnet d'Anthropic s'est distingué comme le meilleur modèle global. En revanche, la performance de Google a été particulièrement remarquable, son modèle open source Gemma-7b ayant obtenu de mauvais résultats, tandis que son modèle propriétaire Gemini 1.5 Flash s'est constamment classé parmi les meilleurs.

L'industrie de l'IA continue de lutter contre les hallucinations comme un obstacle majeur aux produits d'IA générative prêts pour la production. L'indice d'hallucination fournit des informations précieuses pour les entreprises cherchant à adopter le bon modèle en fonction de leurs besoins spécifiques et de leurs contraintes budgétaires. Ces développements illustrent le paysage dynamique de l'IA générative et les efforts continus pour relever les défis posés par les hallucinations de l'IA.

Lire aussi:BNP Paribas s'associe à Mistral AI pour mettre en œuvre des LLM

Lire aussi:10 applications d'IA pour l'autodiagnostic des problèmes de santé

Pourquoi c'est important

Les hallucinations de l'IA peuvent conduire à la génération d'informations incorrectes ou trompeuses, ce qui nuit à la fiabilité des systèmes d'IA. Ainsi, l'indice d'hallucination de Galileo peut aider à évaluer et à améliorer les modèles. Les développeurs peuvent créer des applications d'IA plus fiables sur lesquelles les entreprises peuvent compter pour des tâches critiques.

L'évaluation des modèles en fonction de leurs performances et de leur rapport coût-efficacité est essentielle pour les entreprises cherchant à mettre en œuvre des solutions d'IA générative. Cet équilibre entre coût et performance est vital pour les organisations fonctionnant avec des contraintes budgétaires.

Alors que l'industrie de l'IA lutte contre les hallucinations comme un obstacle majeur aux produits d'IA générative prêts pour la production, comprendre ces défis est essentiel pour les entreprises. L'indice d'hallucination constitue une ressource essentielle pour comprendre le paysage concurrentiel des modèles d'IA générative, en mettant en évidence les forces et les faiblesses des différents modèles tout en abordant les défis actuels dans le domaine.