• La méthode Thermometer vise à calibrer les grands modèles de langage (LLM) pour s'assurer qu'ils ne montrent pas un excès de confiance dans leurs prédictions, en particulier lorsqu'elles sont incorrectes.
  • L'un des principaux objectifs de Thermometer est de fournir aux utilisateurs une indication claire de la précision ou non de la réponse d'un modèle.

NOTRE AVIS
La technique Thermometer peut améliorer la précision des grands modèles de langage (LLM) en garantissant que leurs prédictions sont bien calibrées et alignées avec leurs niveaux de confiance. Le Thermometer permet l'étalonnage des LLM pour de nouvelles tâches sans nécessiter de jeux de données étiquetés spécifiques à la tâche.
-Lia XU, journaliste BTW

Ce qui s'est passé

Des chercheurs du MIT et du MIT-IBM Watson AI Lab ont développé une méthode de calibration appeléeThermometerspécialement pour les grands modèles de langage (LLM) afin d'améliorer leur précision et l'efficacité de la calibration. Les méthodes de calibration traditionnelles ne convenaient pas aux grands modèles de langage en raison de leurs applications diverses. Il est nécessaire d'utiliser une approche spécialisée comme Thermometer.

« Avec Thermometer, nous voulons fournir à l'utilisateur un signal clair pour lui indiquer si la réponse d'un modèle est exacte ou inexacte, d'une manière qui reflète l'incertitude du modèle, afin qu'il sache si ce modèle est fiable », expliqueMaohao Shen, étudiant diplômé en génie électrique et informatique (EECS) et auteur principal d'un article sur Thermometer.

Thermometer ne nécessite que moins de puissance de calcul tout en maintenant la précision du modèle et en améliorant la calibration pour de nouvelles tâches. Il est plus efficace que d'autres méthodes. Il aide à empêcher les grands modèles de langage d'être trop confiants dans des prédictions incorrectes ou de manquer de confiance dans les bonnes, aidant ainsi les utilisateurs à identifier les défaillances potentielles du modèle.

Lire aussi:BNP Paribas s'associe à Mistral AI pour implémenter des LLM

Lire aussi:La Global Telco AI Alliance crée une coentreprise pour un LLM telco multilingue

Pourquoi c'est important

Le Thermometer est crucial pour garantir que les modèles d'IA sont bien calibrés et réduire le risque de déployer des modèles surconfiants qui font des prédictions incorrectes. Il aide les utilisateurs à identifier les scénarios où la confiance d'un modèle ne correspond pas à sa précision, évitant ainsi les défaillances potentielles dans les applications réelles des grands modèles de langage.

Cette méthode permet l'étalonnage des LLM pour de nouvelles tâches sans nécessiter de jeux de données étiquetés spécifiques à la tâche, ce qui en fait une méthode polyvalente capable de gérer efficacement diverses applications. L'amélioration de l'étalonnage des LLM garantit également que les modèles d'IA sont bien adaptés au déploiement dans des scénarios réels, ce qui peut réduire le risque d'erreurs et améliorer les performances globales.

Les chercheurs souhaitent améliorer Thermometer pour une génération de texte plus complexe avec des modèles plus grands et comprendre comment l'entraîner efficacement avec des ensembles de données diversifiés. Cela aidera l'ordinateur à créer un texte meilleur et plus varié à l'avenir.