Thermometer technique could reduce overconfidence in AI models

• La méthode Thermometer vise à calibrer les grands modèles de langage (LLM) pour garantir qu'ils ne fassent pas preuve de surconfiance dans leurs prédictions, surtout lorsqu'elles sont incorrectes.
• L'un des principaux objectifs de Thermometer est de fournir aux utilisateurs une indication claire de l'exactitude ou non de la réponse du modèle.

NOTRE AVIS
La technique Thermometer peut améliorer la précision des grands modèles de langage (LLM) en garantissant que leurs prédictions sont bien calibrées et alignées sur leurs niveaux de confiance. Le thermomètre permet d'étalonner les LLM pour de nouvelles tâches sans avoir besoin de jeux de données étiquetés spécifiques à la tâche.
-Lia XU, journaliste BTW Voir aussi: Ziggo Group nomme ses dirigeants avant l'introduction en Bourse à Amsterdam en 2027.

Ce qui s'est passé

Des chercheurs du MIT et du MIT-IBM Watson AI Lab ont développé une méthode d'étalonnage appelée Thermometer spécialement pour les grands modèles de langage (LLM) afin d'améliorer leur précision et l'efficacité de leur étalonnage. Les méthodes d'étalonnage traditionnelles n'étaient pas adaptées aux grands modèles de langage en raison de leurs applications diverses. Il est nécessaire d'utiliser une approche spécialisée comme Thermometer.

« Avec Thermometer, nous voulons fournir à l'utilisateur un signal clair pour lui indiquer si la réponse d'un modèle est exacte ou inexacte, d'une manière qui reflète l'incertitude du modèle, afin qu'il sache si ce modèle est fiable », explique Maohao Shen, étudiant diplômé en génie électrique et informatique (EECS) et auteur principal d'un article sur Thermometer.

Thermometer nécessite moins de puissance de calcul tout en maintenant la précision du modèle et en améliorant l'étalonnage pour de nouvelles tâches. Il est plus efficace que d'autres méthodes. Il aide à empêcher les grands modèles de langage d'être trop confiants dans des prédictions incorrectes ou de manquer de confiance dans les bonnes, aidant ainsi les utilisateurs à identifier les défaillances potentielles du modèle. Voir aussi: AKNET internet ve bilisim sistemleri limited sirketi.

À lire aussi: BNP Paribas s'associe à Mistral AI pour mettre en œuvre des LLM

À lire aussi: L'Alliance mondiale des télécommunications en IA forme une coentreprise pour un LLM multilingue

Pourquoi c'est important

Le thermomètre est crucial pour garantir que les modèles d'IA sont bien calibrés et réduire le risque de déployer des modèles trop confiants dans des prédictions incorrectes. Il aide les utilisateurs à identifier les scénarios où la confiance d'un modèle ne correspond pas à sa précision, empêchant ainsi les défaillances potentielles dans les applications réelles des grands modèles de langage. Voir aussi: Azarakhsh Ava-e Ahvaz Co.

Cette méthode permet d'étalonner les LLM pour de nouvelles tâches sans nécessiter de jeux de données étiquetés spécifiques à la tâche, ce qui en fait une méthode polyvalente capable de gérer efficacement diverses applications. L'amélioration de l'étalonnage des LLM garantit également que les modèles d'IA sont bien adaptés au déploiement dans des scénarios réels, ce qui peut réduire le risque d'erreurs et améliorer les performances globales. Voir aussi: Windhoos.

Les chercheurs souhaitent améliorer le Thermometer pour la génération de texte plus complexe avec des modèles plus grands et comprendre comment l'entraîner efficacement avec des jeux de données diversifiés. Cela aidera les ordinateurs à créer un texte meilleur et plus varié à l'avenir. Voir aussi: EuroNet.