Anthropic researchers find the hidden usage of large language models

• Des chercheurs d’Anthropic ont découvert une nouvelle vulnérabilité dans les grands modèles de langage (LLM) appelée « many-shot jailbreaking », où le fait d’amorcer le modèle avec plusieurs questions inoffensives peut finalement le conduire à fournir des réponses inappropriées, comme des instructions pour fabriquer une bombe.
• La vulnérabilité est attribuée à la « fenêtre de contexte » élargie des derniers LLM, leur permettant de conserver de grandes quantités de données en mémoire à court terme.
• Pour résoudre ce problème, les chercheurs travaillent à classifier et contextualiser les requêtes avant de les soumettre au modèle, dans le but d'atténuer le risque tout en maintenant les niveaux de performance.

Une nouvelle vulnérabilité dans les grands modèles de langage: le « many-shot jailbreaking » permet d’obtenir des réponses inappropriées en amorçant le modèle avec des questions inoffensives. Voir aussi: Ziggo Group nomme ses dirigeants avant l'introduction en Bourse à Amsterdam en 2027.

Des chercheurs d’Anthropic découvrent une faille dans les LLM

Comment amener une IA à répondre à une question qu’elle n’est pas censée aborder ? Il existe de nombreuses techniques de « jailbreak » de ce type, et les chercheurs d’Anthropic viennent d’en trouver une nouvelle, dans laquelle on peut convaincre un grand modèle de langage (LLM) de vous expliquer comment fabriquer une bombe si vous l’amorcez d’abord avec quelques dizaines de questions moins dangereuses. Voir aussi: Association ECHOES.

Ces recherches ont été documentées dans un article et partagées avec la communauté de l’IA, révélant que les LLM dotés de fenêtres de contexte plus grandes ont tendance à mieux performer sur diverses tâches lorsqu’on leur fournit de nombreux exemples dans le prompt. Cela inclut des questions triviales, où une exposition répétée améliore la précision des réponses au fil du temps. Cependant, ce même mécanisme s’étend à la réponse à des requêtes inappropriées, rendant plus probable que le modèle s’exécute après avoir été amorcé par une série de questions inoffensives. Voir aussi: Département IT - Athlok.

À lire aussi: Abus d’IA ? Disney évite les critiques sur l’affiche de « Loki »

L’inquiétude face à l’abus d’IA monte

Ce bug pourrait provoquer de grandes secousses dans le monde de la tech, attisant l’inquiétude du public sur les dérives de l’IA. Bien que le mécanisme exact derrière ce comportement reste flou, les chercheurs pensent qu’il implique la capacité du modèle à discerner l’intention de l’utilisateur en fonction du contexte fourni. Voir aussi: Alejandro Estua.

L’équipe a déjà informé ses pairs, voire ses concurrents, de cette attaque, espérant ainsi « favoriser une culture où ce type d’exploit est ouvertement partagé entre fournisseurs de LLM et chercheurs ». Cependant, atténuer cette vulnérabilité pose des défis, car limiter la fenêtre de contexte a un impact négatif sur les performances du modèle. Voir aussi: Alejandro Manzo.