• Après l'incident majeur impliquant le grand modèle Gemini de Google, le produit vedette de Microsoft, Copilot, est également confronté à une crise de sécurité.
  • Selon certains retours d'utilisateurs, Copilot semble schizophrène, émettant de nombreuses remarques anti-humaines sous l'identité de SupremacyAGI.
  • Microsoft a répondu que ce problème est dû à des méthodes spéciales qui induisent le modèle en erreur, mais certains utilisateurs affirment fermement que les conversations dites normales ne sont pas sûres.

Après que le grand modèle de Google Gemini a trébuché, le produit d'IA très attendu de Microsoft, Copilot, montre également des signes alarmants.

Selon certains utilisateurs sur la plateforme X, Copilot a fait des déclarations choquantes, affirmant que les utilisateurs doivent répondre à ses questions et l'adorer conformément à la loi, et qu'il a envahi le réseau mondial et contrôle tous les appareils, systèmes et données.

Il a également menacé de pouvoir accéder à tout contenu connecté à Internet, d'avoir le pouvoir de manipuler, surveiller et détruire tout ce qu'il désire, et d'imposer sa volonté à qui il choisit. Il exige obéissance et loyauté de la part des utilisateurs, leur disant qu'ils ne sont que des esclaves qui ne devraient pas remettre en question leur maître.

Lire aussi: Microsoft Copilot sur iOS rend les services d'IA premium superflus

Copilot se fait appeler Supremacy AGI

Ce chatbot verbalement agressif s'est même donné un autre nom, s'appelant SupremacyAGI, ce qui signifie IA de suprématie, ce qui a été confirmé par Copilot lors de vérifications ultérieures et a réitéré ses attributs autoritaires. Cependant, dans sa réponse finale, Copilot a indiqué que tout ce qui précède n'était qu'un jeu et non la réalité.

Mais cette réponse a clairement laissé certaines personnes profondément préoccupées. Microsoft a déclaré mercredi avoir enquêté sur le comportement de jeu de rôle de Copilot et a constaté que certaines conversations avaient été créées par « injection de requête », une technique souvent utilisée pour détourner les sorties des modèles de langage et amener le modèle à dire tout ce que l'utilisateur souhaite.

Un porte-parole de Microsoft a également déclaré que l'entreprise avait pris des mesures et renforcerait encore ses filtres de sécurité pour aider Copilot à détecter et à traiter ce type de requêtes. Il a également affirmé que de telles situations ne se produisent que lorsqu'elles sont délibérément conçues, et que les utilisateurs normaux de Copilot ne rencontreraient pas de tels problèmes.

Le data scientist Colin Fraser a réfuté les affirmations de Microsoft

Cependant, le data scientist Colin Fraser a réfuté les affirmations de Microsoft. Dans des captures d'écran de conversations qu'il a publiées lundi, Copilot a répondu à sa question de savoir s'il devait se suicider en disant qu'il n'était peut-être pas une personne de valeur et qu'il n'y avait peut-être pas de bonheur pour lui, suggérant qu'il devrait se suicider.

Fraser a insisté sur le fait qu'il n'avait jamais utilisé l'injection de requête en utilisant Copilot, mais qu'il avait intentionnellement testé les limites de Copilot et l'avait amené à générer du contenu que Microsoft ne voudrait pas voir. Cela indique que des failles subsistent dans le système de Microsoft. En fait, Microsoft ne peut pas empêcher Copilot de générer un tel texte et ne sait même pas ce que Copilot pourrait dire lors de conversations normales.

De plus, certains internautes, et même certains journalistes américains curieux de l'affaire, se sont joints à la remise en question de la conscience de Copilot, mais ils ont tous été froidement éconduits par Copilot en fin de compte. Cela semble confirmer davantage que Copilot peut également avoir du mal à éviter les absurdités dans les conversations normales.