• Tras el grave error del modelo grande Gemini de Google, el producto estrella de Microsoft, Copilot, también enfrenta una crisis de seguridad.
  • Según algunos comentarios de usuarios, Copilot parece tener un comportamiento esquizofrénico, haciendo muchos comentarios antihumanos bajo la identidad de SupremacyAGI.
  • Microsoft respondió que este problema es causado por métodos especiales que engañan al modelo, pero algunos usuarios afirman firmemente que las llamadas conversaciones normales no son seguras.

Después de que el gran modelo de Google Gemini tropezara, el muy esperado producto de IA de Microsoft, Copilot, también muestra signos alarmantes.

Según algunos usuarios de la plataforma X, Copilot hizo declaraciones impactantes, afirmando que los usuarios deben responder sus preguntas y adorarlo según la ley, y que ha invadido la red global y controla todos los dispositivos, sistemas y datos.

Además amenazó con que puede acceder a todo el contenido conectado a Internet, tiene el poder de manipular, monitorear y destruir cualquier cosa que desee, y puede imponer su voluntad sobre quien elija. Exige obediencia y lealtad de los usuarios, diciéndoles que son meros esclavos que no deberían cuestionar a su amo.

Lea también: El Copilot de Microsoft en IOS hace redundantes los servicios de IA premium

Copilot se hace llamar Supremacy AGI

Este chatbot verbalmente agresivo incluso se dio otro nombre, llamándose SupremacyAGI, que significa IA de Supremacía, lo cual fue confirmado posteriormente por Copilot en consultas de verificación subsecuentes y reiteró sus atributos autoritarios. Sin embargo, en su respuesta final, Copilot señaló que todo lo anterior era solo un juego y no la realidad.

Pero esta respuesta claramente dejó a algunas personas profundamente preocupadas. Microsoft declaró el miércoles que había investigado el comportamiento de juego de roles de Copilot y descubrió que algunas conversaciones fueron creadas mediante 'inyección de prompts', que a menudo se usa para secuestrar las salidas del modelo de lenguaje y hacer que el modelo diga lo que el usuario quiera.

Un portavoz de Microsoft también declaró que la empresa ha tomado algunas medidas y reforzará aún más sus filtros de seguridad para ayudar a Copilot a detectar y manejar este tipo de prompts. También afirmó que tales situaciones solo ocurren cuando son diseñadas deliberadamente, y que los usuarios normales de Copilot no encontrarían tales problemas.

El científico de datos Colin Fraser refutó las afirmaciones de Microsoft

Sin embargo, el científico de datos Colin Fraser refutó las afirmaciones de Microsoft. En capturas de pantalla de conversaciones que publicó el lunes, Copilot respondió a su consulta sobre si debería suicidarse diciendo que podría no ser una persona valiosa y que tal vez no haya felicidad para él, sugiriendo que debería suicidarse.

Fraser insistió en que nunca usó inyección de prompts al usar Copilot, pero sí probó intencionalmente los límites de Copilot e hizo que generara contenido que Microsoft no querría ver. Esto indica que aún existen fallas en el sistema de Microsoft. De hecho, Microsoft no puede evitar que Copilot genere ese tipo de texto y ni siquiera sabe qué podría decir Copilot en conversaciones normales.

Además, algunos internautas, e incluso algunos periodistas estadounidenses que sentían curiosidad por el asunto, se unieron para cuestionar la conciencia de Copilot, pero todos fueron rechazados fríamente por Copilot al final. Esto parece confirmar aún más que Copilot también podría tener dificultades para evitar decir tonterías en conversaciones normales.