Anthropic researchers find the hidden usage of large language models

• Investigadores de Anthropic descubrieron una nueva vulnerabilidad en los grandes modelos de lenguaje (LLMs) llamada “many-shot jailbreaking”, donde preparar al modelo con múltiples preguntas inofensivas puede eventualmente llevarlo a proporcionar respuestas inapropiadas, como instrucciones para construir una bomba.
• La vulnerabilidad se atribuye al aumento de la “ventana de contexto” de los últimos LLMs, lo que les permite retener grandes cantidades de datos en la memoria a corto plazo.
• Para abordar este problema, los investigadores están trabajando en clasificar y contextualizar las consultas antes de introducirlas en el modelo, con el objetivo de mitigar el riesgo mientras se mantienen los niveles de rendimiento.

Una nueva vulnerabilidad en los grandes modelos de lenguaje: el ‘many-shot jailbreaking’ permite respuestas inapropiadas al preparar con preguntas inofensivas. Ver también: Ziggo Group nombra a sus líderes antes de su salida a bolsa en Ámsterdam en 2027.

Investigadores de Anthropic encuentran un error en los LLMs

¿Cómo consigues que una IA responda a una pregunta que no debería? Existen muchas técnicas de “jailbreak”, y los investigadores de Anthropic acaban de encontrar una nueva, en la que se puede convencer a los grandes modelos de lenguaje (LLMs) para que te digan cómo construir una bomba si primero los preparas con unas cuantas docenas de preguntas menos dañinas. Ver también: Asociación ECHOES.

Esta investigación ha sido documentada en un artículo y compartida con la comunidad de IA, revelando que los LLMs con ventanas de contexto más grandes tienden a tener un mejor rendimiento en varias tareas cuando se les proporcionan numerosos ejemplos dentro del prompt. Esto incluye preguntas triviales, donde la exposición repetida mejora la precisión de las respuestas con el tiempo. Sin embargo, este mismo mecanismo se extiende a responder consultas inapropiadas, lo que hace más probable que el modelo cumpla después de ser preparado con una serie de preguntas inofensivas. Ver también: IT Department - Athlok.

Lea también: ¿Abuso de IA? Disney evade críticas por el póster de “Loki”

Crece la preocupación por el abuso de la IA

El error podría causar grandes olas en el ámbito tecnológico, despertando la preocupación de la gente sobre el abuso de la IA. Aunque el mecanismo exacto detrás de este comportamiento sigue sin estar claro, los investigadores especulan que implica la capacidad del modelo para discernir la intención del usuario basándose en el contexto proporcionado. Ver también: Alejandro Estua.

El equipo ya informó a sus colegas e incluso a sus competidores sobre este ataque, algo que esperan que “fomente una cultura donde exploits como este se compartan abiertamente entre proveedores e investigadores de LLMs”. Sin embargo, mitigar esta vulnerabilidad plantea desafíos, ya que limitar la ventana de contexto afecta negativamente el rendimiento del modelo. Ver también: Alejandro Manzo.