• Исследователи Anthropic обнаружили новую уязвимость больших языковых моделей (LLM), получившую название «many-shot jailbreaking»: если сначала задать модели несколько безобидных вопросов, в итоге она может выдать нежелательные ответы, например инструкции по изготовлению бомбы.
  • Уязвимость связывают с увеличением«контекстного окна»новейших LLM, что позволяет им удерживать большие объёмы данных в краткосрочной памяти.
  • Чтобы решить эту проблему, исследователи работают над классификацией и учётом контекста запросов до их передачи модели, что снижает риск без потери производительности.

Новая уязвимость больших языковых моделей: метод «many-shot jailbreaking» позволяет получать нежелательные ответы, если сначала задать модели безобидные вопросы.

Исследователи Anthropic обнаружили ошибку в LLM

Как заставить ИИ ответить на вопрос, на который он отвечать не должен? Существует множество методов «джейлбрейка», и исследователи Anthropic только что нашли новый: большие языковые модели (LLM) можно убедить рассказать, как изготовить бомбу, если сначала задать им несколько десятков менее опасных вопросов.

Результаты исследования описаны в статье и переданы сообществу специалистов по ИИ. Выяснилось, что LLM с более широким контекстным окном, как правило, лучше справляются с разными задачами, если в промпте приведено много примеров. Это касается и простых вопросов: многократное повторение со временем повышает точность ответов. Однако тот же механизм распространяется и на ответы на нежелательные запросы, поэтому модель с большей вероятностью подчинится, если сначала «разогреть» её серией безобидных вопросов.

Читайте также:Злоупотребление ИИ? Disney избежала критики благодаря постеру «Локи»

Растущая обеспокоенность по поводу злоупотребления ИИ

Эта ошибка может вызвать волнения в технологическом секторе и усилить общественную обеспокоенность по поводу злоупотребления ИИ. Хотя точный механизм такого поведения остаётся неясным, исследователи предполагают, что он связан со способностью модели распознавать намерение пользователя на основе предоставленного контекста.

Команда уже сообщила об этой атаке коллегам и даже конкурентам, рассчитывая, что это «будет способствовать формированию культуры, в которой подобные эксплойты открыто обсуждаются провайдерами LLM и исследователями». Однако снижение этой уязвимости сопряжено с трудностями: ограничение контекстного окна негативно сказывается на производительности модели.