Детекторы ИИ недавно вызвали удивление, заявив, что Конституция США была написана искусственным интеллектом в 1787 году.

Детекторы ИИ недавно вызвали удивление, заявив, что Конституция США была
написана искусственным интеллектом в 1787 году. Хотя это утверждение явно ложно, оно высвечивает
тревожную проблему: надёжность детекторов ИИ при определении
сгенерированного ИИ контента оставляет желать лучшего.

Суть проблемы кроется в методах, которые применяют такие детекторы. Они используют
большие языковые модели, такие как ChatGPT, обученные на огромных объёмах текстов, написанных людьми и сгенерированных ИИ,
чтобы оценить вероятность того, что текст создан человеком или ИИ.
Применяются две ключевые метрики: «перплексия» и «берстинесс».

Формальный язык = контент ИИ?
Перплексия измеряет, насколько текст соответствует тому, что модель ИИ усвоила во время
обучения. Она может точно распознавать сгенерированный ИИ контент, который близко совпадает с
обучающими данными.

Хотя это кажется правильным, возникает проблема при работе с формальным языком,
например с языком Конституции США.

Берстинесс, в свою очередь, оценивает вариативность длины и структуры предложений.
Сгенерированный ИИ контент часто более однороден, что отличается от человеческого письма,
которому свойственно разнообразие длины.

Однако у этих метрик есть ограничения. Опытные авторы могут создавать
тексты с низкой перплексией, имитируя стиль, сгенерированный ИИ. Точно так же модели ИИ
становятся всё более похожими на человеческое письмо, из-за чего берстинесс превращается в ненадёжный различитель.

Слишком много ложных срабатываний
Исследования показали, что детекторы текстов, созданных ИИ, далеки от совершенства и работают лишь
немного лучше случайных классификаторов. Они часто выдают ложные срабатывания, что приводит
к возможным ошибочным суждениям и несправедливым обвинениям в адрес студентов и авторов.
Кроме того, такие детекторы легко обходятся с помощью атак перефразирования, что ещё сильнее подрывает
их точность.

На фоне этих опасений некоторые преподаватели начинают использовать инструменты ИИ, такие как ChatGPT, для поддержки
обучения, признавая, что существующие детекторы не способны точно находить
сгенерированный ИИ контент.

Переосмыслить детекцию
В ответ один из разработчиков детекторов ИИ планирует сместить фокус с детекции ИИ
на то, чтобы вместо этого подчеркнуть человеческий вклад в создание контента. Его цель — помочь
преподавателям и студентам ориентироваться в меняющемся ландшафте роли ИИ в образовании.
Задача детекции текстов, созданных ИИ, осложняется также возможной предвзятостью в отношении
носителей английского как второго языка, что приводит к более высокому уровню ложных срабатываний в их работах.
По мере дальнейшего развития ИИ всё очевиднее становится потребность в надёжных мерах защиты от дезинформации и
в надлежащем признании участия ИИ в создании контента.
Недостатки нынешних детекторов ИИ подчёркивают необходимость разработки более
точных и надёжных систем детекции. Пока такие системы не появятся, важно с осторожностью подходить к выявлению сгенерированного ИИ контента, учитывая личные издержки ложных обвинений.