Кризис ИИ из-за истощения данных: как спасти модель от неминуемого коллапса

Технология ChatGPT от OpenAI стала вирусной менее чем за год и уже влияет на способы работы и будущее индустрии.

Технология ChatGPT от OpenAI стала вирусной менее чем за год и уже влияет на способы работы и будущее индустрии. В некоторых крупнейших мировых компаниях почти половина сотрудников уже ежедневно используют такие технологии. Бесчисленные компании инвестировали в сферу ИИ, спеша запустить новые продукты, особенно в интернете, образовании, играх и других растущих секторах.

Хорошо известно, что данные, используемые для обучения больших языковых моделей (LLM) и других трансформерных моделей, лежащих в основе таких продуктов, как ChatGPT, Stable Diffusion и Midjourney, изначально поступали из человеческих источников. К таким источникам относятся книги, статьи, фотографии и другие полностью оригинальные произведения человека.

Размер параметров масштабных моделей постоянно растёт: от миллиардов к десяткам миллиардов, а затем к сотням миллиардов. Вдобавок к этому взрыву количество данных, необходимых для обучения ИИ, растёт экспоненциально. Возьмём, к примеру, GPT от OpenAI: с GPT-1 по GPT-3 размер обучающего набора данных вырос с 4,5 ГБ до 570 ГБ.

Недавно на конференции Data+AI, организованной Databricks, Марк Андриссен, основатель a16z, заявил, что огромные данные, накопленные интернетом за последние два десятилетия, являются важной причиной подъёма новой волны ИИ. Он считает данные отличным материалом для обучения ИИ.

Однако, несмотря на огромное количество полезных и бесполезных данных, оставленных пользователями в сети, эти данные вскоре могут исчерпаться для обучения ИИ.

Статья, опубликованная Epoch — исследовательской и прогнозной организацией в области искусственного интеллекта, — прогнозирует, что качественные текстовые данные будут исчерпаны в период с 2023 по 2027 год.

Хотя исследовательская группа признаёт, что методы анализа имеют серьёзные ограничения, а погрешности модели велики, трудно отрицать, что ИИ потребляет наборы данных с тревожной скоростью.

Недавно исследователи Кембриджского университета, Оксфордского университета, Университета Торонто и других университетов опубликовали статью, в которой подчёркивается, что использование контента, созданного ИИ, для обучения ИИ может привести к коллапсу новых моделей.

Исследователи заключили: «Обучение на данных, сгенерированных другими моделями, приводит к коллапсу модели — процессу деградации, при котором модель со временем забывает истинное базовое распределение данных. Этот процесс неизбежен даже в идеальных условиях длительного обучения».

В чём причина того, что использование «сгенерированных данных» для обучения ИИ вызывает коллапс модели? Существует ли способ это предотвратить?

На данном этапе ИИ всё ещё находится на стадии примитивной имитации человеческого мышления, а его ядро остаётся статистической программой. Исследователи полагают, что обучение ИИ на контенте, созданном ИИ, порождает «ошибку статистической аппроксимации». Действительно, в ходе статистического процесса контент с более высокой вероятностью усиливается сильнее, а контент с более низкой вероятностью постоянно игнорируется, что и является основной причиной коллапса модели.

Это влияет на производительность, надёжность и безопасность модели. Исследователи предупреждают, что коллапс модели — серьёзное явление, требующее внимания разработчиков LLM и пользователей. «Мы считаем, что эта проблема станет одной из главных задач для сообщества машинного обучения в ближайшие годы», — заявили они.

Но не всё потеряно.

Первый подход — изоляция данных. Чтобы противостоять коллапсу модели, исследовательская группа предлагает отделять чистые источники данных, созданные человеком, от контента, сгенерированного ИИ, чтобы избежать загрязнения чистых данных генеративным ИИ (AIGC).

Второй подход — использование синтетических данных. Фактически данные, специально сгенерированные для ИИ, уже широко используются для обучения ИИ. Некоторые практики считают, что нынешние опасения по поводу того, что данные, созданные ИИ, приведут к коллапсу модели, могут быть преувеличены. Поэтому ключевой задачей является создание эффективной системы для подтверждения той части данных, созданных ИИ, которая действительно валидна, и обеспечение обратной связи на основе эффективности обученной модели. Использование OpenAI синтетических данных для обучения моделей уже стало консенсусом в ИИ-индустрии.

В заключение, несмотря на проблему исчерпания человеческих данных, обучение ИИ не лишено решений. Благодаря изоляции данных и использованию синтетических данных проблема коллапса модели может быть эффективно преодолена и обеспечено дальнейшее развитие ИИ.