Интерес к генеративным моделям ИИ стремительно вырос благодаря прогрессу в обработке
естественного языка и генерации изображений.
Интерес к генеративным моделям ИИ стремительно вырос благодаря прогрессу в обработке
естественного языка и генерации изображений.Meta, один из ведущих игроков в области исследований ИИ,
представила CM3leon — передовую мультимодальную модель. Мультимодальность означает,
что ИИ способен преобразовывать как текст в изображения, так и изображения в текст.
Уникальный подход CM3leon сочетает решения, заимствованные у текстовых языковых моделей.
Модель Meta будет использовать масштабное предварительное обучение с расширенной выборкой данных и этапы
контролируемой многозадачной тонкой настройки.
Лучшие результаты в генерации изображений
Несмотря на то, что CM3leon обучался с использованием в пять раз меньших вычислительных ресурсов, чем прежние
методы на основе трансформеров, он достигает передовых результатов в генерации
текста в изображения. В частности, модель демонстрирует универсальность авторегрессионных моделей,
сохраняя при этом низкие затраты на обучение и эффективный инференс.
Эта модель на основе токенизации выходит за рамки традиционных подходов к генерации текста в изображения. Она
способна создавать сложные последовательности текста и изображений, обусловленные произвольным содержанием.
В отличие от других моделей, специализирующихся на генерации изображений, крупномасштабная
тонкая настройка CM3leon с помощью многозадачных инструкций значительно улучшает результаты в различных задачах
«зрение — язык», таких как создание подписей к изображениям и визуальные ответы на вопросы.
Этичный подход к сбору данных изображений
Meta объявила об этичном подходе к сбору данных изображений, используя только
лицензированные изображения Shutterstock, чтобы избежать проблем с правами собственности и указанием авторства.
Эта социально ответственная методика выделяет CM3leon среди конкурентов.
При сравнении с широко используемыми бенчмарками CM3leon демонстрирует впечатляющий
показатель FID 4,88, превосходя модель Parti от Google и задавая новый стандарт генерации
текста в изображения. ПоказательFrechet Inception Distance (FID), равный 0,0, означает идеальный
результат. CM3leon демонстрирует способность генерировать сложные составные объекты,
например кактус в горшке в солнцезащитных очках и шляпе.
Остаются вызовы
Хотя потенциал CM3leon несомненен, предстоит решить ряд задач. Как и для любой модели ИИ, возможная предвзятость в данных вызывает опасения, поскольку результаты модели могут отражать
предвзятость, заложенную в обучающих данных.
Кроме того, хотя CM3leon способен генерировать изображения высокого качества, результаты могут меняться в зависимости от сложности подсказок и качества обучающих данных.
Помимо этого, CM3leon по-прежнему требует значительных вычислительных ресурсов, что может
ограничить доступность для небольших организаций и частных лиц. Хотя модель
демонстрирует выдающиеся способности к обобщению, у неё могут быть ограничения при
генерации совершенно нового контента за пределами обучающих данных.
Хотя CM3leon демонстрирует большой потенциал, в настоящее время он доступен только в исследовательских целях.
По мере развития модель может стать прорывным элементом в области генеративного ИИ,
изменив генерацию как изображений, так и текста. Если вы хотите узнать больше об архитектуре CM3leon, вы можетеознакомиться с официальной исследовательской статьёй Meta здесь.