• Follow-Your-Click берёт изображения с простыми текстовыми подсказками и превращает их в короткие видеоклипы одним кликом
  • Tencent работал над этим вместе с исследователями из университетов Гонконга и Пекина на фоне растущего ажиотажа вокруг генерации видео с помощью ИИ

НАША ОЦЕНКА
В отличие от ChatGPT, Follow-Your-Click от Tencent объединяет изображения с простыми текстовыми подсказками, которые можно превращать в короткие видеоклипы одним кликом.
Тогда как другие модели требуют от пользователей подробного описания того, как и где двигать изображение, Follow-Your-Click позволяет точнее сосредоточиться на отдельных элементах изображения.
— Jennifer YU, корреспондент BTW

Китайский интернет-гигант Tencent Holdings в пятницу представил модель искусственного интеллекта (ИИ) для преобразования изображений в видео совместно с университетскими партнёрами.

Follow-Your-Click

Инструмент анимации изображений Follow-Your-Click был опубликован на GitHub — сайте Microsoft для открытого кода — на фоне растущего бума вокруг инструментов генерации контента, таких как ChatGPT от OpenAI.

Проект создан в сотрудничестве команды Hunyuan из Tencent, Гонконгского университета науки и технологий и Университета Цинхуа, одного из двух ведущих университетов материкового Китая в Пекине.

Читайте также:Игровой исход ByteDance: переговоры с Tencent перекраивают индустрию

Возможности

Follow-Your-Click позволяет пользователям кликать по определённым частям изображения и вводить простую текстовую подсказку о том, как они хотят привести его в движение, превращая статичное изображение в короткое анимированное видео.

Tencent сообщил, что опубликует полный код модели в апреле, но демо уже доступно на GitHub.

В демонстрации исследователи показали некоторые возможности: например, изображение девочки, стоящей на улице, с простой подсказкой из одного слова «гроза» превратилось в анимацию с молниями на заднем плане.

Согласно академической статье исследователей из трёх организаций, Follow-Your-Click призван решить проблему других моделей преобразования изображений в видео на рынке, которые склонны двигать всю сцену целиком, а не сосредоточиваться на конкретных объектах на изображении.

«Наша система обеспечивает более простое, но точное управление для пользователя и лучшие результаты генерации, чем предыдущие методы», — заявили исследователи в статье, опубликованной в среду.