• Lumiere от Google переосмыслил генерацию видео с помощью ИИ благодаря технологии STUNet, которая ближе к реальности, чем традиционные методы.
  • Lumiereдемонстрирует исключительную производительность и потенциал, бросая вызов существующим ИИ-генераторам видео, а Google также уделяет внимание предотвращению злоупотреблений технологиями.

Google представил своё последнее достижение в области генерации видео с помощью ИИ — новую модель Lumiere. Эта передовая технология использует диффузионную модель Space-Time-U-Net (STUNet) для создания видео, которые ближе к реальности, чем когда-либо.

Разбор технологии

В отличие от традиционных методов, которые собирают сгенерированные ключевые кадры, Lumiere использует другой подход: создаёт базовое изображение, а затем с помощью STUNet аппроксимирует движение объектов в изображении. Этот процесс органично генерирует дополнительные кадры, что даёт реалистичное движение. Для сравнения: Lumiere генерирует впечатляющие 80 кадров, тогда как другие модели, такие как Stable Video Diffusion, создают лишь 25.

Вызов конкурентам

По сравнению с конкурентами, такими как Runway иEmuот Meta, Lumiere демонстрирует более высокую производительность, что делает Google серьёзным игроком в области генерации видео с помощью ИИ. Сравнение с популярной платформой Runway с использованием одинаковых запросов показало способность Lumiere безупречно анимировать реальные сценарии, превосходя ожидания и расширяя границы реализма в ИИ-генерации видео.

Читайте также:Что такое интернет-суды в Китае? ИИ-судьи и блокчейн-доказательства

Расширенные возможности

Приверженность Google развитию ИИ выходит за рамки генерации текста в видео. Lumiere предложит дополнительные функции, включая генерацию изображение-в-видео, стилизованную генерацию, кинемаграфы и инпейнтинг. Эти улучшения позволят пользователям создавать видео в определённых стилях, анимировать выбранные части кадров и изменять цвета или узоры в видео.

Опасения и ответственность

Однако Google признаёт возможность злоупотребления этой мощной технологией. В своей опубликованной статье компания подчёркивает важность разработки инструментов для выявления предвзятости и предотвращения вредоносного использования. Обеспечение безопасной и справедливой среды использования остаётся приоритетом для Google, хотя конкретные методы достижения этой цели не были подробно описаны.

По мере того как Lumiere продолжает развиваться и совершенствоваться, она демонстрирует стремление Google стимулировать инновации в области генерации видео с помощью ИИ. Благодаря превосходной производительности и многообещающему потенциалу Lumiere готова бросить вызов существующим ИИ-генераторам видео и открыть путь к новой эре реалистичного видеоконтента. Путь к реалистичной ИИ-генерации видео сделал значительный шаг вперёд благодаря Lumiere.