Исследователи Netflix представили революционную технологию зелёного экрана на основе ИИ,
которая меняет производство реалистичных визуальных эффектов для кино и
телевидения.
Исследователи Netflix представили революционную технологию зелёного экрана,
работающую на основе ИИ, которая меняет производство реалистичных визуальных эффектов для кино и
телевидения. Получившая название Magenta Green Screen (MGS), она не похожа ни на один из существующих методов. Этот
новый подход обеспечивает более быстрые и точные результаты, позволяя режиссёрам предварительно просматривать
кадры в реальном времени во время съёмок.
Пурпурное свечение для решения старых задач
Технология зелёного экрана давно используется для бесшовного встраивания актёров в
виртуальные или заранее записанные фоны. Однако она сталкивается с такими проблемами, как цветовые несоответствия,
вызванные зелёными бликами, тенями на зелёном экране и
сложностью тонких объектов, таких как пряди волос. Эти технические трудности
требовали значительной ручной корректировки, часто занимавшей часы для доведения одного кадра до совершенства.
В ответ на эти ограничения Netflix разработал технологию Magenta Green Screen
. Используя комбинацию ярких зелёных светодиодов в качестве фона и
направленных вперёд красных и синих светодиодов для освещения актёров, новый метод Netflix создаёт
характерное пурпурное свечение.
Захватывая зелёный канал для фона и красный и синий каналы для
переднего плана, монтажёры могут заменять зелёный канал в реальном времени,
легко помещая актёров в альтернативные сцены и преодолевая такие препятствия, как прозрачные объекты
или пряди волос.
Цветокоррекция с помощью ИИ
Однако небольшим недостатком этого метода является то, что актёры могут выглядеть с пурпурным оттенком
из-за отсутствия зелёного канала. Чтобы решить эту проблему, Netflix использует искусственный
интеллект для восстановления полной цветовой гаммы на переднем плане.
Хотя этот процесс ИИ в настоящее время работает быстро, но не в реальном времени, такие методы,
как аппроксимация зелёного канала путём усреднения красного и синего каналов, позволяют
режиссёрам эффективно контролировать кадры во время съёмок.
Хотя индустрия положительно воспринимает новые достижения, эксперты, такие как Дрю Лахат из компании по производству видео
Geiger Post, предупреждают, что технология Magenta Green Screen
включает несколько сложных этапов, которые могут плохо подходить для стремительного темпа
производства кино и телевидения. Ей придётся конкурировать с другими новыми технологиями,
такими как виртуальные съёмочные павильоны, и убеждать продюсеров в реальных
сценариях.
Технология зелёного экрана имеет богатую историю, восходящую к фильму 1939 года «Волшебник страны Оз
». Однако Magenta Green Screen от Netflix представляет собой многообещающий шаг вперёд,
сочетая инновации на основе ИИ с возможностями композитинга в реальном времени, что позволяет
кинематографистам сосредоточиться на художественном совершенстве и создавать визуально впечатляющие постановки.
Как работает новая технология
Обучая модель ИИ на дополнительных кадрах с объектом переднего плана,
снятым при традиционном белом освещении, исследователи позволяют модели улавливать
ожидаемый внешний вид и эффективно устранять оттенок впоследствии.
Преимущества этой инновационной технологии не ограничиваются скоростью и точностью. В отличие от
традиционных подходов, она не накладывает ограничений на то, что могут носить участники съёмки.
В тестовой сцене актриса изящно носит великолепное зелёное платье
и держит стеклянную бутылку того же оттенка — примечательно, что ни то, ни другое не исчезает при
замене зелёного фона.
Однако у каждой медали есть обратная сторона, и новый подход
порождает ряд новых проблем. Пурпурный оттенок, охватывающий всю съёмочную площадку, может
сбивать с толку команду, затрудняя точную визуализацию и предварительный просмотр сцен на
месте. Кроме того, в настоящее время техника не работает в реальном времени, в отличие от
систем, используемых метеорологами, которые плавно смешиваются с прогнозными картами
во время прямых эфиров.
Тем не менее, изобретательные исследователи полны решимости преодолеть эти препятствия.
Они активно разрабатывают методы, позволяющие выполнять цветокоррекцию в реальном времени, что
облегчило бы предварительный просмотр на площадке. Даже если непосредственные результаты не идеальны для
команды, сделанные компромиссы могут окупиться, если конечный продукт покорит
зрителей ещё большей реалистичностью.