- Захват движения — это техника записи и обработки движения человека или другого объекта,
- Технология захвата движения используется во многих выдающихся анимационных фильмах, таких как «Аватар», «Мстители» и «Властелин колец».
НАШЕ МНЕНИЕ
Технология захвата движения широко используется во многих областях: в кино и анимации, в игровой сфере она позволяет пользователям получать более естественный и интуитивно понятный интерактивный опыт. Она также значительно повышает эффективность производства, снижает затраты и делает анимацию более живой и реалистичной. В эпоху разнообразия досуга и развлечений захват движения — это уникальный и эффективный способ стимулировать развитие индустрии. Кроме того, в области медицины и реабилитации, спортивных тренировок и биомеханических исследований технология захвата движения играет важную роль.
— Iydia Ding, журналист BTW
Захват движения — это техника записи и обработки движения человека или другого объекта, сочетающая методы трассировки изображения и новые компьютерные технологии, что позволяет использовать непрерывные видеофрагменты в качестве основы для анимации без процесса рисования. В последние годы захват движения начал производить фурор в киноиндустрии и телевизионной анимации, а также в видеоиграх. Настоящий прорыв произошёл, когда «трилогия „Властелин колец“» полностью создала персонажа «Голлума» с помощью захвата движения, что произвело революцию в восприятии этой технологии.
Помимо применения в кино, телевизионной анимации и играх, технология захвата движения также используется в виртуальной реальности, человеко-машинных интерфейсах, реабилитационной медицине, определении положения кораблей, медицинской реабилитации, спортивных тренировках ибиомеханических исследованияхи т. д. С развитием науки и технологий в будущем ожидается появление новых направлений расширения.
« Если нам нужно создать 200 минут анимации с помощью захвата движения, нам может понадобиться всего около 2–3 дней записи, вероятно, менее месяца, чтобы получить такой же или даже более реалистичный эффект, чем если бы аниматор создавал движение вручную. »
Kevin Wang, ведущий техник по захвату движения, Photonics Technology Centre, Tencent Interactive Entertainment
Концепции и применение захвата движения
Основные концепции захвата движения
Захват движения берёт своё начало вротоскопии, которая использовалась в первом 2D-анимационном фильме Disney «Белоснежка» и в игре «Принц Персии». Сегодня под захватом движения чаще понимают носимые технологии захвата движения, такие как оптический захват движения и инерциальный захват движения. Специалисты устанавливают на актёров различные датчики. Они отслеживают и записывают движения, чтобы их можно было воспроизводить в реальном времени в виде виртуального «скелета» на экране компьютера.
Использование носимых устройств захвата движения для получения данных о движениях тела актёра позволяет построить точную трёхмерную траекторию движения и широко применяется в военной сфере, развлечениях, спорте, медицине, робототехнике и других областях, являясь важным методом исследования в эргономике и биомеханике.
Читайте также:Meta планирует внедрить генеративный ИИ в игры метавселенной
Викторина
Какую технологию сочетает захват движения?
A) методы трассировки изображения и новые компьютерные технологии
B) технология ISAC (Integrated Sense of Communication)
C) обработка естественного языка (NLP)
D) технология блокчейн и квантовые вычисления
Правильный ответ находится в конце статьи.
История технологии захвата движения
По мере того как концепция «метавселенной» становится всё более популярной, долгосрочная ценность захвата движения для метавселенной также становится очевидной; она находится на одном уровне с технологиями движков, передачи, вычислений и отображения и является важной частью «обширной головоломки» построения базовой инфраструктуры метавселенной.
Технология, похожая на захват движения, впервые появилась в 1915 году, когда аниматор Max Fleischer построил проектор, отображавший содержимое фильма на полупрозрачной сцене. Благодаря этому проектору аниматор мог легко рисовать движения персонажа так, как они будут выглядеть на экране.
В 1983 году Tom Calvert из Université Simon Fraser в Канаде совершил крупный прорыв в области физической механической захватной одежды — технологии, которая позволила увидеть первый механический захват класса. Параллельно MIT представил систему светодиодной «графической марионетки», прототип первых оптических систем захвата движения.
В конце 1990 года съёмки «Властелина колец» впервые включили этапы захвата движения на съёмочной площадке, и Andy Serkis, пионер среди актёров захвата движения, мог взаимодействовать с другими актёрами в роли «Голлума», что способствовало построению персонажа и придавало ему больше плоти и жизни.
Сегодня захват движения является почти стандартом в крупных игровых студиях. Благодаря ему реальные действия и анимированные персонажи синхронизируются, и игровые персонажи выглядят более реалистично и живо. Именно поэтому в играх мы можем видеть боевые сцены кинематографического уровня.
« Она находится на одном уровне с технологиями движков, передачи, вычислений и отображения и является важной частью „обширной головоломки“ построения базовой инфраструктуры метавселенной. »
MetaPost Tencent Metaverse Technology Media
Области применения захвата движения
В последние годы захват движения широко используется в кино- и игровой индустрии, например в таких известных фильмах, как «Аватар», «Планета обезьян: Восстание», «Assassin's Creed», «Detroit: Become Human» и других, где данные захвата движения актёров используются для анимации виртуальных персонажей. Поскольку данные полностью основаны на захвате человеческого тела, реконструкция движений может максимально точно передать позы и двигательные эффекты человеческого тела, сохраняя при этом естественный и плавный вид, поэтому современный захват движения может значительно повысить выразительность виртуальных персонажей.
Фильм «Аватар», вышедший в 2009 году, можно считать пионером успешного сочетания захвата движения и захвата мимики. Режиссёр James Cameron и его команда использовали наголовные камеры для съёмки лица и построили самую большую студию для съёмок и захвата движения, когда-либо созданную.
Производство спецэффектов для кино, телевидения и игр никогда не было раздельным, и кто-то быстро ввёл концепцию захвата движения в игровой мир. Пионером в этой области стала Sega, которая в то время была наравне с Nintendo и Sony в консольной сфере. Кроме того, некоторые группы виртуальных идолов, такие как «Project SEGA», «Aikatsu», также используют эту технологию, сочетая захват движения и 3D-анимацию, чтобы создавать больше возможностей на сцене и обеспечивать обратную связь с фанатами в реальном времени, усиливая ощущение вовлечённости.
Более того, некоторые VR-игры позволяют игрокам становиться членами виртуального мира благодаря захвату движения и общаться с неигровым персонажем (NPC) «по-настоящему».
Кроме того, технология захвата движения широко используется в военной сфере, развлечениях, спорте, медицине, робототехнике и многих других областях и является важным методом исследования в эргономике и биомеханике.
Читайте также:Nintendo заявляет, что не будет использовать генеративный ИИ для создания игр
Носимый захват движения против видеозахвата движения с помощью ИИ
С развитием технологий применение захвата движения становится всё более широким: от анимации до человеко-машинного взаимодействия, дистанционного управления роботами, спортивных тренировок и т. д. — всё это использует захват движения.
В зависимости от сценариев в захвате движения появились различные технические подходы, наиболее распространёнными из которых являются оптический захват движения, инерциальный захват движения и визуальный захват движения.
Технический принцип носимого захвата движения
Носимый захват движения в основном относится к оптическому и инерциальному захвату. Оптический захват отслеживает маркеры на оптическом захватном костюме, синхронизирует данные маркеров с разных камер и использует алгоритмы 3D-реконструкции для восстановления данных о движении различных частей тела; инерциальный захват записывает данные инерциальных датчиков на носимом устройстве, а затем реконструирует трёхмерную траекторию движения с помощью программного обеспечения и преобразует её в скелетную анимацию для анимации виртуального персонажа. Видеозахват движения с помощью ИИ используется для анимации виртуальных персонажей.
Технический принцип видеозахвата движения с помощью ИИ
С развитием глубокого обучения точность монокулярных изображений для таких задач, как обнаружение ключевых точек человека и предсказание позы человека, значительно улучшилась. Кроме того, с публикацией параметрических моделей человека, таких как SMPL, стало возможным предсказывать скелетные позы человека с помощью масок непосредственно по одному изображению.
Видеозахват движения с помощью ИИ заключается в извлечении нескольких кадров из видео, использовании алгоритмов ИИ для отдельного извлечения скелетных поз человека из каждого кадра, а затем их соединении в хронологическом порядке для формирования данных скелетной анимации, которые можно использовать для анимации виртуальных персонажей.
Два типа алгоритмов захвата движения с помощью ИИ
Наиболее распространённые алгоритмы захвата движения с помощью ИИ основаны на параметрических моделях человеческого тела, таких как SMPL/SMPL-X, и делятся в основном на две категории.
Алгоритмы на основе оптимизации: эти алгоритмы предопределяют некоторые целевые функции оптимизации, обычно состоящие из ошибки перепроецирования, априорных членов регуляризации для позы человека и т. д. При предсказании 2D-ключевые точки, такие как положения суставов коленей, локтей, плеч и т. д., обнаруживаются с помощью ручной разметки или алгоритмов ИИ, затем алгоритм оптимизации итеративно находит набор параметров параметрической модели человеческого тела с оптимальными значениями целевых функций для представления скелетной позы человека на текущем изображении. Этот тип алгоритмов представлен SMPLify, SMPLify-X и т. д.
Алгоритмы на основе данных: эти алгоритмы требуют набора обучающих данных, содержащего большое количество изображений и соответствующих данных о скелетной позе, полученных с помощью современных методов захвата движения. На этапе обучения глубокая нейронная сеть обучается напрямую регрессировать к истинным значениям набора данных; на этапе предсказания обученная глубокая нейронная сеть напрямую предсказывает набор параметров параметрической модели человеческого тела по характеристикам изображения. Эти алгоритмы представлены HMR, VIBE, PyMAF и т. д.
Оба типа алгоритмов имеют свои преимущества и недостатки. Алгоритмы на основе оптимизации могут лучше подгонять позы конечностей и других частей тела с большей точностью, но требуют более точных 2D-ключевых точек.
Кроме того, поскольку существует много субоптимальных решений этой задачи оптимизации и она сильно зависит от инициализации, легче подогнать искажённые или неестественные позы человека, даже с учётом априорных ограничений позы. Алгоритмы на основе данных, обученные на большом количестве данных, с меньшей вероятностью генерируют искажённые позы, но обычно дают худшие предсказания на концах конечностей, например на стопе, которые не соответствуют позе на изображении.
В последние годы всё больше алгоритмов используют комбинацию этих двух подходов: сначала алгоритм на основе данных предсказывает позу человеческого тела, которая ближе к изображению, и использует её как инициализацию для алгоритма на основе оптимизации, так что, подгоняя позу для повышения точности, также избегают искажённых или неестественных поз; решение meta-image также использует этот комбинированный алгоритм. Однако если просто объединить два алгоритма, качество захваченных данных скелетной анимации остаётся относительно низким.
Читайте также:Могут ли видеоигры стать самым любимым развлечением в мире?
О захвате мимики
Изначально захват мимики выполнялся так: актёр сидел на стуле, перед ним находилось около 30–40 камер, а на лице размещалось множество маленьких отражающих шариков. Так, например, поступили при создании «Полярного экспресса».
Этот метод требует больших затрат времени, но с развитием технологий теперь существуют наголовные шлемы для захвата мимики. Такой шлем имеет небольшую камеру спереди, которая записывает все выражения лица, после чего их можно синхронизировать с данными о теле, чтобы получить очень хороший эффект захвата движения лица и тела.
В 2019 году Meta анонсировала систему виртуальных человеческих аватаров, которая использовала технологию 3D-захвата движения для воссоздания образа реального человека с помощью VR-устройства, передавая такие детали, как цвет кожи, текстура, волосы, микровыражения и т. д. Meta надеется, что в будущем люди будут встречаться в виртуальной среде, такой же реалистичной, как реальность.
На YouTube, TikTok и других социальных платформах можно найти множество блогеров, использующих технологию захвата мимики для управления виртуальными персонажами с богатой мимикой и движениями; эффект в прямом эфире довольно хорош, и сейчас существует ряд мобильных приложений, способных выполнять довольно точный захват лица с помощью камеры. Поэтому теоретически каждый может иметь несколько аватаров и жить в виртуальном мире совершенно иной жизнью, чем в реальности, благодаря такой технологии.
Правильный ответ: A — методы трассировки изображения и новые компьютерные технологии.