How motion capture brings virtual idols to life

• La captura de movimiento se refiere a la técnica de grabar y procesar el movimiento de una persona u otro objeto,
• La tecnología de captura de movimiento se utiliza en una gran cantidad de excelentes películas animadas como Avatar, Los Vengadores y El Señor de los Anillos.

NUESTRA OPINIÓN
La tecnología de captura de movimiento se utiliza ampliamente en muchos campos; en la animación cinematográfica y televisiva y en los videojuegos puede ofrecer a los usuarios una experiencia interactiva más natural e intuitiva. Al mismo tiempo, mejora enormemente la eficiencia de producción, reduce los costos y hace que el efecto de animación sea más vívido y real. En la era del ocio y entretenimiento diversificados, la tecnología de captura de movimiento es una forma única y eficaz de promover el desarrollo de la industria. Además, en el campo del tratamiento médico y la rehabilitación, el entrenamiento deportivo y la investigación biomecánica, la tecnología de captura de movimiento desempeña un papel importante.
— Iydia Ding, reportera de BTW Ver también: Ziggo Group nombra a sus líderes antes de su salida a bolsa en Ámsterdam en 2027.

La captura de movimiento se refiere a la técnica de grabar y procesar el movimiento de una persona u otro objeto, combinando técnicas de trazado de imágenes y nueva tecnología informática, lo que permite utilizar metraje en vivo y continuo como base para la animación sin tener que pasar por el proceso de dibujo. En los últimos años, la captura de movimiento ha comenzado a destacar en las industrias de la animación cinematográfica y televisiva y de los videojuegos. El verdadero avance se produjo cuando “la trilogía de El Señor de los Anillos” creó por completo al personaje de “Gollum” mediante captura de movimiento, revolucionando la forma en que la gente veía la tecnología.

Además de las aplicaciones en animación cinematográfica y televisiva y videojuegos, la tecnología de captura de movimiento también se utiliza en realidad virtual, interacción hombre-máquina, medicina de rehabilitación, detección de postura en barcos, entrenamiento deportivo e investigación biomecánica , etc., y con el continuo desarrollo de la ciencia y la tecnología, seguramente habrá más direcciones de desarrollo ampliables en el futuro.

“Si tuviéramos que hacer 200 minutos de animación con captura de movimiento, puede que solo necesitemos unos 2 o 3 días de grabación, probablemente menos de 1 mes, para lograr el mismo efecto, o incluso más realista, que si el animador hubiera hecho el movimiento manualmente.” Ver también: Alejandro Estua.

Kevin Wang, Técnico Líder de Movimiento, Centro de Tecnología Fotónica, Tencent Interactive Entertainment

Conceptos y aplicaciones de la captura de movimiento

Conceptos básicos de la captura de movimiento Ver también: Alejandro Manzo.

La captura de movimiento se originó a partir del rotoscopado, que se utilizó en la primera película animada en 2D de Disney “Blancanieves” y en el juego “Prince of Persia”. La captura de movimiento actual se refiere más a tecnologías de captura de movimiento portátiles, como la captura de movimiento óptica y la captura de movimiento inercial. Los especialistas en captura de movimiento instalan varios sensores en los actores. Estos rastrean y registran sus movimientos para que puedan ser mapeados en tiempo real como un «esqueleto» virtual en una pantalla de computadora.

El uso de equipos portátiles de captura de movimiento para obtener los datos de movimiento del cuerpo del actor permite construir una trayectoria de movimiento tridimensional precisa, y se utiliza ampliamente en los campos militar, del entretenimiento, deportivo, médico, robótico y otros, siendo un método de investigación importante en ergonomía y biomecánica. Ver también: Alejandro Hernandez.

Lea también: Meta planea llevar la IA generativa a los juegos del metaverso

Prueba rápida

¿Con qué tecnología se combina la captura de movimiento? Ver también: Alejandro Garza.

A) técnicas de trazado de imágenes y nueva tecnología informática Ver también: Alejandro Guerrero.

B) tecnología de Sentido de Comunicación Integrado (ISAC) Ver también: Alec Gramont.

C) procesamiento del lenguaje natural (PLN) Ver también: La chipflación de la IA estrangula a los fabricantes de dispositivos más allá de los centros de datos.

D) tecnología blockchain y computación cuántica

La respuesta correcta está al final del artículo.

Historia de la tecnología de captura de movimiento

A medida que el concepto de “metaverso” se vuelve más popular, el valor a largo plazo de la captura de movimiento para el metaverso también se está haciendo evidente; está al mismo nivel que las tecnologías de motor, transmisión, computación y visualización, y es una pieza importante en el “enorme rompecabezas” de la construcción subyacente del metaverso.

Una tecnología similar a la captura de movimiento apareció por primera vez en 1915, cuando el animador Max Fleischer construyó un proyector que mostraba el contenido de una película en un escenario translúcido. Con este proyector, el animador podía dibujar fácilmente los movimientos del personaje tal como aparecerían en la pantalla.

En 1983, Tom Calvert, de la Universidad Simon Fraser de Canadá, logró un gran avance en la ropa de captura mecánica física, una tecnología que permitió ver la primera captura de clase mecánica. Al mismo tiempo, el MIT también presentó un sistema de “marioneta gráfica” basado en LED, que fue el prototipo del primer sistema de captura de movimiento óptico.

A finales de 1990, el rodaje de “El Señor de los Anillos” fue la primera vez que se llevaron los pasos de filmación de captura de movimiento al set de grabación, y Andy Serkis, el pionero actor de captura de movimiento, pudo interactuar con otros actores como “Gollum”, lo que fue más propicio para la construcción del personaje y lo hizo más real y vivo.

Hoy en día, la captura de movimiento es casi un estándar en los grandes estudios de videojuegos. Con la captura de movimiento, la acción en vivo y los personajes animados se sincronizan, y los personajes del juego parecen más realistas y vívidos. Por eso podemos ver actuaciones de acción de nivel cinematográfico en los juegos.

“Está al mismo nivel que las tecnologías de motor, transmisión, computación y visualización, y es una pieza importante del ‘enorme rompecabezas’ en la construcción subyacente del metaverso”.

MetaPost Tencent Metaverse Technology Media

Áreas de aplicación de la captura de movimiento

En los últimos años, la tecnología de captura de movimiento se ha utilizado ampliamente en la industria del cine y los videojuegos, como en las famosas películas “Avatar”, “El origen del planeta de los simios”, “Assassin’s Creed”, “Detroit: Become Human”, etc., todas las cuales utilizan datos de captura de movimiento de actores para impulsar personajes virtuales.

Dado que los datos de captura de movimiento se basan completamente en la recopilación del cuerpo humano, la reconstrucción de la acción puede restaurar al máximo la postura y los efectos de movimiento del cuerpo humano, manteniendo un movimiento natural y fluido, de modo que la tecnología moderna de captura de movimiento puede mejorar enormemente la capacidad expresiva de los personajes virtuales.

La película Avatar, estrenada en 2009, puede considerarse líder en la exitosa combinación de captura de movimiento y captura de expresión. El director James Cameron y su equipo utilizaron cámaras de captura facial montadas en la cabeza y construyeron el estudio de filmación y captura de movimiento más grande jamás creado.

La producción de efectos especiales para cine y televisión y los videojuegos nunca han estado separados, y pronto alguien llevó el concepto de captura de movimiento al mundo de los videojuegos. El más pionero en este campo fue Sega, que en ese momento competía codo a codo con Nintendo y Sony en el ámbito de las consolas. Además, hay algunos grupos de ídolos virtuales, como “Project SEGA”, “Aikatsu”, que también utilizan esta tecnología, combinando la captura de movimiento y la animación 3D para crear más posibilidades en el escenario, ofreciendo retroalimentación oportuna a la interacción de los fans y aumentando la sensación de experiencia.

Es más, algunos juegos de realidad virtual permiten a los jugadores convertirse en miembros del mundo virtual a través de la tecnología de captura de movimiento, y comunicarse con personajes no jugadores (PNJ) en un “sentido real”.

Además, la tecnología de captura de movimiento se utiliza ampliamente en los campos militar, del entretenimiento, deportivo, médico, robótico y muchos otros, y es un método de investigación importante en la investigación relacionada con la ergonomía y la biomecánica.

Lea también: Nintendo dice que no usará IA generativa para hacer juegos

Captura de movimiento portátil vs Captura de movimiento por video con IA

Con la madurez de la tecnología, la aplicación de la captura de movimiento se ha vuelto cada vez más amplia, desde la animación, la interacción persona-computadora, hasta el control remoto de robots, el entrenamiento deportivo, etc., todos utilizan la tecnología de captura de movimiento.

Ante diferentes escenarios, la tecnología de captura de movimiento también ha presentado una variedad de rutas técnicas, como la captura de movimiento óptica, la captura de movimiento inercial y la captura de movimiento visual.

Principio técnico de la captura de movimiento portátil

La captura de movimiento portátil se refiere principalmente a la captura de movimiento óptica y la captura de movimiento inercial.

La captura de movimiento óptica se realiza mediante el seguimiento de marcadores en el traje de captura de movimiento óptico, sincronizando los datos de marcado bajo la cámara desde diferentes puntos de vista, utilizando algoritmos de reconstrucción 3D para reconstruir los datos de movimiento de diferentes partes del cuerpo humano; y la captura de movimiento inercial se realiza mediante la grabación de sensores inerciales en el equipo portátil para obtener los datos de movimiento, que finalmente se reconstruyen a través del software de la trayectoria de movimiento tridimensional y se convierten en animación esquelética, para así impulsar al

personaje virtual.

La captura de movimiento por video con IA se utiliza para impulsar personajes virtuales.

Principio técnico de la captura de movimiento por video con IA

Con el desarrollo del aprendizaje profundo, la precisión de las imágenes monoculares para tareas como la detección de puntos clave humanos y la predicción de posturas humanas ha mejorado enormemente. Mientras tanto, con la publicación de modelos humanos paramétricos como SMPL, se ha vuelto posible predecir poses esqueléticas humanas con máscaras directamente a partir de una sola imagen.

La captura de movimiento por video con IA consiste en extraer múltiples imágenes de un solo fotograma del video, usar algoritmos de IA para extraer poses esqueléticas humanas de diferentes imágenes de fotogramas por separado, y conectar las poses esqueléticas humanas en orden cronológico para formar datos de animación esquelética, que pueden usarse para impulsar personajes virtuales.

Dos tipos de algoritmos para la captura de movimiento con IA

Los algoritmos principales de captura de movimiento con IA se basan en modelos paramétricos del cuerpo humano, como SMPL/SMPL-X, que se dividen principalmente en dos categorías.

Algoritmos basados en optimización: Estos algoritmos predefinen algunas funciones objetivas de optimización, que generalmente se componen del error de reproyección, términos regulares a priori para la postura humana, etc. En la predicción, los puntos clave 2D, como las posiciones de las articulaciones de las rodillas, codos, hombros, etc., se detectan mediante anotación manual o algoritmos de IA, y luego el algoritmo de optimización encuentra iterativamente un conjunto de parámetros del modelo paramétrico del cuerpo humano con valores óptimos de las funciones objetivas para representar las poses del esqueleto humano en la imagen actual.

Parámetros para representar la pose del esqueleto humano en la imagen actual, este tipo de algoritmos está representado por SMPLify, SMPLify-X, etc.

Algoritmos basados en datos: estos algoritmos requieren un conjunto de datos de entrenamiento que contenga una gran cantidad de imágenes y los correspondientes datos de pose esquelética obtenidos mediante técnicas modernas de captura de movimiento, y en la fase de entrenamiento, se entrena una red neuronal profunda para regresar directamente a la verdad fundamental del conjunto de datos de entrenamiento; en la fase de predicción, la red neuronal profunda entrenada predice directamente un conjunto de parámetros del modelo paramétrico del cuerpo humano a partir de las características de la imagen. están representados por HMR, VIBE, PyMAF, etc.

Estos dos tipos de algoritmos tienen sus propias ventajas y desventajas. Los algoritmos basados en optimización pueden ajustar mejor las poses de las extremidades y otras partes del cuerpo con mayor precisión, pero requieren puntos clave 2D más precisos.

Además, debido a que hay muchas soluciones subóptimas para este problema de optimización y está muy influenciado por la inicialización, es más fácil ajustar poses humanas distorsionadas o poco naturales incluso con las restricciones a priori de la postura humana. Los algoritmos basados en datos, con redes neuronales profundas entrenadas a partir de una gran cantidad de datos, son menos propensos a generar poses distorsionadas, pero generalmente tienen predicciones más pobres en los extremos de las extremidades, como el pie, que no coinciden con la pose en la imagen.

En los últimos años, cada vez más algoritmos utilizan la combinación de ambos. Primero, el algoritmo basado en datos predice la postura del cuerpo humano que se acerca más a la imagen, y la utiliza como inicialización del algoritmo basado en optimización, de modo que al ajustar la postura para mejorar la precisión, también evita poses corporales distorsionadas o poco naturales. La solución meta-image también adopta este algoritmo basado en combinación. Sin embargo, si simplemente combinamos los dos algoritmos, la calidad de los datos de animación esquelética capturados sigue siendo relativamente baja.

Lea también: ¿Podrían los videojuegos convertirse en el entretenimiento favorito del mundo?

Algo sobre la captura de movimiento facial

En los primeros días, la captura de movimiento facial se hacía sentando al actor en una silla con unas 30 o 40 cámaras delante de él, y se colocaban muchas pequeñas bolas reflectantes en la cara. Así es como se hizo, por ejemplo, en Arctic Express.

Este es un método que consume mucho tiempo, y a medida que los tiempos cambian y la tecnología crece, ahora existen los llamados cascos montados en la cabeza para hacer captura de movimiento facial. Este casco tiene una pequeña cámara en la parte delantera que graba todas las expresiones de la cara, después de lo cual podemos sincronizar con los datos corporales para lograr un efecto muy bueno de captura de movimiento facial y corporal.

En 2019, Meta anunció su sistema de avatar humano virtual, que presentaba tecnología de captura de movimiento 3D para recrear la imagen de una persona real a través de un dispositivo de realidad virtual, renderizando detalles como el color de la piel, la textura, el cabello, las microexpresiones, etc. Meta espera que en el futuro, las personas se reúnan en entornos virtuales tan reales como en la realidad.

En YouTube, TikTok y otras plataformas de redes sociales, no faltan los bloggers que utilizan tecnología de captura de movimiento facial, controlando algunos personajes virtuales para hacer expresiones y movimientos ricos; el efecto de la transmisión en vivo es bastante bueno, y ahora hay varias aplicaciones móviles que han podido hacer a través de la cámara una captura de movimiento facial bastante precisa. Así que, en teoría, todos pueden tener múltiples avatares y vivir una vida en el mundo virtual completamente diferente de la realidad a través de este tipo de tecnología.

La respuesta correcta es A: técnicas de trazado de imágenes y nueva tecnología informática.