How motion capture brings virtual idols to life

• La capture de mouvement désigne la technique d'enregistrement et de traitement du mouvement d'une personne ou d'un autre objet,
• La technologie de capture de mouvement est utilisée dans un grand nombre de films d'animation remarquables tels qu'Avatar, Les Vengeurs et Le Seigneur des Anneaux.

NOTRE AVIS
La technologie de capture de mouvement est largement utilisée dans de nombreux domaines: dans le cinéma et l'animation, le domaine du jeu peut offrir aux utilisateurs une expérience interactive plus naturelle et intuitive. Elle améliore également considérablement l'efficacité de la production, réduit les coûts et rend l'effet d'animation plus vivant et réel. À l'ère de la diversification des loisirs et du divertissement, la capture de mouvement est un moyen unique et efficace de promouvoir le développement de l'industrie. De plus, dans les domaines du traitement médical et de la rééducation, de l'entraînement sportif et de la recherche biomécanique, la technologie de capture de mouvement joue un rôle important.
— Iydia Ding, journaliste BTW Voir aussi: Ziggo Group nomme ses dirigeants avant l'introduction en Bourse à Amsterdam en 2027.

La capture de mouvement désigne la technique d'enregistrement et de traitement du mouvement d'une personne ou d'un autre objet, combinant des techniques de traçage d'image et de nouvelles technologies informatiques, permettant d'utiliser des séquences filmées continues comme base pour l'animation sans passer par le processus de dessin. Ces dernières années, la capture de mouvement a commencé à faire sensation dans les industries du cinéma et de l'animation télévisée, ainsi que dans le jeu vidéo. La véritable percée est survenue lorsque « la trilogie du Seigneur des Anneaux » a entièrement créé le personnage de « Gollum » grâce à la capture de mouvement, révolutionnant la perception de cette technologie.

En plus des applications dans le cinéma et l'animation télévisée et les jeux, la technologie de capture de mouvement est également utilisée en réalité virtuelle, effets homme-machine, médecine de rééducation, détection de la posture des navires, rééducation médicale, entraînement sportif et recherche biomécanique, etc., et avec le développement continu de la science et de la technologie, il devrait y avoir à l'avenir davantage de directions de développement extensibles.

« Si nous devons réaliser 200 minutes d'animation avec la capture de mouvement, nous n'avons peut-être besoin que d'environ 2 à 3 jours d'enregistrement, probablement moins d'un mois, pour obtenir le même effet, voire plus réaliste, que si l'animateur avait créé le mouvement manuellement. » Voir aussi: Alejandro Estua.

Kevin Wang, technicien principal en capture de mouvement, Photonics Technology Centre, Tencent Interactive Entertainment

Concepts et applications de la capture de mouvement

Concepts de base de la capture de mouvement Voir aussi: Alejandro Manzo.

La capture de mouvement trouve son origine dans la rotoscopie, qui fut utilisée dans le premier film d'animation 2D de Disney « Blanche-Neige » et le jeu « Prince of Persia ». Aujourd'hui, la capture de mouvement fait davantage référence aux technologies de capture de mouvement portables, telles que la capture de mouvement optique et la capture de mouvement inertielle. Les spécialistes installent divers capteurs sur les acteurs. Ceux-ci suivent et enregistrent leurs mouvements afin qu'ils puissent être reproduits en temps réel sous forme d'un « squelette » virtuel sur un écran d'ordinateur.

L'utilisation d'équipements de capture de mouvement portables pour obtenir les données de mouvement du corps de l'acteur permet de construire une trajectoire de mouvement tridimensionnelle précise, et est largement utilisée dans les domaines militaire, du divertissement, du sport, de la médecine, de la robotique et autres, constituant une méthode de recherche importante en ergonomie et en biomécanique. Voir aussi: Alejandro Hernandez.

Lire aussi: Meta prévoit d'apporter l'IA générative aux jeux du métavers

Quiz

Quelle technologie la capture de mouvement combine-t-elle ? Voir aussi: Alejandro Garza.

A) techniques de traçage d'image et nouvelle technologie informatique Voir aussi: Alejandro Guerrero.

B) technologie ISAC (Integrated Sense of Communication) Voir aussi: Alec Gramont.

C) traitement du langage naturel (NLP) Voir aussi: La chipflation de l'IA met sous pression les fabricants d'appareils au-delà des centres de données.

D) technologie blockchain et informatique quantique

La réponse correcte se trouve à la fin de l'article.

Historique de la technologie de capture de mouvement

À mesure que le concept de « métavers » devient plus populaire, la valeur à long terme de la capture de mouvement pour le métavers devient également claire; elle se situe au même niveau que les technologies de moteur, de transmission, de calcul et d'affichage, et constitue une pièce importante du « vaste puzzle » de la construction sous-jacente du métavers.

Une technologie similaire à la capture de mouvement est apparue pour la première fois en 1915, lorsque l'animateur Max Fleischer a construit un projecteur qui affichait le contenu d'un film sur une scène translucide. Grâce à ce projecteur, l'animateur pouvait facilement dessiner les mouvements du personnage tels qu'ils apparaîtraient à l'écran.

En 1983, Tom Calvert de l'Université Simon Fraser au Canada a réalisé une percée majeure dans les vêtements de capture mécanique physique, une technologie qui a permis de voir la première capture de classe mécanique. Parallèlement, le MIT a également présenté un système de « marionnette graphique » à LED, prototype des premiers systèmes de capture de mouvement optique.

À la fin de 1990, le tournage du « Seigneur des Anneaux » a été la première fois à intégrer les étapes de capture de mouvement sur le plateau de tournage, et Andy Serkis, le pionnier des acteurs de capture de mouvement, pouvait interagir avec les autres acteurs en tant que « Gollum », ce qui était plus propice à la construction du personnage et lui donnait plus de chair et de vie.

Aujourd'hui, la capture de mouvement est quasiment la norme dans les grands studios de jeux. Grâce à elle, l'action réelle et les personnages animés sont synchronisés, et les personnages de jeu apparaissent plus réalistes et vivants. C'est pourquoi nous pouvons assister à des performances d'action de niveau cinématographique dans les jeux.

« Elle se situe au même niveau que les technologies de moteur, de transmission, de calcul et d'affichage, et constitue une pièce importante du “vaste puzzle” de la construction sous-jacente du métavers. »

MetaPost Tencent Metaverse Technology Media

Domaines d'application de la capture de mouvement

Ces dernières années, la capture de mouvement a été largement utilisée dans l'industrie du cinéma et du jeu, comme dans les célèbres films « Avatar », « La Planète des singes: Les Origines », « Assassin's Creed », « Detroit: Become Human », etc., où les données de capture de mouvement des acteurs sont utilisées pour animer des personnages virtuels.

Les données étant entièrement basées sur la capture du corps humain, la reconstruction du mouvement peut restituer au maximum la posture et les effets de mouvement du corps humain, tout en conservant un aspect naturel et fluide, de sorte que la capture de mouvement moderne puisse grandement améliorer la puissance expressive des personnages virtuels.

Le film Avatar, sorti en 2009, peut être considéré comme un pionnier de la combinaison réussie de la capture de mouvement et de la capture d'expressions faciales. Le réalisateur James Cameron et son équipe ont utilisé des caméras faciales montées sur la tête et ont construit le plus grand studio de tournage et de capture de mouvement jamais réalisé.

La production d'effets spéciaux pour le cinéma et la télévision et le jeu n'ont jamais été séparés, et quelqu'un a rapidement introduit le concept de capture de mouvement dans le monde du jeu. Le plus pionnier dans ce domaine fut Sega, qui à l'époque était à égalité avec Nintendo et Sony dans le domaine des consoles. De plus, certains groupes d'idoles virtuelles, tels que « Project SEGA », « Aikatsu », utilisent également cette technologie, combinant capture de mouvement et animation 3D pour créer plus de possibilités sur scène, en fournissant un retour en temps réel sur les interactions des fans, augmentant ainsi le sentiment d'expérience.

Qui plus est, certains jeux VR permettent aux joueurs de devenir un membre du monde virtuel grâce à la capture de mouvement, et d'avoir une communication avec un personnage non-joueur (PNJ) dans un « sens réel ».

De plus, la technologie de capture de mouvement est largement utilisée dans les domaines militaire, du divertissement, du sport, de la médecine, de la robotique et bien d'autres, et constitue une méthode de recherche importante en ergonomie et en biomécanique.

Lire aussi: Nintendo déclare qu'il n'utilisera pas l'IA générative pour créer des jeux

Capture de mouvement portable vs capture de mouvement vidéo par IA

Avec la maturité de la technologie, l'application de la capture de mouvement est devenue de plus en plus vaste, de l'animation à l'interaction homme-machine, en passant par le contrôle à distance de robots, l'entraînement sportif, etc., tous utilisent la capture de mouvement.

Face à différents scénarios, la capture de mouvement a également vu apparaître diverses voies techniques, les plus courantes étant la capture de mouvement optique, la capture de mouvement inertielle et la capture de mouvement visuelle.

Principe technique de la capture de mouvement portable

La capture de mouvement portable fait principalement référence à la capture optique et inertielle. La capture optique suit les marqueurs sur la combinaison de capture optique, synchronise les données de marquage sous différentes caméras, et utilise des algorithmes de reconstruction 3D pour reconstruire les données de mouvement des différentes parties du corps humain; la capture inertielle enregistre les données des capteurs inertiels sur l'équipement portable, puis reconstruit la trajectoire de mouvement tridimensionnelle via un logiciel et la convertit en animation squelettique, afin d'animer le personnage virtuel.

La capture de mouvement vidéo par IA est utilisée pour animer les personnages virtuels.

Principe technique de la capture de mouvement vidéo par IA

Avec le développement de l'apprentissage profond, la précision des images monoculaires pour des tâches telles que la détection des points clés humains et la prédiction de la posture humaine s'est considérablement améliorée. Parallèlement, avec la publication de modèles humains paramétriques tels que SMPL, il est devenu possible de prédire les poses squelettiques humaines avec des masques directement à partir d'une seule image.

La capture de mouvement vidéo par IA consiste à extraire plusieurs images à une seule image de la vidéo, à utiliser des algorithmes d'IA pour extraire les poses squelettiques humaines de différentes images séparément, puis à relier ces poses dans l'ordre chronologique pour former des données d'animation squelettique, utilisables pour animer des personnages virtuels.

Deux types d'algorithmes pour la capture de mouvement par IA

Les algorithmes de capture de mouvement par IA les plus répandus sont basés sur des modèles de corps humain paramétriques, tels que SMPL/SMPL-X, et se divisent principalement en deux catégories.

Algorithmes basés sur l'optimisation: ces algorithmes prédéfinissent certaines fonctions objectifs d'optimisation, généralement composées de l'erreur de reprojection, de termes de régularisation a priori pour la posture humaine, etc.

Lors de la prédiction, les points clés 2D, comme les positions des articulations des genoux, coudes, épaules, etc., sont détectés par annotation manuelle ou par des algorithmes d'IA, puis l'algorithme d'optimisation trouve de manière itérative un ensemble de paramètres du modèle de corps humain paramétrique avec des valeurs optimales des fonctions objectifs pour représenter la pose squelettique humaine dans l'image actuelle. Ce type d'algorithmes est représenté par SMPLify, SMPLify-X, etc.

Algorithmes basés sur les données: ces algorithmes nécessitent un ensemble de données d'entraînement contenant un grand nombre d'images et les données de pose squelettique correspondantes obtenues par des techniques modernes de capture de mouvement. Pendant la phase d'entraînement, un réseau neuronal profond est entraîné pour régresser directement vers la vérité terrain de l'ensemble de données; pendant la phase de prédiction, le réseau neuronal profond entraîné prédit directement un ensemble de paramètres du modèle de corps humain paramétrique à partir des caractéristiques de l'image.

Ces algorithmes sont représentés par HMR, VIBE, PyMAF, etc.

Ces deux types d'algorithmes ont leurs avantages et inconvénients. Les algorithmes basés sur l'optimisation peuvent mieux ajuster les poses des extrémités des membres et d'autres parties du corps avec une plus grande précision, mais nécessitent des points clés 2D plus précis.

De plus, comme il existe de nombreuses solutions sous-optimales à ce problème d'optimisation et qu'il est fortement influencé par l'initialisation, il est plus facile d'ajuster des poses humaines déformées ou non naturelles même avec les contraintes a priori de la posture humaine. Les algorithmes basés sur les données, entraînés à partir d'une grande quantité de données, sont moins susceptibles de générer des poses déformées, mais ont généralement des prédictions plus mauvaises à l'extrémité du membre, comme le pied, qui ne correspondent pas à la pose dans l'image.

Ces dernières années, de plus en plus d'algorithmes utilisent la combinaison des deux: d'abord, l'algorithme basé sur les données prédit la pose du corps humain qui est plus proche de l'image, et l'utilise comme initialisation de l'algorithme basé sur l'optimisation, de sorte qu'en ajustant la pose pour améliorer la précision, on évite également les poses humaines déformées ou non naturelles; la solution méta-image adopte également cet algorithme combiné. Cependant, si l'on combine simplement les deux algorithmes, la qualité des données d'animation squelettique capturées reste relativement faible.

Lire aussi: Les jeux vidéo pourraient-ils devenir le divertissement préféré au monde ?

À propos de la capture de mouvement faciale

À l'origine, la capture de mouvement faciale se faisait en faisant asseoir l'acteur sur une chaise avec environ 30 ou 40 caméras devant lui, et de nombreuses petites billes réfléchissantes étaient placées sur le visage. C'est ainsi que le Pôle Express a procédé, par exemple.

C'est une méthode qui fait perdre beaucoup de temps, et avec l'évolution des temps et de la technologie, il existe désormais des casques montés sur la tête pour effectuer la capture faciale. Ce casque possède une petite caméra à l'avant qui enregistre toutes les expressions du visage, après quoi on peut synchroniser avec les données corporelles pour obtenir un très bon effet de capture de mouvement du visage et du corps.

En 2019, Meta a annoncé son système d'avatar humain virtuel, qui utilisait la technologie de capture de mouvement 3D pour recréer l'image d'une personne réelle via un appareil VR, en rendant des détails tels que la couleur de peau, la texture, les cheveux, les micro-expressions, etc. Meta espère qu'à l'avenir, les gens se rencontreront dans des environnements virtuels aussi réels que la réalité.

Sur Youtube, TikTok et d'autres plateformes de médias sociaux, on trouve de nombreux blogueurs utilisant la technologie de capture de mouvement faciale pour contrôler des personnages virtuels avec des expressions et des mouvements riches; l'effet en direct est plutôt bon, et il existe désormais un certain nombre d'applications mobiles capables de réaliser une capture faciale assez précise via la caméra. Donc, théoriquement, tout le monde peut avoir plusieurs avatars et vivre une vie dans le monde virtuel complètement différente de la réalité grâce à ce type de technologie.

La bonne réponse est A: techniques de traçage d'image et nouvelle technologie informatique.