Wie Motion Capture virtuellen Idolen Leben einhaucht

• Motion Capture bezeichnet die Technik zur Aufzeichnung und Verarbeitung der Bewegungen einer Person oder eines anderen Objekts.
• Die Motion-Capture-Technologie wird in vielen bekannten Animationsfilmen eingesetzt, wie Avatar, The Avengers und Der Herr der Ringe.

UNSERE MEINUNG
Die Motion-Capture-Technologie wird in vielen Bereichen eingesetzt: Im Kino und in der Animation kann der Spielbereich den Nutzern ein natürlicheres und intuitiveres interaktives Erlebnis bieten. Sie verbessert auch die Produktionseffizienz erheblich, senkt Kosten und macht die Animation lebendiger und realistischer. Im Zeitalter der Diversifizierung von Freizeit und Unterhaltung ist Motion Capture ein einzigartiges und effektives Mittel zur Förderung der Branchenentwicklung. Darüber hinaus spielt die Motion-Capture-Technologie in den Bereichen medizinische Behandlung und Rehabilitation, Sporttraining und biomechanische Forschung eine wichtige Rolle.
— Iydia Ding, BTW-Journalistin

Motion Capture bezeichnet die Technik zur Aufzeichnung und Verarbeitung der Bewegung einer Person oder eines anderen Objekts, die Bildverfolgungstechniken und neue Computertechnologien kombiniert und es ermöglicht, kontinuierlich gefilmte Sequenzen als Grundlage für Animationen zu verwenden, ohne den Zeichenprozess durchlaufen zu müssen. In den letzten Jahren hat Motion Capture in der Film- und Fernsehanimationsindustrie sowie in der Videospielbranche für Furore gesorgt.

Der eigentliche Durchbruch gelang, als „Der Herr der Ringe“-Trilogie die Figur „Gollum“ vollständig durch Motion Capture erschuf und die Wahrnehmung dieser Technologie revolutionierte.

Neben den Anwendungen in Film, Fernsehanimation und Spielen wird die Motion-Capture-Technologie auch in der virtuellen Realität, bei Mensch-Maschine-Effekten, in der Rehabilitationsmedizin, bei der Schiffshaltungserkennung, im medizinischen Rehabilitationstraining, im Sporttraining und in der biomechanischen Forschung eingesetzt, und mit der kontinuierlichen Entwicklung von Wissenschaft und Technologie sind in Zukunft weitere erweiterbare Entwicklungsrichtungen zu erwarten.

„Wenn wir 200 Minuten Animation mit Motion Capture erstellen müssen, brauchen wir vielleicht nur etwa 2 bis 3 Tage Aufnahme, wahrscheinlich weniger als einen Monat, um den gleichen oder sogar realistischeren Effekt zu erzielen, als wenn der Animateur die Bewegung manuell erstellt hätte.“

Kevin Wang, leitender Motion-Capture-Techniker, Photonics Technology Centre, Tencent Interactive Entertainment

Konzepte und Anwendungen von Motion Capture

Grundkonzepte von Motion Capture

Motion Capture hat seinen Ursprung in der Rotoskopie, die im ersten 2D-Animationsfilm von Disney, „Schneewittchen“, und im Spiel „Prince of Persia“ verwendet wurde. Heute bezieht sich Motion Capture eher auf tragbare Motion-Capture-Technologien wie optische und inertiale Motion Capture. Die Spezialisten installieren verschiedene Sensoren an den Schauspielern. Diese verfolgen und zeichnen ihre Bewegungen auf, sodass sie in Echtzeit als virtuelles „Skelett“ auf einem Computerbildschirm reproduziert werden können.

Die Verwendung tragbarer Motion-Capture-Geräte zur Erfassung der Bewegungsdaten des Schauspielerkörpers ermöglicht die Konstruktion einer präzisen dreidimensionalen Bewegungsspur und wird häufig in den Bereichen Militär, Unterhaltung, Sport, Medizin, Robotik und anderen eingesetzt und stellt eine wichtige Forschungsmethode in der Ergonomie und Biomechanik dar.

Lesen Sie auch:Meta plant, generative KI in Metaverse-Spiele zu bringen

Quiz

Welche Technologie kombiniert Motion Capture?

A) Bildverfolgungstechniken und neue Computertechnologie

B) ISAC-Technologie (Integrated Sense of Communication)

C) Natürliche Sprachverarbeitung (NLP)

D) Blockchain-Technologie und Quantencomputing

Die richtige Antwort finden Sie am Ende des Artikels.

Geschichte der Motion-Capture-Technologie

Da das Konzept des „Metaversums“ immer beliebter wird, wird auch der langfristige Wert von Motion Capture für das Metaversum deutlich: Es steht auf einer Stufe mit Motor-, Übertragungs-, Rechen- und Anzeigetechnologien und ist ein wichtiges Teil des „großen Puzzles“ des zugrunde liegenden Aufbaus des Metaversums.

Eine ähnliche Technologie wie Motion Capture tauchte erstmals 1915 auf, als der Animator Max Fleischer einen Projektor baute, der den Inhalt eines Films auf einer durchscheinenden Bühne anzeigte. Mit diesem Projektor konnte der Animator die Bewegungen der Figur so zeichnen, wie sie auf dem Bildschirm erscheinen würden.

1983 gelang Tom Calvert von der Simon Fraser University in Kanada ein großer Durchbruch bei der mechanischen physischen Erfassungskleidung, eine Technologie, die die erste mechanische Erfassung ermöglichte. Gleichzeitig stellte das MIT auch ein LED-basiertes „grafisches Marionettensystem“ vor, einen Prototyp der frühen optischen Motion-Capture-Systeme.

Ende 1990 wurden bei den Dreharbeiten zu „Der Herr der Ringe“ erstmals Motion-Capture-Schritte am Set integriert, und Andy Serkis, der Pionier der Motion-Capture-Schauspieler, konnte als „Gollum“ mit den anderen Schauspielern interagieren, was den Aufbau der Figur begünstigte und sie lebendiger machte.

Heute ist Motion Capture in großen Spielestudios fast Standard. Dadurch werden reale Action und animierte Charaktere synchronisiert, und die Spielfiguren erscheinen realistischer und lebendiger. Deshalb können wir in Spielen Actionszenen auf Filmniveau erleben.

„Sie steht auf einer Stufe mit Motor-, Übertragungs-, Rechen- und Anzeigetechnologien und ist ein wichtiges Teil des „großen Puzzles“ des zugrunde liegenden Aufbaus des Metaversums.“

MetaPost Tencent Metaverse Technology Media

Anwendungsbereiche von Motion Capture

In den letzten Jahren wurde Motion Capture in der Film- und Spieleindustrie weit verbreitet eingesetzt, wie in den bekannten Filmen „Avatar“, „Planet der Affen: Prevolution“, „Assassin's Creed“, „Detroit: Become Human“ usw., wo die Bewegungsdaten der Schauspieler zur Animation virtueller Charaktere verwendet werden.

Da die Daten vollständig auf der Erfassung des menschlichen Körpers basieren, kann die Bewegungsrekonstruktion die Körperhaltung und Bewegungseffekte des menschlichen Körpers bestmöglich wiedergeben und dabei ein natürliches und flüssiges Aussehen bewahren, sodass modernes Motion Capture die Ausdruckskraft virtueller Charaktere erheblich steigern kann.

Der 2009 veröffentlichte Film Avatar kann als Pionier der erfolgreichen Kombination von Motion Capture und Gesichtsausdruckserfassung angesehen werden. Regisseur James Cameron und sein Team verwendeten kopfmontierte Gesichtskameras und bauten das größte jemals realisierte Aufnahme- und Motion-Capture-Studio.

Die Produktion von Spezialeffekten für Film, Fernsehen und Spiele waren nie getrennt, und jemand hat das Konzept von Motion Capture schnell in die Spielwelt eingeführt. Der Pionier auf diesem Gebiet war Sega, das damals mit Nintendo und Sony im Konsolenbereich gleichzog. Darüber hinaus nutzen auch einige virtuelle Idol-Gruppen wie „Project SEGA“, „Aikatsu“ diese Technologie, indem sie Motion Capture und 3D-Animation kombinieren, um mehr Möglichkeiten auf der Bühne zu schaffen, Echtzeit-Feedback zu Fan-Interaktionen zu liefern und so das Erlebnisgefühl zu steigern.

Darüber hinaus ermöglichen einige VR-Spiele den Spielern, durch Motion Capture zu einem Mitglied der virtuellen Welt zu werden und eine Kommunikation mit einem Nicht-Spieler-Charakter (NPC) in einem „realen Sinne“ zu haben.

Lesen Sie auch:Nintendo erklärt, dass es keine generative KI zur Spieleentwicklung einsetzen wird

Tragbares Motion Capture vs. KI-Video-Motion Capture

Mit der Reife der Technologie ist die Anwendung von Motion Capture immer umfangreicher geworden, von Animation über Mensch-Maschine-Interaktion bis hin zur Fernsteuerung von Robotern, Sporttraining usw., alle nutzen Motion Capture.

Angesichts verschiedener Szenarien sind auch verschiedene technische Wege für Motion Capture entstanden, die häufigsten sind optisches Motion Capture, inertiales Motion Capture und visuelles Motion Capture.

Technisches Prinzip des tragbaren Motion Capture

Tragbares Motion Capture bezieht sich hauptsächlich auf optische und inertiale Erfassung. Die optische Erfassung verfolgt die Marker auf dem optischen Erfassungsanzug, synchronisiert die Markierungsdaten unter verschiedenen Kameras und verwendet 3D-Rekonstruktionsalgorithmen, um die Bewegungsdaten verschiedener Körperteile zu rekonstruieren; die inertiale Erfassung zeichnet die Daten der Inertialsensoren auf der tragbaren Ausrüstung auf, rekonstruiert dann die dreidimensionale Bewegungsspur über Software und wandelt sie in Skelettanimation um, um die virtuelle Figur zu animieren.

Das KI-Video-Motion Capture wird verwendet, um virtuelle Figuren zu animieren.

Technisches Prinzip des KI-Video-Motion Capture

Mit der Entwicklung des Deep Learning hat sich die Genauigkeit von Monokularbildern für Aufgaben wie die Erkennung menschlicher Schlüsselpunkte und die Vorhersage der menschlichen Haltung erheblich verbessert. Gleichzeitig wurde es mit der Veröffentlichung parametrischer menschlicher Modelle wie SMPL möglich, menschliche Skelettposen mit Masken direkt aus einem einzelnen Bild vorherzusagen.

KI-Video-Motion Capture besteht darin, mehrere Einzelbilder aus dem Video zu extrahieren, KI-Algorithmen zu verwenden, um die menschlichen Skelettposen aus verschiedenen Bildern separat zu extrahieren, und diese Posen dann in chronologischer Reihenfolge zu verbinden, um Skelettanimationsdaten zu bilden, die zur Animation virtueller Charaktere verwendet werden können.

Zwei Arten von Algorithmen für KI-Motion Capture

Die am weitesten verbreiteten KI-Motion-Capture-Algorithmen basieren auf parametrischen menschlichen Körpermodellen wie SMPL/SMPL-X und lassen sich hauptsächlich in zwei Kategorien einteilen.

Optimierungsbasierte AlgorithmenDiese Algorithmen legen bestimmte Optimierungszielfunktionen fest, die sich in der Regel aus dem Rückprojektionsfehler, A-priori-Regularisierungstermen für die menschliche Haltung usw. zusammensetzen. Bei der Vorhersage werden die 2D-Schlüsselpunkte, wie die Positionen der Gelenke von Knien, Ellbogen, Schultern usw., durch manuelle Annotation oder KI-Algorithmen erkannt, und dann findet der Optimierungsalgorithmus iterativ eine Reihe von Parametern des parametrischen menschlichen Körpermodells mit optimalen Werten der Zielfunktionen, um die menschliche Skelettpose im aktuellen Bild darzustellen. Diese Art von Algorithmen wird durch SMPLify, SMPLify-X usw. repräsentiert.

Datenbasierte AlgorithmenDiese Algorithmen benötigen einen Trainingsdatensatz, der eine große Anzahl von Bildern und die entsprechenden Skelettposendaten enthält, die mit modernen Motion-Capture-Techniken gewonnen wurden. Während der Trainingsphase wird ein tiefes neuronales Netz trainiert, um direkt auf die Grundwahrheit des Datensatzes zu regressieren; während der Vorhersagephase sagt das trainierte tiefe neuronale Netz direkt eine Reihe von Parametern des parametrischen menschlichen Körpermodells aus den Bildmerkmalen voraus. Diese Algorithmen werden durch HMR, VIBE, PyMAF usw. repräsentiert.

Diese beiden Arten von Algorithmen haben ihre Vor- und Nachteile. Optimierungsbasierte Algorithmen können die Posen der Extremitäten und anderer Körperteile mit höherer Genauigkeit besser anpassen, erfordern aber präzisere 2D-Schlüsselpunkte.

Da es viele suboptimale Lösungen für dieses Optimierungsproblem gibt und es stark von der Initialisierung beeinflusst wird, ist es einfacher, deformierte oder unnatürliche menschliche Posen anzupassen, selbst mit den A-priori-Einschränkungen der menschlichen Haltung. Datenbasierte Algorithmen, die mit einer großen Datenmenge trainiert werden, erzeugen seltener deformierte Posen, haben aber in der Regel schlechtere Vorhersagen an den Extremitäten, wie dem Fuß, die nicht mit der Pose im Bild übereinstimmen.

In den letzten Jahren verwenden immer mehr Algorithmen eine Kombination aus beiden: Zuerst sagt der datenbasierte Algorithmus die menschliche Pose voraus, die näher am Bild liegt, und verwendet sie als Initialisierung für den optimierungsbasierten Algorithmus, sodass durch Anpassen der Pose die Genauigkeit verbessert und gleichzeitig deformierte oder unnatürliche menschliche Posen vermieden werden; die Meta-Image-Lösung verwendet ebenfalls diesen kombinierten Algorithmus. Wenn man jedoch einfach die beiden Algorithmen kombiniert, bleibt die Qualität der erfassten Skelettanimationsdaten relativ gering.

Lesen Sie auch:Könnten Videospiele zur beliebtesten Unterhaltung der Welt werden?

Über die Gesichts-Motion-Capture

Ursprünglich wurde Gesichts-Motion Capture durchgeführt, indem der Schauspieler auf einem Stuhl saß, etwa 30 oder 40 Kameras vor sich hatte und viele kleine reflektierende Kugeln auf dem Gesicht platziert wurden. So wurde beispielsweise bei „Der Polarexpress“ vorgegangen.

Dies ist eine zeitaufwändige Methode, und mit der Zeit und der Technologie gibt es jetzt kopfmontierte Helme für die Gesichtserfassung. Dieser Helm hat eine kleine Kamera an der Vorderseite, die alle Gesichtsausdrücke aufzeichnet, wonach man sie mit den Körperdaten synchronisieren kann, um einen sehr guten Effekt der Gesichts- und Körper-Bewegungserfassung zu erzielen.

Im Jahr 2019 kündigte Meta sein virtuelles menschliches Avatar-System an, das 3D-Motion-Capture-Technologie verwendete, um das Bild einer realen Person über ein VR-Gerät nachzubilden und Details wie Hautfarbe, Textur, Haare, Mikroausdrücke usw. wiederzugeben. Meta hofft, dass sich Menschen in Zukunft in virtuellen Umgebungen treffen werden, die so real wie die Realität sind.

Auf Youtube, TikTok und anderen Social-Media-Plattformen gibt es viele Blogger, die die Gesichts-Motion-Capture-Technologie verwenden, um virtuelle Charaktere mit reichen Ausdrücken und Bewegungen zu steuern; der Live-Effekt ist ziemlich gut, und es gibt jetzt eine Reihe von mobilen Anwendungen, die eine ziemlich genaue Gesichtserfassung über die Kamera durchführen können. Theoretisch kann also jeder mehrere Avatare haben und durch diese Art von Technologie ein völlig anderes Leben in der virtuellen Welt führen als in der Realität.

Die richtige Antwort ist A: Bildverfolgungstechniken und neue Computertechnologie.