モーションキャプチャがバーチャルアイドルに命を吹き込む方法

BTW Media が記事「How motion capture brings virtual idols to life」（モーションキャプチャがいかにバーチャルアイドルに命を吹き込むか）を追跡している理由は、公開された証拠がインターネットインフラストラクチャ、ガバナンス、運用上の依存関係、または市場での可視性と結びついているためです。

• モーションキャプチャとは、人やその他の物体の動きを記録し、処理する技術を指します。
• モーションキャプチャ技術は、『アバター』、『アベンジャーズ』、『ロード・オブ・ザ・リング』など、多くの素晴らしいアニメーション映画で使用されています。

我々の見解
モーションキャプチャ技術は多くの分野で広く使用されています。映画やアニメーション、ゲーム分野では、ユーザーにより自然で直感的なインタラクティブ体験を提供します。また、制作効率を大幅に向上させ、コストを削減し、アニメーション効果をより生き生きとしたリアルなものにします。エンターテイメントの多様化が進む時代において、モーションキャプチャは業界の発展を促進する独自かつ効果的な手段です。さらに、医療・リハビリテーション、スポーツトレーニング、生体力学研究の分野でも、モーションキャプチャ技術は重要な役割を果たしています。
— Iydia Ding、BTW ジャーナリスト

モーションキャプチャとは、人やその他の物体の動きを記録し、処理する技術であり、画像追跡技術と新しいコンピューター技術を組み合わせることで、連続した撮影シーケンスをアニメーションの基礎として使用し、描画プロセスを経ることなく行うことができます。近年、モーションキャプチャは映画、テレビアニメーション、ビデオゲーム業界で話題を呼んでいます。真のブレークスルーは、「ロード・オブ・ザ・リング三部作」がモーションキャプチャを通じて「ゴラム」のキャラクターを完全に創造したことで、この技術に対する認識を一変させました。

モーションキャプチャ技術は、映画、テレビアニメーション、ゲームに加えて、バーチャルリアリティ、マンマシンインタラクション、リハビリテーション医学、船舶の姿勢検出、医療リハビリテーション、スポーツトレーニング、生体力学研究などでも使用されており、科学技術の継続的な発展に伴い、将来的にはさらに多くの拡張可能な開発方向性が期待されています。

「モーションキャプチャで 200 分のアニメーションを制作する必要がある場合、録画に約 2〜3 日、おそらく 1 か月もかからずに、アニメーターが手動で動きを作成した場合と同等かそれ以上にリアルな効果を得ることができます。」

Kevin Wang（テンセント・インタラクティブエンターテインメント、フォトニクステクノロジーセンター、モーションキャプチャ主任技術者）

モーションキャプチャの概念と応用

モーションキャプチャの基本概念

モーションキャプチャの起源はロトスコープにあり、ディズニーの最初の 2D アニメーション映画「白雪姫」やゲーム「プリンス・オブ・ペルシャ」で使用されました。今日、モーションキャプチャは主に光学式モーションキャプチャや慣性式モーションキャプチャなどのポータブルモーションキャプチャ技術を指します。専門家は俳優にさまざまなセンサーを取り付け、それらが動きを追跡・記録し、コンピューター画面上でリアルタイムに仮想の「スケルトン」として再現できるようにします。

ポータブルモーションキャプチャ機器を使用して俳優の身体の動きデータを取得することで、正確な 3 次元の動きの軌跡を構築でき、軍事、エンターテイメント、スポーツ、医療、ロボット工学などの分野で広く使用されており、人間工学や生体力学における重要な研究方法となっています。

関連記事：Meta、メタバースゲームに生成 AI を導入予定

クイズ

モーションキャプチャはどの技術を組み合わせているか？

A) 画像追跡技術と新しいコンピューター技術

B) ISAC 技術（統合通信感覚）

C) 自然言語処理（NLP）

D) ブロックチェーン技術と量子コンピューティング

正解は記事の最後にあります。

モーションキャプチャ技術の歴史

「メタバース」の概念が一般化するにつれて、メタバースにとってのモーションキャプチャの長期的な価値も明らかになっています。それはエンジン、伝送、計算、表示技術と同列に位置し、メタバースの基盤構築という「大きなパズル」の重要なピースです。

モーションキャプチャに類似した技術は 1915 年に初めて登場しました。アニメーターのマックス・フライシャーが、映画の内容を半透明のステージに映し出すプロジェクターを製作し、それを使ってアニメーターは画面上でキャラクターの動きを容易に描くことができました。

1983 年、カナダのサイモンフレーザー大学のトム・カルバートが物理的な機械式キャプチャスーツで大きな進歩を遂げ、最初の機械式キャプチャが実現しました。同時に、MIT も LED を用いた「グラフィックパペット」システムを発表し、初期の光学式モーションキャプチャシステムのプロトタイプとなりました。

1990 年代末、「ロード・オブ・ザ・リング」の撮影で初めてモーションキャプチャのプロセスが撮影現場に統合され、モーションキャプチャ俳優の先駆者であるアンディ・サーキスが「ゴラム」として他の俳優と交流することができました。これによりキャラクター構築がより促進され、より豊かな血肉と命が吹き込まれました。

今日、モーションキャプチャは大手ゲームスタジオではほぼ標準となっており、実際のアクションとアニメキャラクターが同期され、ゲームキャラクターがよりリアルで生き生きとしています。これにより、ゲーム内で映画レベルのアクションパフォーマンスを目にすることができるのです。

「それはエンジン、伝送、計算、表示技術と同列に位置し、メタバースの基盤構築という『大きなパズル』の重要なピースです。」

MetaPost Tencent Metaverse Technology Media

モーションキャプチャの応用分野

近年、モーションキャプチャは映画やゲーム業界で広く使用されています。有名な映画『アバター』、『猿の惑星：創世記（ジェネシス）』、『アサシン クリード』、『Detroit: Become Human』などでは、俳優のモーションキャプチャデータを使用してバーチャルキャラクターをアニメーション化しています。データは完全に人体のキャプチャに基づいているため、動きの再構成は人体の姿勢や動きの効果を最大限に再現しつつ、自然で流れるような動きを保つことができ、現代のモーションキャプチャはバーチャルキャラクターの表現力を大幅に向上させることができます。

2009 年に公開された映画『アバター』は、モーションキャプチャと顔の表情キャプチャの成功した組み合わせの先駆者と言えます。ジェームズ・キャメロン監督と彼のチームは、頭部に取り付けるフェイシャルカメラを使用し、それまでにない最大の撮影・モーションキャプチャスタジオを建設しました。

映画・テレビの特殊効果制作とゲームは決して切り離せるものではなく、誰かがすぐにモーションキャプチャの概念をゲームの世界に導入しました。この分野で最も先駆的だったのは、当時コンソール市場で任天堂やソニーと肩を並べていたセガでした。さらに、「Project SEGA」や「Aikatsu」などのバーチャルアイドルグループもこの技術を使用し、モーションキャプチャと 3D アニメーションを組み合わせてステージでの可能性を広げ、ファンとのインタラクションにリアルタイムで応答することで体験感を高めています。さらに、一部の VR ゲームでは、プレイヤーがモーションキャプチャを通じてバーチャル世界の一員となり、ノンプレイヤーキャラクター（NPC）と「実質的に」コミュニケーションを取ることができます。

さらに、モーションキャプチャ技術は、軍事、エンターテイメント、スポーツ、医療、ロボット工学など多くの分野で広く使用されており、人間工学や生体力学における重要な研究方法です。

関連記事：任天堂、生成 AI をゲーム制作に使用しないと宣言

ポータブルモーションキャプチャ vs AI ビデオモーションキャプチャ

技術の成熟に伴い、モーションキャプチャの応用はアニメーションからマンマシンインタラクション、ロボットの遠隔制御、スポーツトレーニングなど、ますます広がっています。

さまざまなシナリオに対応するため、モーションキャプチャにはさまざまな技術的アプローチが登場しており、最も一般的なものは光学式モーションキャプチャ、慣性式モーションキャプチャ、ビジュアルモーションキャプチャです。

ポータブルモーションキャプチャの技術原理

ポータブルモーションキャプチャは主に光学式と慣性式を指します。光学式モーションキャプチャは光学式キャプチャスーツ上のマーカーを追跡し、異なるカメラでマーキングデータを同期し、3D 再構成アルゴリズムを使用して人体の各部位の動きデータを再構成します。慣性式モーションキャプチャは、装着機器上の慣性センサーのデータを記録し、ソフトウェアを介して 3 次元の動きの軌跡を再構成し、スケルトンアニメーションに変換して、バーチャルキャラクターを動かします。AI ビデオモーションキャプチャはバーチャルキャラクターのアニメーションに使用されます。

AI ビデオモーションキャプチャの技術原理

深層学習の発展に伴い、人物のキーポイント検出や姿勢予測などのタスクにおける単眼画像の精度が大幅に向上しました。同時に、SMPL などのパラメトリック人体モデルの公開により、1 枚の画像から直接マスクを用いて人間のスケルトンポーズを予測することが可能になりました。

AI ビデオモーションキャプチャは、ビデオから 1 フレームごとに複数の画像を抽出し、AI アルゴリズムを使用して各画像から人間のスケルトンポーズを個別に抽出し、それらのポーズを時系列で連結してスケルトンアニメーションデータを形成し、バーチャルキャラクターのアニメーションに使用します。

AI モーションキャプチャの 2 種類のアルゴリズム

最も普及している AI モーションキャプチャアルゴリズムは、SMPL/SMPL-X などのパラメトリック人体モデルに基づいており、主に 2 つのカテゴリに分けられます。

最適化ベースのアルゴリズム：これらのアルゴリズムは、通常、再投影誤差や人体姿勢の事前正則化項などからなる特定の最適化目的関数を事前に定義します。予測時には、膝、肘、肩などの関節位置といった 2D キーポイントを手動アノテーションまたは AI アルゴリズムで検出し、最適化アルゴリズムが目的関数の値が最適となるパラメトリック人体モデルのパラメータセットを反復的に見つけ、現在の画像内の人間のスケルトンポーズを表現します。このタイプのアルゴリズムの代表例として、SMPLify、SMPLify-X などがあります。

データベースのアルゴリズム：これらのアルゴリズムは、多数の画像と、最新のモーションキャプチャ技術によって得られた対応するスケルトンポーズデータを含むトレーニングデータセットを必要とします。トレーニングフェーズでは、深層ニューラルネットワークがデータセットのグラウンドトゥルースに直接回帰するように訓練され、予測フェーズでは、訓練されたネットワークが画像の特徴からパラメトリック人体モデルのパラメータセットを直接予測します。これらのアルゴリズムの代表例として、HMR、VIBE、PyMAF などがあります。

これら 2 種類のアルゴリズムにはそれぞれ長所と短所があります。最適化ベースのアルゴリズムは、四肢の末端などの体の部位のポーズをより精密に調整できますが、より正確な 2D キーポイントが必要です。

さらに、この最適化問題には多数の準最適解が存在し、初期化の影響を強く受けるため、人体姿勢の事前制約があっても、歪んだ非自然な人体ポーズに陥りやすくなります。データベースのアルゴリズムは、大量のデータから学習するため、歪んだポーズを生成する可能性は低いですが、足などの四肢の末端の予測が画像内のポーズと一致しないことがよくあります。

近年、両者を組み合わせるアルゴリズムが増えています。最初にデータベースのアルゴリズムで画像に近い人体ポーズを予測し、それを最適化ベースのアルゴリズムの初期値として使用することで、ポーズを調整して精度を向上させながら、歪んだ非自然な人体ポーズを回避します。メタイメージソリューションもこの複合アルゴリズムを採用しています。ただし、単に 2 つのアルゴリズムを組み合わせるだけでは、キャプチャされたスケルトンアニメーションデータの品質は比較的低いままです。

関連記事：ビデオゲームは世界で最も人気のあるエンターテイメントになるか？

顔のモーションキャプチャについて

当初、顔のモーションキャプチャは、俳優を椅子に座らせ、前方に約 30〜40 台のカメラを配置し、顔に多数の小さな反射ボールを取り付けて行われました。例えば、『ポーラー・エクスプレス』がこの方法で制作されました。

この方法は多くの時間を浪費するため、時代と技術の進歩に伴い、現在では頭部に装着するヘルメット型のフェイシャルキャプチャ装置が登場しています。この装置の前面には小型カメラが搭載され、顔のすべての表情を記録し、後で身体データと同期させることで、顔と身体のモーションキャプチャの非常に優れた効果を得ることができます。

2019 年、Meta は VR デバイスを介して 3D モーションキャプチャ技術を用いて実在の人物のイメージを再現し、肌の色、質感、髪の毛、微表情などの詳細をレンダリングするバーチャルヒューマンアバターシステムを発表しました。Meta は、将来、人々がまるで現実のようにリアルな仮想環境で出会うことを望んでいます。

Youtube や TikTok などのソーシャルメディアプラットフォームでは、顔のモーションキャプチャ技術を使って豊かな表情や動きでバーチャルキャラクターを操作する多くのブロガーがおり、ライブ配信での効果もかなり良好です。現在では、カメラを通じてかなり正確な顔のキャプチャを実現できるモバイルアプリも多数存在します。そのため、理論的には誰もが複数のアバターを持ち、こうした技術を通じて現実とはまったく異なる仮想世界での生活を送ることができます。

正解は A：画像追跡技術と新しいコンピューター技術です。