How motion capture brings virtual idols to life

• 动作捕捉是指记录和处理人体或其他物体运动的技术，
• 动作捕捉技术被广泛应用于《阿凡达》、《复仇者联盟》、《指环王》等众多优秀动画电影中。

我们的观点
动作捕捉技术广泛应用于影视动画、游戏等领域，能为用户提供更自然直观的交互体验。同时，它大幅提高了制作效率，降低了成本，使动画效果更加生动逼真。在休闲娱乐多元化的时代，动作捕捉技术是促进行业发展的独特而有效的方式。此外，在医疗康复、体育训练和生物力学研究领域，动作捕捉技术也发挥着重要作用。
—— Iydia Ding，BTW 记者 另见: Ziggo集团任命领导人，备战2027年阿姆斯特丹上市.

动作捕捉是指记录和处理人体或其他物体运动的技术，结合图像追踪技术和新型计算机技术，使得无需经过绘制过程，就可以使用实时的连续镜头作为动画的基础。近年来，动作捕捉在影视动画和游戏行业崭露头角。真正的突破发生在《指环王三部曲》完全通过动作捕捉技术塑造了“咕噜”这一角色，彻底改变了人们对这项技术的看法。

除了在影视动画和游戏中的应用，动作捕捉技术还用于虚拟现实、人机交互、康复医学、船舶姿态检测的医疗康复、体育训练和生物力学研究等领域，并且随着科技的不断发展，未来必定有更多可拓展的发展方向。

“如果我们用动作捕捉来做200分钟的动画，可能只需要大约2-3天的录制，不到1个月的时间，就能达到与动画师手工制作相同甚至更逼真的效果。” 另见: Alejandro Estua.

Kevin Wang，腾讯互动娱乐光子技术中心首席动作技师

动作捕捉的概念与应用

动作捕捉的基本概念 另见: 亚历杭德罗·曼佐.

动作捕捉起源于转描技术，这项技术曾被用于迪士尼早期的2D动画电影《白雪公主》和游戏《波斯王子》中。如今的动作捕捉更多是指可穿戴式动作捕捉技术，例如光学式动作捕捉和惯性式动作捕捉。动作捕捉专家在演员身上安装各种传感器。这些传感器跟踪并记录他们的动作，以便实时映射为计算机屏幕上的虚拟“骨架”。

使用可穿戴动作捕捉设备获取演员身体的运动数据，可以构建精细的三维运动轨迹，广泛应用于军事、娱乐、体育、医疗、机器人等领域，是人体工程学和生物力学相关研究中的重要研究方法。 另见: 亚历杭德罗·埃尔南德斯.

另见：Meta 计划将生成式 AI 引入元宇宙游戏

趣味问答

动作捕捉结合了哪种技术？ 另见: 亚历杭德罗·加尔萨.

A) 图像追踪技术与新型计算机技术 另见: Alejandro Guerrero.

B) 通信集成感知 (ISAC) 技术 另见: Alec Gramont.

C) 自然语言处理 (NLP) 另见: AI芯片通胀：设备制造商受挤压，影响超越数据中心.

D) 区块链技术与量子计算

正确答案在文末。

动作捕捉技术的历史

随着“元宇宙”概念日益普及，动作捕捉对元宇宙的长期价值也变得清晰，它与引擎、传输、计算和显示技术处于同一层级，是元宇宙底层架构“巨大拼图”中的重要一块。

类似动作捕捉的技术最早出现在1915年，当时动画师 Max Fleischer 制作了一台投影仪，将电影内容投射在半透明舞台上。借助这台投影仪，动画师可以轻松地根据屏幕上出现的角色动作进行绘制。

1983年，加拿大西蒙菲莎大学的 Tom Calvert 在物理机械捕获服装上取得重大突破，这项技术让人们看到了最早的机械类捕捉。同时，麻省理工学院也推出了一套基于LED的“图形木偶”系统，这是早期光学动作捕捉系统的雏形。

1990年代末，《指环王》的拍摄首次将动作捕捉拍摄步骤带入拍摄现场，动作捕捉演员先驱 Andy Serkis 能够以“咕噜”的身份与其他演员互动，这更有利于角色的塑造，使角色更加有血有肉，栩栩如生。

如今，动作捕捉几乎是大型游戏工作室的标配。有了动作捕捉，真人表演与动画角色同步，游戏角色会显得更加逼真生动。这就是为什么我们能在游戏中看到电影级别的动作表演。

“它与引擎、传输、计算和显示技术处于同一水平，是元宇宙底层架构“巨大拼图”中的重要一块。”

MetaPost 腾讯元宇宙技术媒体

动作捕捉的应用领域

近年来，动作捕捉技术在电影和游戏行业得到广泛应用，例如著名电影《阿凡达》、《猩球崛起》、《刺客信条》、《底特律：变人》等，都通过从动作捕捉演员那里捕获动作数据来驱动虚拟角色。由于动作捕捉数据完全基于对人体的采集，重建的动作可以最大程度地还原人体姿态和运动效果，同时保持自然流畅，因此现代动作捕捉技术可以极大地增强虚拟角色的表现力。

2009年上映的电影《阿凡达》可以说是成功结合动作捕捉与表情捕捉技术的先驱。导演詹姆斯·卡梅隆及其团队使用了头戴式面部捕捉摄像机，并建造了迄今为止最大的拍摄与动作捕捉工作室。

特效影视制作与游戏从未分开，很快就有人将动作捕捉的概念引入了游戏世界。该领域最先锋的是世嘉（Sega），当时它在游戏机领域与任天堂、索尼三足鼎立。此外，还有一些虚拟偶像团体，如“Project SEGA”、“Aikatsu”等，也使用该技术，将动作捕捉与3D动画结合，在舞台上创造更多可能，及时反馈粉丝的互动，增加体验感。更有甚者，一些VR游戏通过动作捕捉技术让玩家成为虚拟世界的一员，与非玩家角色（NPC）进行“真正意义上”的交流。

此外，动作捕捉技术还广泛应用于军事、娱乐、体育、医疗、机器人等众多领域，是人体工程学和生物力学相关研究中的重要研究方法。

另见：任天堂表示不会使用生成式AI制作游戏

可穿戴式动作捕捉与AI视频动作捕捉

随着技术的成熟，动作捕捉技术的应用越来越广泛，从动画、人机交互到机器人远程控制、体育训练等，都会用到动作捕捉技术。

面对不同的场景，动作捕捉技术也出现了多种技术路线，常见的有光学式动作捕捉技术、惯性式动作捕捉技术以及视觉式动作捕捉技术。

可穿戴式动作捕捉的技术原理

可穿戴式动作捕捉主要是指光学式动作捕捉和惯性式动作捕捉，光学式动作捕捉通过追踪光学动作捕捉服上的标记点，结合不同视角摄像机下的标记数据，利用三维重建算法重建人体不同部位的运动数据；而惯性式动作捕捉通过记录可穿戴设备上惯性传感器的运动数据，最后通过软件重建三维运动轨迹并转化为骨骼动画，从而驱动虚拟角色。AI视频动作捕捉用于驱动虚拟角色。

AI视频动作捕捉的技术原理

随着深度学习的发展，单目图像在人体关键点检测和人体姿态预测等任务上的准确率大幅提高。同时，随着SMPL等参数化人体模型的发布，直接从单张图像中预测带有掩膜的人体骨骼姿态成为可能。

AI视频动作捕捉就是从视频中提取多张单帧图像，用AI算法分别从不同帧图像中提取人体骨骼姿态，再将人体骨骼姿态按时间顺序连接形成骨骼动画数据，即可用于驱动虚拟角色。

AI动作捕捉的两类算法

主流的AI动作捕捉算法基于参数化人体模型，如SMPL/SMPL-X，主要分为两类。

基于优化的算法：这类算法预先定义一些优化目标函数，通常由重投影误差、人体姿态的先验正则项等组成。在预测时，通过人工标注或AI算法检测出二维关键点，如膝盖、肘部、肩膀等关节位置，然后优化算法迭代找到一组使目标函数最优的参数化人体模型参数，用以表示当前图像中的人体骨骼姿态。这类算法的代表有SMPLify、SMPLify-X等。

数据驱动的算法：这类算法需要一个包含大量图片和由现代动作捕捉技术获取的相应骨骼姿态数据的训练数据集，在训练阶段训练一个深度神经网络直接回归训练数据集的真实值；在预测阶段，训练好的深度神经网络直接从图片特征中预测出一组参数化人体模型参数。代表算法有HMR、VIBE、PyMAF等。

这两类算法各有优缺点。基于优化的算法能更准确地拟合肢体末端等部位的姿态，精度更高，但需要更精确的二维关键点。

此外，由于此优化问题存在许多次优解，且受初始化影响很大，即使有人体姿态先验约束，也较容易拟合出扭曲或不自然的人体姿态。数据驱动的算法利用大量数据训练深度神经网络，不易产生扭曲姿态，但通常在肢体末端（如脚部）的预测效果较差，与图像中的姿态不匹配。

近年来，越来越多的算法采用两者结合的方式，首先由数据驱动算法预测出与图片较接近的人体姿态，并将其作为优化算法的初始化，这样在调整姿态提高精度的同时，也避免了扭曲或不自然的人体姿态，元象解决方案也采用了这种结合算法。不过，如果简单地将两种算法结合，捕获的骨骼动画数据质量仍然相对较低。

另见：电子游戏会成为全球最受欢迎的娱乐方式吗？

关于面部动作捕捉

最早的时候，面部动作捕捉是让演员坐在椅子上，面前放置大约30到40台摄像机，脸上贴满微小的反光球。例如，《极地特快》就是采用这种方式。

这种方法非常耗时。随着时代变迁和技术发展，现在有了所谓的头戴式头盔进行面部动作捕捉。这种头盔前方有一个微型摄像头，记录你面部的所有表情，之后我们可以与身体数据同步，实现非常好的面部和身体动作捕捉效果。

早在2019年，Meta就发布了其虚拟人化身系统，该系统采用3D动作捕捉技术，通过VR设备重现真人的形象，渲染肤色、纹理、头发、微表情等细节。Meta希望未来人们能在与真实环境一样逼真的虚拟环境中相遇。

在Youtube、TikTok等社交媒体平台上，不乏有博主利用面部动作捕捉技术，操控一些虚拟角色做出丰富的表情和动作，直播效果相当不错，而且现在有不少手机App已经能够通过摄像头，进行相当精准的面部动作捕捉。所以理论上，人人都可以拥有多个虚拟化身，通过这类技术在虚拟世界过上与现实完全不同的生活。

正确答案是A：图像追踪技术与新型计算机技术。