- Ego-Exo4D 由 Meta 及其合作伙伴开发，是一个开创性的数据集，集成了第一人称和外部摄像头视角，用于 AI 研究。
- 该数据集包含来自 800 名熟练参与者的超过 1,400 小时的视频，提供了多样化的人类技能范围。
- 它旨在推进视频学习、增强现实和机器人学习领域的 AI，并计划在 2024 年发起公开基准挑战。
Meta 的基础人工智能研究（FAIR）团队，携手 Project Aria 和 15 个大学合作伙伴，已推出 Ego-Exo4D。这一创新数据集和基准套件有望通过视频学习和多模态感知彻底改变 AI 对人类技能的理解。
Ego-Exo4D 独特地集成了来自可穿戴摄像头的第一人称“以自我为中心”视角与来自周围摄像头的多个“外中心”视角。这种组合提供了对参与者视角及其周围环境的整体理解。
全球合作与数据收集
Ego-Exo4D 的开发涉及一个由来自六个国家的 800 多名熟练参与者组成的联盟，他们贡献了超过 1,400 小时的视频。该数据集计划于 12 月开源，包含用于新型基准任务的注释，并在技术论文中进一步详述。
Ego-Exo4D 专注于体育、音乐、烹饪等技能活动。其应用范围从增强现实系统和机器人学习到社交网络，可以在其中增强技能学习和理解。
通过在全面的视频数据集中集成第一人称和第三人称视角，它为理解和解释人类技能和行为开辟了新途径。这一创新不仅拓宽了 AI 研究的范围，还承诺在增强现实、机器人等领域带来实际应用。合作努力涉及多元化的熟练参与者和各种现实世界场景，确保了丰富多样的数据集，这可能导致更细致入微、更具上下文感知能力的 AI 系统。这一发展证明了技术正在取得的进步，为未来的研究和现实世界应用提供了令人兴奋的前景。
另请阅读：Meta 的独立 AI 图像生成器：对人类创造力有意义
数据集特征与资源
作为最大的同步第一人称和第三人称视频公开数据集，Ego-Exo4D 涵盖了运动员、舞者、厨师等多样化的专家。它不仅多视角，而且多模态，使用包括 Meta Aria 眼镜在内的先进技术采集，提供了音频、惯性测量和广角摄像头捕捉等全面数据。
该数据集包含丰富的视频语言资源，如叙述、描述和专家评论。这些资源带有时间戳，与视频对应，为 AI 模型提供了有关熟练人类活动的详细见解。
Meta 提出了用于 ego-exo 视频研究的四个基础任务，并提供了广泛的注释，这是超过 200,000 小时标注者努力的结果。计划在 2024 年发起公开基准挑战，以促进这一新兴领域的研究。
Ego-Exo4D 联盟代表了全球合作，涵盖了多元化的 AI 人才和地理背景。该项目标志着 Aria 眼镜在学术研究界的重要部署。
另请阅读：Meta Ray-Ban 眼镜：它们侵犯用户隐私吗？
Meta 的 Ego-Exo4D 数据集的推出代表了 AI 和机器学习领域的重大进步。
Meta 的 Ego-Exo4D 数据集的推出代表了 AI 和机器学习领域的重大进步。通过在全面的视频数据集中集成第一人称和第三人称视角，它为理解和解释人类技能和行为开辟了新途径。这一创新不仅拓宽了 AI 研究的范围，还承诺在增强现实、机器人等领域带来实际应用。合作努力涉及多元化的熟练参与者和各种现实世界场景，确保了丰富多样的数据集，这可能导致更细致入微、更具上下文感知能力的 AI 系统。这一发展证明了技术正在取得的进步，为未来的研究和现实世界应用提供了令人兴奋的前景。
借助 Ego-Exo4D，Meta 及其合作伙伴旨在加速 AI 视频学习的研究。潜在应用非常广泛，从增强现实学习体验到机器人从人类专业技能中学习。Ego-Exo4D 是迈向这一未来的重要一步，引发了研究界对其所开启的可能性的兴奋。