- Ego-Exo4D, développé par Meta et ses partenaires, est un jeu de données pionnier intégrant des vues à la première personne et des vues externes pour la recherche en IA.
- Le jeu de données comprend plus de 1 400 heures de vidéo provenant de 800 entités qualifiés, offrant une diversité de compétences humaines.
- Il est conçu pour faire progresser l'IA dans l'apprentissage vidéo, la réalité augmentée et l'apprentissage robotique, avec un défi public de référence prévu pour 2024.
L'équipe de recherche fondamentale en intelligence artificielle (FAIR) de Meta, ainsi que Project Aria et 15 partenaires universitaires, a lancé Ego-Exo4D. Cet ensemble de données et de benchmarks innovant est sur le point de révolutionner la compréhension par l'IA des compétences humaines grâce à l'apprentissage vidéo et à la perception multimodale.
Ego-Exo4D intègre de manière unique des vues « égocentriques » à la première personne provenant de caméras portables avec plusieurs vues « exocentriques » de caméras environnantes. Cette combinaison offre une compréhension holistique à la fois de la perspective du entité et de son environnement.
Collaboration mondiale et collecte de données
Le développement d'Ego-Exo4D a impliqué un consortium de plus de 800 entités qualifiés de six pays, contribuant à plus de 1 400 heures de vidéo. Ce jeu de données, qui doit être open-sourcé en décembre, comprend des annotations pour de nouvelles tâches de référence et est détaillé plus en détail dans un article technique.
Ego-Exo4D se concentre sur des activités qualifiées comme le sport, la musique, la cuisine, etc. Ses applications vont des systèmes de réalité augmentée et de l'apprentissage robotique aux réseaux sociaux, où il peut améliorer l'apprentissage et la compréhension des compétences.
En intégrant les perspectives à la première et à la troisième personne dans un vaste jeu de données vidéo, il ouvre de nouvelles voies pour comprendre et interpréter les compétences et les comportements humains. Cette innovation élargit non seulement le champ de la recherche en IA, mais promet également des applications pratiques dans la réalité augmentée, la robotique et au-delà. L'effort collaboratif, impliquant un large éventail de entités qualifiés et une variété de scénarios du monde réel, garantit un jeu de données riche et varié qui pourrait conduire à des systèmes d'IA plus nuancés et conscients du contexte.
Cette évolution témoigne des progrès accomplis dans la technologie, offrant des perspectives passionnantes pour les recherches futures et les applications concrètes.
Lire aussi: Générateur d'images IA autonome de Meta: un atout pour la créativité humaine
Caractéristiques et ressources du jeu de données
En tant que plus grand jeu de données public de vidéos synchronisées à la première et à la troisième personne, Ego-Exo4D met en scène divers experts comme des athlètes, des danseurs et des chefs. Il n'est pas seulement multivue, mais aussi multimodal, capturé avec une technologie avancée incluant les lunettes Aria de Meta, offrant des données complètes comme l'audio, les mesures inertielles et les captures de caméra grand angle.
Le jeu de données comprend de riches ressources vidéo-linguistiques comme des narrations, des descriptions et des commentaires d'experts. Ces ressources sont horodatées par rapport à la vidéo, fournissant aux modèles d'IA des informations détaillées sur les activités humaines qualifiées.
Meta propose quatre tâches fondamentales pour la recherche vidéo ego-exo et fournit des annotations approfondies, fruit de plus de 200 000 heures d'effort d'annotation. Un défi public de référence est prévu pour 2024 afin de stimuler la recherche dans ce domaine émergent.
Le consortium Ego-Exo4D représente une collaboration mondiale, englobant divers talents en IA et contextes géographiques. Ce projet marque un déploiement important des lunettes Aria dans la communauté de recherche universitaire.
Lire aussi: Les lunettes Meta Ray-Ban: portent-elles atteinte à la vie privée ?
L'introduction du jeu de données Ego-Exo4D de Meta représente une avancée significative dans le domaine de l'IA et de l'apprentissage automatique.
L'introduction du jeu de données Ego-Exo4D de Meta représente une avancée significative dans le domaine de l'IA et de l'apprentissage automatique. En intégrant les perspectives à la première et à la troisième personne dans un vaste jeu de données vidéo, il ouvre de nouvelles voies pour comprendre et interpréter les compétences et les comportements humains. Cette innovation élargit non seulement le champ de la recherche en IA, mais promet également des applications pratiques dans la réalité augmentée, la robotique et au-delà.
L'effort collaboratif, impliquant un large éventail de entités qualifiés et une variété de scénarios du monde réel, garantit un jeu de données riche et varié qui pourrait conduire à des systèmes d'IA plus nuancés et conscients du contexte. Cette évolution témoigne des progrès accomplis dans la technologie, offrant des perspectives passionnantes pour les recherches futures et les applications concrètes.
Avec Ego-Exo4D, Meta et ses partenaires visent à accélérer la recherche sur l'apprentissage vidéo par l'IA. Les applications potentielles sont vastes, allant des expériences d'apprentissage en réalité augmentée aux robots apprenant de l'expertise humaine. Ego-Exo4D est une étape importante vers cet avenir, suscitant l'enthousiasme dans la communauté de recherche pour les possibilités qu'il ouvre.