- Ego-Exo4D, desenvolvido pela Meta e seus parceiros, é um conjunto de dados pioneiro que integra vistas em primeira pessoa e vistas externas para a pesquisa em IA.
- O conjunto de dados inclui mais de 1.400 horas de vídeo provenientes de 800 entidades qualificadas, oferecendo uma diversidade de habilidades humanas.
- Ele é projetado para avançar a IA no aprendizado de vídeo, realidade aumentada e aprendizado robótico, com um desafio público de referência previsto para 2024.
A equipe de pesquisa fundamental em inteligência artificial (FAIR) da Meta, juntamente com o Project Aria e 15 parceiros universitários,lançou o Ego-Exo4D. Este conjunto de dados e benchmarks inovador está prestes a revolucionar a compreensão da IA sobre as habilidades humanas por meio do aprendizado de vídeo e da percepção multimodal.
Ego-Exo4Dintegra de forma única vistas « egocêntricas » em primeira pessoa provenientes de câmeras portáteis com várias vistas « exocêntricas » de câmeras ao redor. Essa combinação oferece uma compreensão holística tanto da perspectiva da entidade quanto de seu ambiente.
Colaboração global e coleta de dados
O desenvolvimento do Ego-Exo4D envolveu um consórcio de mais de 800 entidades qualificadas de seis países, contribuindo com mais de 1.400 horas de vídeo. Este conjunto de dados, que será disponibilizado como open source em dezembro, inclui anotações para novas tarefas de referência e é detalhado em um artigo técnico.
O Ego-Exo4D foca em atividades qualificadas como esportes, música, culinária, etc. Suas aplicações vão desde sistemas de realidade aumentada e aprendizado robótico até redes sociais, onde pode melhorar o aprendizado e a compreensão de habilidades.
Ao integrar perspectivas em primeira e terceira pessoa em um vasto conjunto de dados de vídeo, ele abre novos caminhos para compreender e interpretar habilidades e comportamentos humanos. Esta inovação não apenas amplia o campo da pesquisa em IA, mas também promete aplicações práticas em realidade aumentada, robótica e além. O esforço colaborativo, envolvendo uma ampla gama de entidades qualificadas e uma variedade de cenários do mundo real, garante um conjunto de dados rico e variado que pode levar a sistemas de IA mais nuançados e conscientes do contexto.
Esta evolução é um testemunho do progresso tecnológico, oferecendo perspectivas empolgantes para pesquisas futuras e aplicações concretas.
Leia também:Gerador de imagens de IA autônomo da Meta: um trunfo para a criatividade humana
Características e recursos do conjunto de dados
Como o maior conjunto de dados público de vídeos sincronizados em primeira e terceira pessoa, o Ego-Exo4D apresenta diversos especialistas como atletas, dançarinos e chefs. Ele não é apenas multivisual, mas também multimodal, capturado com tecnologia avançada incluindo os óculos Aria da Meta, oferecendo dados completos como áudio, medições inerciais e capturas de câmera grande angular.
O conjunto de dados inclui recursos vídeo-linguísticos ricos, como narrações, descrições e comentários de especialistas. Esses recursos são carimbados com hora em relação ao vídeo, fornecendo aos modelos de IA informações detalhadas sobre atividades humanas qualificadas.
A Meta propõe quatro tarefas fundamentais para a pesquisa de vídeo ego-exo e fornece anotações aprofundadas, fruto de mais de 200.000 horas de esforço de anotação. Um desafio público de referência está previsto para 2024 para estimular a pesquisa neste campo emergente.
O consórcio Ego-Exo4D representa uma colaboração global, abrangendo diversos talentos em IA e contextos geográficos. Este projeto marca uma implantação significativa dos óculos Aria na comunidade de pesquisa acadêmica.
Leia também:Os óculos Meta Ray-Ban: eles violam a privacidade do usuário?
A introdução do conjunto de dados Ego-Exo4D da Meta representa um avanço significativo no campo da IA e do aprendizado de máquina.
A introdução do conjunto de dados Ego-Exo4D da Meta representa um avanço significativo no campo da IA e do aprendizado de máquina. Ao integrar perspectivas em primeira e terceira pessoa em um vasto conjunto de dados de vídeo, ele abre novos caminhos para compreender e interpretar habilidades e comportamentos humanos. Esta inovação não apenas amplia o campo da pesquisa em IA, mas também promete aplicações práticas em realidade aumentada, robótica e além.
O esforço colaborativo, envolvendo uma ampla gama de entidades qualificadas e uma variedade de cenários do mundo real, garante um conjunto de dados rico e variado que pode levar a sistemas de IA mais nuançados e conscientes do contexto. Esta evolução é um testemunho do progresso tecnológico, oferecendo perspectivas empolgantes para pesquisas futuras e aplicações concretas.
Com o Ego-Exo4D, a Meta e seus parceiros visam acelerar a pesquisa em aprendizado de vídeo por IA. As aplicações potenciais são vastas, desde experiências de aprendizado em realidade aumentada até robôs aprendendo com a expertise humana. O Ego-Exo4D é um passo importante em direção a esse futuro, gerando entusiasmo na comunidade de pesquisa pelas possibilidades que abre.