Ego-Exo4D: o novo conjunto de dados de vídeo da Meta vai mudar para sempre a criação de vídeos

O Ego-Exo4D: Meta’s new video dataset is going to change video creation forever é perfilado pela BTW Media porque evidências publicadas o ligam à infraestrutura da internet, governança, dependências operacionais ou visibilidade de mercado.

• O Ego-Exo4D, desenvolvido pela Meta e parceiros, é um conjunto de dados pioneiro que integra visões em primeira pessoa e de câmeras externas para pesquisa em IA.
• O conjunto de dados inclui mais de 1.400 horas de vídeo de 800 entidades qualificadas, oferecendo uma ampla gama de habilidades humanas.
• Ele foi projetado para avançar a IA em aprendizado de vídeo, realidade aumentada e aprendizado de robôs, com um desafio de benchmark público planejado para 2024.

A equipe de Pesquisa Fundamental em Inteligência Artificial (FAIR) da Meta, juntamente com o Project Aria e 15 parceiros universitários,lançou o Ego-Exo4D. Este inovador conjunto de dados e conjunto de benchmarks está prestes a revolucionar a compreensão da IA sobre habilidades humanas por meio do aprendizado de vídeo e percepção multimodal.

Ego-Exo4Dintegra de forma única visões "egocêntricas" em primeira pessoa de câmeras vestíveis com múltiplas visões "exocêntricas" de câmeras ao redor. Essa combinação proporciona uma compreensão holística tanto da perspectiva da entidade quanto do ambiente ao seu redor.

Colaboração global e coleta de dados

O desenvolvimento do Ego-Exo4D envolveu um consórcio de mais de 800 entidades qualificadas de seis países, contribuindo com mais de 1.400 horas de vídeo. Este conjunto de dados, que será aberto ao público em dezembro, inclui anotações para novas tarefas de benchmark e é detalhado em um artigo técnico.

O Ego-Exo4D é focado em atividades especializadas como esportes, música, culinária e muito mais. Suas aplicações variam de sistemas de realidade aumentada e aprendizado de robôs a redes sociais, onde pode aprimorar o aprendizado e a compreensão de habilidades.

Ao integrar perspectivas em primeira e terceira pessoa em um conjunto de dados de vídeo abrangente, ele abre novos caminhos para entender e interpretar habilidades e comportamentos humanos. Essa inovação não apenas amplia o escopo da pesquisa em IA, mas também promete aplicações práticas em realidade aumentada, robótica e muito mais. O esforço colaborativo, envolvendo uma gama diversificada de entidades qualificadas e uma variedade de cenários do mundo real, garante um conjunto de dados rico e variado que pode levar a sistemas de IA mais matizados e sensíveis ao contexto.

Esse desenvolvimento é um testemunho dos avanços progressivos sendo feitos na tecnologia, oferecendo perspectivas empolgantes para pesquisas futuras e aplicações no mundo real.

Leia também:Gerador de imagens de IA independente da Meta: Significativo para a criatividade humana

Características e recursos do conjunto de dados

Como o maior conjunto de dados público de vídeos sincronizados em primeira e terceira pessoa, o Ego-Exo4D apresenta diversos especialistas como atletas, dançarinos e chefs. Não é apenas multivisão, mas também multimodal, capturado com tecnologia avançada, incluindo os óculos Aria da Meta, oferecendo dados abrangentes como áudio, medições inerciais e capturas de câmera grande angular.

O conjunto de dados inclui recursos ricos de vídeo-linguagem, como narrações, descrições e comentários de especialistas. Esses recursos são carimbados com tempo em relação ao vídeo, fornecendo aos modelos de IA insights detalhados sobre atividades humanas qualificadas.

A Meta propõe quatro tarefas fundamentais para a pesquisa de vídeo ego-exo e fornece anotações extensas, resultado de mais de 200.000 horas de esforço de anotação. Um desafio de benchmark público está planejado para 2024 para fomentar a pesquisa neste campo emergente.

O consórcio Ego-Exo4D representa uma colaboração global, abrangendo diversos talentos de IA e contextos geográficos. Este projeto marca uma implantação significativa dos óculos Aria na comunidade de pesquisa acadêmica.

Leia também:Óculos Meta Ray-Ban: Eles violam a privacidade do usuário?

A introdução do conjunto de dados Ego-Exo4D da Meta representa um passo significativo no campo da IA e do aprendizado de máquina.

A introdução do conjunto de dados Ego-Exo4D da Meta representa um passo significativo no campo da IA e do aprendizado de máquina. Ao integrar perspectivas em primeira e terceira pessoa em um conjunto de dados de vídeo abrangente, ele abre novos caminhos para entender e interpretar habilidades e comportamentos humanos. Essa inovação não apenas amplia o escopo da pesquisa em IA, mas também promete aplicações práticas em realidade aumentada, robótica e muito mais.

O esforço colaborativo, envolvendo uma gama diversificada de entidades qualificadas e uma variedade de cenários do mundo real, garante um conjunto de dados rico e variado que pode levar a sistemas de IA mais matizados e sensíveis ao contexto. Esse desenvolvimento é um testemunho dos avanços progressivos sendo feitos na tecnologia, oferecendo perspectivas empolgantes para pesquisas futuras e aplicações no mundo real.

Com o Ego-Exo4D, a Meta e seus parceiros pretendem acelerar a pesquisa em aprendizado de vídeo por IA. As aplicações potenciais são vastas, variando de experiências de aprendizado em realidade aumentada a robôs aprendendo com a expertise humana. O Ego-Exo4D é um passo significativo em direção a esse futuro, gerando entusiasmo na comunidade de pesquisa pelas possibilidades que ele abre.