- Ego-Exo4D, разработанный Meta и её партнёрами, — пионерский датасет, объединяющий виды от первого лица и внешние виды для исследований в области ИИ.
- Датасет содержит более 1400 часов видео от 800 квалифицированных участников и охватывает разнообразные человеческие навыки.
- Он призван продвинуть ИИ в видеобучении, дополненной реальности и обучении роботов; публичный эталонный конкурс запланирован на 2024 год.
Команда Meta по фундаментальным исследованиям в области искусственного интеллекта (FAIR) вместе с Project Aria и 15 университетскими партнёрамизапустила Ego-Exo4D. Этот инновационный датасет с бенчмарками готов произвести революцию в понимании ИИ человеческих навыков благодаря видеобучению и мультимодальному восприятию.
Ego-Exo4Dуникальным образом сочетает «эгоцентрические» виды от первого лица с портативных камер и несколько «экзоцентрических» видов с окружающих камер. Такое сочетание даёт целостное понимание и перспективы участника, и его окружения.
Глобальное сотрудничество и сбор данных
В разработке Ego-Exo4D участвовал консорциум из более чем 800 квалифицированных участников из шести стран, предоставивших более 1400 часов видео. Датасет, который должен стать открытым в декабре, содержит разметку для новых эталонных задач и подробно описан в технической статье.
Ego-Exo4D сосредоточен на занятиях, требующих навыков: спорт, музыка, кулинария и т. д. Применения простираются от систем дополненной реальности и обучения роботов до социальных сетей, где он может улучшить освоение и понимание навыков.
Объединяя перспективы от первого и третьего лица в обширном видеодатасете, он открывает новые пути для понимания и интерпретации человеческих навыков и поведения. Эта инновация не только расширяет поле исследований ИИ, но и обещает практические применения в дополненной реальности, робототехнике и не только. Совместный проект с участием широкого круга квалифицированных участников и разнообразных реальных сценариев обеспечивает богатый и разнообразный датасет, который может привести к более тонким и контекстно-зависимым системам ИИ.
Это развитие свидетельствует о прогрессе технологий и открывает захватывающие перспективы для будущих исследований и реальных приложений.
Читайте также:Автономный ИИ-генератор изображений Meta: преимущество для человеческой креативности
Характеристики и ресурсы датасета
Будучи крупнейшим публичным датасетом синхронизированных видео от первого и третьего лица, Ego-Exo4D показывает самых разных экспертов — атлетов, танцоров и поваров. Он не только мультивидовый, но и мультимодальный: съёмка велась с помощью передовых технологий, включая очки Aria от Meta, и даёт полные данные — аудио, инерциальные измерения и кадры широкоугольных камер.
В датасет входят богатые видеоязыковые ресурсы: повествования, описания и комментарии экспертов. Эти материалы привязаны к таймкодам видео и дают моделям ИИ детальную информацию о деятельности человека, требующей навыков.
Meta предлагает четыре базовые задачи для исследований эго-экзо видео и предоставляет глубокую разметку, результат более 200 000 часов работы по аннотированию. Публичный эталонный конкурс запланирован на 2024 год, чтобы стимулировать исследования в этой новой области.
Консорциум Ego-Exo4D — пример глобального сотрудничества, объединяющий разнообразные таланты в области ИИ и географические контексты. Проект знаменует значительное развёртывание очков Aria в университетском исследовательском сообществе.
Читайте также:Очки Meta Ray-Ban: нарушают ли они приватность?
Появление датасета Ego-Exo4D от Meta — значительный шаг вперёд в области ИИ и машинного обучения.
Появление датасета Ego-Exo4D от Meta — значительный шаг вперёд в области ИИ и машинного обучения. Объединяя перспективы от первого и третьего лица в обширном видеодатасете, он открывает новые пути для понимания и интерпретации человеческих навыков и поведения. Эта инновация не только расширяет поле исследований ИИ, но и обещает практические применения в дополненной реальности, робототехнике и не только. Совместный проект с участием широкого круга квалифицированных участников и разнообразных реальных сценариев обеспечивает богатый и разнообразный датасет, который может привести к более тонким и контекстно-зависимым системам ИИ.
Это развитие свидетельствует о прогрессе технологий и открывает захватывающие перспективы для будущих исследований и реальных приложений.
С помощью Ego-Exo4D Meta и её партнёры намерены ускорить исследования в области видеобучения ИИ. Потенциальные применения огромны: от обучающих сценариев в дополненной реальности до роботов, перенимающих человеческий опыт. Ego-Exo4D — важный шаг к такому будущему, вызывающий энтузиазм в исследовательском сообществе благодаря открывающимся возможностям.