• Fatih Porikli, член IEEE и глобальный руководитель направления AI Systems в Qualcomm AI Research, недавно рассказал в подкасте The TWIML AI Podcast о своих мыслях о генеративном ИИ и традиционных темах компьютерного зрения.
  • Продолжаются работы по улучшению алгоритмов оптического потока, в том числе с помощью таких методов, как спекулятивное декодирование и самоочищающаяся инверсия.
  • Растущее использование стереоизображений в XR-гарнитурах и автономных транспортных средствах требует эффективных методов сжатия. Такие инновации, как параллельное гиперкодирование, снижают избыточность и обеспечивают минимальную задержку в приложениях стереоизображений.

НАША ОЦЕНКА
Поскольку требования к ИИ резко возросли, ответы на текстовые вопросы больше не могут удовлетворить потребности пользователей. Поэтому обновлённая модель ИИ создана с расширенным набором функций, включая анализ математических графиков.
– Audrey Huang, корреспондент BTW

Fatih Porikli, член IEEE и глобальный руководитель направления AI Systems в Qualcomm AI Research, недавно рассказал в подкасте The TWIML AI Podcast о своих мыслях о генеративном ИИ и традиционных темах компьютерного зрения. Он выделил пять важных идей.

1. Достижения мультимодальных моделей

В ходе обсуждений были отмечены значительные достижения в области мультимодальных моделей, особенно тех, которые интегрируют обработку языка и изображений. Эти модели стремятся интерпретировать сложныеданные, например математические графики, используя информацию из нескольких модальностей. Это важный шаг к созданию системИИ, способных понимать разнообразные типы входных данных и выполнять сложные задачи рассуждения.

Читайте также:OpenAI срывает 5 тайных операций влияния с помощью моделей ИИ

Читайте также:ИИ лжёт: стоит ли беспокоиться о лживых моделях ИИ?

2. Оптимизация оптического потока

Исследователи активно работают над улучшением алгоритмовоптического потока, которые необходимы для таких задач, как сжатие видео и анализ движения. Такие методы, как спекулятивное декодирование и самоочищающаяся инверсия, направлены на повышение точности и эффективности оптического потока, что позволяет обрабатывать видео в реальном времени на таких устройствах, как мобильные телефоны. Эти достижения отвечают растущему спросу на высококачественную обработку видео в различных приложениях.

3. Эффективные методы сжатия для стереоизображений

С ростом использования стереоизображений в таких устройствах, как XR-гарнитуры и автономные транспортные средства, эффективное сжатие стереопотоков становится критически важным. Новые подходы, такие как параллельное гиперкодирование и двунаправленные модули сдвига, позволяют выполнять сжатие с учётом стереоэффекта, сокращая избыточность и обеспечивая значительную экономию битрейта при минимальной задержке. Эти методы открывают путь к более эффективной передаче и хранению данных в приложениях стереоизображений.

4. Демонстрации ИИ на устройстве

На демонстрациях были показаны практические применения ИИ на мобильных устройствах: от переосвещения портретов и создания аватаров до ИИ-ассистентов с распознаванием лиц в дополненной реальности. Эти демонстрации подчёркивают потенциал ИИ на устройстве для улучшения пользовательского опыта в различных областях, включая фотографию, общение и дополненную реальность. Запуская алгоритмы ИИ непосредственно на мобильных устройствах, пользователи могут получить доступ к расширенным функциям без необходимости облачной обработки, что обеспечивает более быстрые и плавные взаимодействия.

5. Выводы из семинаров

Семинары, посвящённые эффективным большим моделям зрения и всенаправленному компьютерному зрению, дали ценную информацию о новых тенденциях и проблемах в разработке моделей зрения. Они подчеркнули важность эффективного развёртывания больших моделей на периферийных устройствах и рассмотрели особенности обработки всенаправленных изображений. Эти семинары служат площадками для сотрудничества и обмена знаниями между исследователями и отраслевыми специалистами, способствуя развитию исследований и применений моделей зрения.