• Fatih Porikli，IEEE 会士兼 Qualcomm AI Research 全球 AI 系统负责人，最近在 The TWIML AI Podcast 上分享了他对生成式 AI 和传统计算机视觉主题的看法。
  • 正在努力提升光流算法，采用推测解码和自清洁反演等技术。
  • XR 头戴设备和自动驾驶汽车中立体成像的使用日益增多，推动了对高效压缩技术的需求。并行超编码等创新方法减少了冗余，同时在立体成像应用中确保最小延迟。

我们的观点
随着对 AI 的需求急剧增长，仅仅回答文本问题已无法满足用户的需求。因此，升级后的 AI 模型被构建为具有更广泛的功能，包括分析数学图表。
–Audrey Huang，BTW 记者

Fatih Porikli，IEEE 会士兼 Qualcomm AI Research 全球 AI 系统负责人，最近在 The TWIML AI Podcast 上分享了他对生成式 AI 和传统计算机视觉主题的看法。以下是他观点的 5 个重要思路。

1. 多模态模型进展

讨论突出了多模态模型的显著进展，特别是那些集成语言和图像处理的模型。这些模型旨在通过利用来自多种模态的信息来解释复杂的数据，例如数学图表。这代表着向开发能够理解多种输入类型并执行复杂推理任务的AI系统迈出了关键一步。

另请阅读：OpenAI 使用 AI 模型挫败 5 起秘密影响行动

另请阅读：AI 谎言：我们应该担心具有欺骗性的 AI 模型吗？

2. 光流优化

研究人员正在积极改进光流算法，这对于视频压缩和运动分析等任务至关重要。推测解码和自清洁反演等技术旨在提高光流的准确性和效率，从而在手机等设备上实现实时处理。这些进步满足了各种应用中对高质量视频处理日益增长的需求。

3. 立体成像的高效压缩技术

随着 XR 头戴设备和自动驾驶汽车等设备中立体成像的使用日益增多，立体流的高效压缩变得至关重要。并行超编码和双向移位模块等新颖方法实现了立体感知压缩，减少了冗余，在最小化延迟的同时实现了显著的比特率节省。这些技术为立体成像应用中更有效的数据传输和存储铺平了道路。

4. 设备端 AI 演示

演示展示了移动设备上 AI 的实际应用，从人像重打光和头像生成到具有 AR 面部识别功能的 AI 助手。这些演示突出了设备端 AI 在摄影、通信和增强现实等多个领域提升用户体验的潜力。通过在移动设备上直接运行 AI 算法，用户无需依赖云端处理即可使用高级功能，从而实现更快、更无缝的交互。

5. 研讨会见解

关于高效大视觉模型和全景计算机视觉的研讨会为视觉模型开发中的新兴趋势和挑战提供了宝贵的见解。它们强调了在边缘设备上高效部署大型模型的重要性，并探讨了处理全景图像的特殊考虑因素。这些研讨会为研究人员和行业专业人士提供了合作与知识共享的平台，推动了视觉模型研究和应用的进步。