NVIDIA запускает Cosmos 3 для физического ИИ

NVIDIA представила Cosmos 3 — открытую фундаментальную модель физического ИИ, построенную на архитектуре mixture-of-transformers. Семейство моделей ориентировано на робототехнику, автономные транспортные средства и визуальных агентов и включает версии Super, Nano и грядущую Edge. Сигнал: NVIDIA расширяет своё влияние от ИИ-вычислений до модельного и программного стека физического ИИ.

• Версии Super, Nano и Edge нацелены на точность, скорость и периферийный инференс

• Cosmos 3 лидирует в бенчмарках открытых моделей; участники коалиции охватывают робототехнику, генерацию видео и автономные транспортные средства

Суть

NVIDIA представила Cosmos 3 — открытую фундаментальную модель физического ИИ, построенную на архитектуре mixture-of-transformers. Модель нативно поддерживает понимание и генерацию текста, изображений, видео, окружающих звуков и действий. Обученная на миллиардах мультимодальных образцов физического ИИ, Cosmos 3 способна сократить циклы обучения и оценки с нескольких месяцев до нескольких дней. Cosmos 3 занимает первое место среди открытых моделей в ряде бенчмарков физического ИИ по генерации миров, политике действий и визуальному пониманию.

В линейку входят версии Super, Nano и грядущая версия Edge, а в состав Cosmos Coalition входят Agile Robots, Runway и Skild AI.

Анализ

Cosmos 3 расширяет присутствие NVIDIA за пределы аппаратного обеспечения — в программный слой разработки физического ИИ. Сочетая генерацию синтетических данных, моделирование мира и обучение политикам действий в семействе открытых моделей, NVIDIA снижает порог входа для робототехники, автономных транспортных средств и визуальных агентов. Стратегический сигнал заключается не только в производительности модели, но и в попытке NVIDIA сделать свой стек стандартным путём от симуляции до развёртывания в реальном мире — сценарий, напоминающий доминирование CUDA в GPU-вычислениях.

Для читателей BTW требования версии Edge к инференсу в реальном времени покажут, способен ли встроенный чип NVIDIA (Jetson) справляться с чувствительными к задержкам робототехническими нагрузками.

Что отслеживать

Следите за задержкой и энергопотреблением Cosmos Edge в реальных развёртываниях, за приложениями, которые создаёт коалиция, и за тем, стимулирует ли семейство моделей спрос на Jetson и DGX.