• Конкуренция с Google Gemini: широкий диапазон параметров MM1 соперничает с первыми версиями моделей ИИ Google.
  • Инновационное обучение в контексте: способность MM1 понимать новые запросы и отвечать на них на основе текущего контекста диалога.

Apple представила MM1 — новое поколение мультимодальных моделей, которые легко интерпретируют изображения и текст и взаимодействуют с ними, открывая путь к более интуитивному и отзывчивому опыту использованияSiri и iMessage.

MM1: пионер мультимодального ИИ

Apple представила MM1 — инновационный набор мультимодальных ИИ-моделей, способных обрабатывать как визуальные образы, так и текстовые данные. Эти модели могут похвастаться впечатляющим числом параметров — до 30 миллиардов, что делает их достойным соперником первых версий моделей Google Gemini.

Читайте также:Anthropic заявляет, что её новейшая модель ИИ превосходит GPT-4

Модели MM1 оснащены способностью интерпретировать и выполнять инструкции, включающие визуальные и текстовые элементы. Например, ИИ может рассчитать общую стоимость двух напитков, анализируя информацию о ценах, указанную в меню.

Одна из ключевых особенностей MM1 — способность к обучению в контексте. Это позволяет модели понимать и отвечать на запросы на основе контекстуальной информации, присутствующей в текущем диалоге, без необходимости специального переобучения или донастройки под каждый новый запрос или задачу.

Эта способность к контекстному обучению может позволить модели создавать подробные описания изображений или отвечать на вопросы о содержимом изображений, даже если ранее она не сталкивалась с подобным контентом.

Читайте также:Apple покажет «усовершенствования visionOS» на WWDC 2024

Улучшение пользовательского опыта

Что касается улучшения пользовательского опыта, Apple может использовать мультимодальные способности MM1 для повышения производительности своего голосового помощника Siri. Это позволит Siri отвечать на вопросы, основанные на визуальных данных, например на изображениях. Кроме того, MM1 может помочь интерпретировать контекст изображений и текстовых сообщений, которыми обмениваются через iMessage, и предлагать пользователям более релевантные варианты ответов.