- Apple в партнёрстве с Калифорнийским университетом в Санта-Барбаре представила модель MGIE, которая позволяет пользователям редактировать фотографии с помощью текстовых описаний.
- MGIE отличается большей эффективностью и гибкостью за счёт текстовых подсказок пользователя и генерации визуальных правок.
- Однако будущие применения MGIE пока остаются под вопросом.
Исследователи Apple представили новую модель, которая позволяет пользователям описывать, как они хотят изменить фотографии, простым языком, не прикасаясь к программе для редактирования фотографий.
Новая модель
Исследователи Apple совместно с Калифорнийским университетом в Санта-Барбаре представили MGIE — новую модель, которая позволяет описывать правки фотографий текстом без непосредственного использования программы редактирования. Эта модель редактирования изображений, управляемая MLLM, поддерживает кадрирование, изменение размера, отражение и применение фильтров, чтобы выполнять как простые, так и сложные задачи редактирования. Интерпретируя подсказки пользователя и генерируя визуальные правки, MGIE позволяет просто ввести желаемые изменения.
Также читайте:Apple готовится представить генеративные ИИ-инновации в этом году
Более интеллектуальный отклик
При редактировании фотографии с помощью MGIE пользователю достаточно загрузить изображение, которое нужно изменить. В статье приводится пример редактирования фотографии пиццы пепперони. Ввод подсказки «Сделай её полезнее» добавит овощную начинку. Фотография тигра в пустыне Сахара выглядит тёмной, но после команды модели «добавь больше контраста, чтобы имитировать больше света» фотография становится ярче.
Пока неясно
Apple анонсировала MGIE на GitHub и разместила веб-демо на Hugging Face Spaces, однако будущее приложение пока остаётся под вопросом. Это достижение похоже на другие платформы, такие как DALL-E 3 от OpenAI, где для редактирования изображений также используется текстовый ввод.