• 苹果与加州大学圣巴巴拉分校合作推出 MGIE，允许用户通过文字描述编辑照片。
  • MGIE 通过使用用户的文字提示并生成视觉编辑，更加高效和灵活。
  • 但 MGIE 的未来应用仍悬而未决。

苹果研究人员推出了一种新模型，让用户用简单语言描述照片修改需求，无需接触编辑软件。

一种新模式

苹果研究人员与加州大学圣巴巴拉分校合作，推出了 MGIE，这是一种新颖的模型，允许用户通过文字描述照片编辑，无需直接使用编辑软件。这种 mllm 引导的图像编辑模型可以进行裁剪、调整大小、翻转和添加滤镜，以适应基本和复杂的编辑任务。通过解读用户提示并生成视觉编辑，MGIE 让用户只需输入所需的更改。

另请阅读：苹果计划今年晚些时候推出生成式 AI 创新

更智能的响应

使用 MGIE 编辑照片时，用户只需输入他们想要修改的图像。论文以编辑意大利辣肠披萨图片为例。输入提示“让它更健康”将添加蔬菜配料。一张撒哈拉沙漠中的老虎照片看起来很暗，但在告诉模型‘增加更多对比度以模拟更多光线’后，照片看起来更亮了。

仍悬而未决

苹果在 GitHub 上发布了 MGIE，并在 hug Face Spaces 上发布了网络演示，但其未来应用仍悬而未决。这一进展类似于其他平台，如 OpenAI 的 DALL-E 3，它也使用文本输入进行图像编辑。