- Apple hat sich mit der UC Santa Barbara zusammengetan, um MGIE einzuführen, das es Benutzern ermöglicht, Fotos durch Textbeschreibungen zu bearbeiten.
- MGIE ist effizienter und flexibler, da es die Textanweisungen des Benutzers nutzt und visuelle Bearbeitungen generiert.
- Die zukünftigen Anwendungen von MGIE sind jedoch noch ungewiss.
Forscher von Apple haben ein neues Modell vorgestellt, mit dem Benutzer in einfacher Sprache beschreiben können, wie sie ihre Fotos ändern möchten, ohne eine Bildbearbeitungssoftware verwenden zu müssen.
Ein neues Modell
Forscher von Apple in Zusammenarbeit mit der UC Santa Barbara haben MGIE präsentiert, ein innovatives Modell, das die Beschreibung von Fotobearbeitungen per Text ermöglicht, ohne direkt eine Bearbeitungssoftware zu verwenden. Dieses MLLM-gesteuerte Bearbeitungsmodell kann zugeschnitten, in der Größe verändert, gespiegelt werden und es können Filter angewendet werden, um sich sowohl für einfache als auch für komplexe Aufgaben anzupassen. Durch die Interpretation der Benutzeranweisungen und die Generierung visueller Bearbeitungen ermöglicht MGIE den Benutzern, die gewünschten Änderungen einfach einzugeben.
Eine intelligentere Antwort
Um ein Foto mit MGIE zu bearbeiten, reicht es aus, das zu bearbeitende Bild bereitzustellen. Der Artikel nimmt das Beispiel der Bearbeitung eines Fotos einer Pepperoni-Pizza. Die Eingabe der Anweisung „Machen Sie es gesünder“ fügt Gemüsebelag hinzu. Ein Foto eines Tigers in der Sahara-Wüste erscheint dunkel, aber nachdem das Modell aufgefordert wurde, „mehr Kontrast hinzuzufügen, um mehr Licht zu simulieren“, wird das Foto heller.
Noch ungewiss
Apple hat MGIE auf GitHub angekündigt und eine Web-Demo auf Hugging Face Spaces veröffentlicht, aber seine zukünftige Anwendung bleibt ungewiss. Dieser Fortschritt ähnelt anderen Plattformen wie DALL-E 3 von OpenAI, die ebenfalls Texteingaben für die Bildbearbeitung nutzen.