OpenAI präsentiert ein beeindruckendes neues generatives Videomodell namens Sora, das auf früheren Forschungen zu den Modellen DALL-E und GPT basiert. Sora kann bis zu 60 Sekunden Video aus Textanweisungen generieren und liefert Szenen mit mehreren Charakteren, spezifischen Aktionen und detaillierten Hintergrundinformationen. Sora kann außerdem mehrere Einstellungen in einem generierten Video erstellen. Der weltweit führende Anbieter von KI-Modellen, OpenAI, hat ein Modell namens Sora vorgestellt, das aus Textanweisungen sofort kurze Videos generieren kann.

Bereits Anfang 2023 hatten Unternehmen wie Google, Meta und Startups wie Runway und Pika Labs im hart umkämpften Bereich der multimodalen KI-Modelle ähnliche Modelle veröffentlicht. Die von OpenAI gezeigten Videos erregen jedoch aufgrund ihrer hohen Qualität weiterhin Aufmerksamkeit. Lesen Sie auch: OpenAI heilt die „Trägheit“ von GPT-4 mit neuen Updates. Sora kann mit der realen Welt interagieren. Derzeit sind auf der offiziellen Website von OpenAI nur begrenzte Informationen zu Sora verfügbar.

OpenAI hat den Kontext der Quelldaten für das Training des Modells öffentlich dokumentiert und erklärt lediglich: „Wir bringen der KI bei, die sich bewegende physische Welt zu verstehen und zu simulieren, mit dem Ziel, Modelle zu trainieren, die Menschen bei der Lösung von Problemen helfen, die eine Interaktion mit der realen Welt erfordern.“ OpenAI gibt an, dass Sora aus Textbeschreibungen Videos mit einer Länge von bis zu 60 Sekunden generieren kann, mit Szenen, die mehrere Charaktere, bestimmte Aktionen und präzise Hintergrunddetails enthalten.

Sora kann auch mehrere Einstellungen innerhalb eines generierten Videos erstellen und dabei die Charaktere und visuellen Stile hervorheben. Darüber hinaus kann Sora ganze Videos auf einmal generieren oder generierte Videos verlängern. OpenAI erklärt: „Indem wir das Modell mehrere Bilder auf einmal generieren lassen, lösen wir ein schwieriges Problem: Wir stellen sicher, dass das Subjekt konsistent bleibt, auch wenn es vorübergehend nicht sichtbar ist.“ OpenAI räumt auch ein, dass das aktuelle Sora-Modell Schwächen aufweist.

Es kann Schwierigkeiten haben, physikalische Phänomene in komplexen Szenen genau zu simulieren, und bestimmte kausale Zusammenhänge möglicherweise nicht verstehen. Zum Beispiel könnte eine Person in einen Keks beißen, aber nach dem Biss könnte keine Spur auf dem Keks zu sehen sein. Das Modell kann auch erwähnte räumliche Details wie links und rechts verwechseln und Schwierigkeiten haben, zeitlich ablaufende Ereignisse genau zu beschreiben, wie z. B. einer bestimmten Kamerabewegung zu folgen. Keine Sicherheitsbedenken.

In Bezug auf die KI-Sicherheitsprobleme, die OpenAI-CEO Sam Altman immer wieder anspricht, erklärt OpenAI: „Derzeit wurde Sora ‚Red Teamern‘ (denjenigen, die ‚Red-Team-Tests‘ zu potenziell schädlichen Ausgaben großer KI-Modelle durchführen) zur Verfügung gestellt, um Schäden oder Risiken in kritischen Bereichen zu bewerten. Wir gewähren auch einigen bildenden Künstlern, Designern und Filmemachern Zugang, um Feedback zu sammeln, wie das Modell verbessert werden kann, um es für Kreativprofis so nützlich wie möglich zu machen.“ OpenAI weist darauf hin, dass Sora auf früheren Forschungen zu den Modellen DALL-E und GPT basiert.

Es verwendet die Techniken von DALL·E 3, die es ihm ermöglichen, Textanweisungen in generierten Videos genauer zu befolgen. Neben der Generierung von Videos von Grund auf kann das Modell auch Videos aus vorhandenen Standbildern generieren und Bildinhalte präzise und sorgfältig animieren. Das Modell kann auch vorhandene Videos erweitern oder fehlende Bilder ergänzen. Derzeit wurde die Website von OpenAI mit 48 von Sora generierten Demovideos aktualisiert, die lebendige Farben und realistische Effekte zeigen.