OpenAI enthüllt Sora, ein atemberaubendes generatives Videomodell

OpenAI teases an amazing new generative video model Sora wird von BTW Media profiliert, weil veröffentlichte Belege es mit Internet-Infrastruktur, Governance, operativen Abhängigkeiten oder Marktsichtbarkeit verbinden.

OpenAI präsentiert ein erstaunliches neues generatives Videomodell, Sora, das auf früheren Forschungen zu den Modellen DALL-E und GPT basiert; Sora kann aus Textanweisungen bis zu 60 Sekunden Video generieren und liefert Szenen mit mehreren Charakteren, spezifischen Handlungsarten und detaillierten Hintergrunddetails; Sora kann auch mehrere Einstellungen in einem einzigen generierten Video erstellen. Der weltweit führende Anbieter von KI-Modellen, OpenAI, hat ein Modell namens Sora vorgestellt, das aus Textanweisungen sofort kurze Videos generieren kann.

Bereits 2023, im hart umkämpften Wettbewerb der multimodalen KI-Modelle, hatten Unternehmen wie Google, Meta und Startups wie Runway und Pika Labs ähnliche Modelle veröffentlicht. Die von OpenAI demonstrierten Videos ziehen jedoch aufgrund ihrer hohen Qualität weiterhin Aufmerksamkeit auf sich. Lesen Sie auch: OpenAI heilt die „Faulheit“ von GPT-4 mit neuen Updates. Sora kann mit der realen Welt interagieren. Derzeit sind die Informationen über Sora auf der offiziellen Website von OpenAI begrenzt.

OpenAI hat die Datenquellen für das Modelltraining öffentlich dokumentiert und erklärt lediglich: „Wir bringen der KI bei, die physische Welt in Bewegung zu verstehen und zu simulieren, mit dem Ziel, Modelle zu trainieren, die Menschen helfen, Probleme zu lösen, die eine Interaktion mit der realen Welt erfordern.“ OpenAI gibt an, dass Sora aus Textbeschreibungen Videos mit einer maximalen Dauer von 60 Sekunden generieren kann und dabei Szenen mit mehreren Charakteren, spezifischen Handlungsarten und präzisen Hintergrunddetails liefert.

Sora kann auch mehrere Einstellungen innerhalb eines generierten Videos erstellen und die Charaktere und visuellen Stile hervorheben. Darüber hinaus kann Sora ganze Videos auf einmal generieren oder generierte Videos verlängern, um sie zu erweitern. OpenAI erklärt: „Indem wir das Modell mehrere Bilder gleichzeitig generieren lassen, lösen wir ein schwieriges Problem: sicherzustellen, dass das Subjekt auch dann konsistent bleibt, wenn es vorübergehend nicht sichtbar ist.“ OpenAI räumt auch ein, dass das aktuelle Sora-Modell Schwächen hat.

Es kann Schwierigkeiten haben, physikalische Phänomene in komplexen Szenen genau zu simulieren, und versteht möglicherweise bestimmte kausale Zusammenhänge nicht. Zum Beispiel könnte eine Person einen Bissen von einem Keks nehmen, aber nach dem Biss ist möglicherweise keine Bissspur auf dem Keks zu sehen. Das Modell kann auch räumliche Details wie links und rechts verwechseln und hat möglicherweise Schwierigkeiten, Ereignisse, die sich über die Zeit erstrecken, genau zu beschreiben, etwa einer bestimmten Kameraführung zu folgen. Keine Sorge bezüglich der Sicherheit.

In Bezug auf die KI-Sicherheitsprobleme, die OpenAI-CEO Sam Altman immer wieder anspricht, erklärt OpenAI: „Derzeit wurde Sora ‚Red-Teamern‘ (jenen, die ‚Red-Team-Tests‘ an potenziell schädlichen Ausgaben großer KI-Modelle durchführen) zur Verfügung gestellt, um Schäden oder Risiken in kritischen Bereichen zu bewerten. Wir gewähren auch einigen visuellen Künstlern, Designern und Filmemachern Zugang, um Feedback zur Verbesserung des Modells zu erhalten, um es für Kreativprofis so nützlich wie möglich zu machen.“ OpenAI gibt an, dass Sora auf früheren Forschungen zu den Modellen DALL-E und GPT basiert.

Es nutzt die Techniken von DALL·E 3, wodurch es den Textanweisungen der Nutzer in den generierten Videos genauer folgen kann. Neben der Generierung von Videos von Grund auf kann das Modell auch Videos aus vorhandenen statischen Bildern erstellen und den Bildinhalt präzise und detailliert animieren. Das Modell kann auch bestehende Videos extrahieren und fehlende Bilder verlängern oder ergänzen. Derzeit wurde die OpenAI-Website mit 48 von Sora generierten Demovideos aktualisiert, die leuchtende Farben und realistische Effekte zeigen.