Lust, einen Toten zu interviewen? KI-Synchronisation macht es möglich, aber nicht alle sind begeistert

• Ein Interview mit Steve Jobs wurde kürzlich ausgestrahlt, oder zumindest eine Wiedergeburt seiner Stimme, was die Fortschritte der KI-Synchronisation zeigt.
• KI-Synchronisation kann Risiken und Kosten reduzieren und die Produktivität von Unternehmen verbessern, wirft aber auch Kontroversen sowie ethische und regulatorische Herausforderungen auf.
• Die Zukunft der Synchronisation muss ein Gleichgewicht zwischen Technologie und dem Wesen der menschlichen Leistung finden.

Die Überschneidung von KI und traditionellen Praktiken in der Unterhaltungsindustrie hat Debatten über die Zukunft der Synchronisation ausgelöst. Es bestehen jedoch weiterhin Bedenken hinsichtlich des Systems des Stimmenkaufs und der Fähigkeit der KI, Ton und menschliche Emotionen zu vermitteln.

KI-Synchronisation hat den Markt betreten

Weltweit ist es unbestreitbar, dass KI-Synchronisation auf dem Markt Wellen schlägt, und viele Unternehmen erzielen sogar ordentliche Gewinne. Zu den wichtigsten Anbietern der Branche gehören PlayHT, Captions und Rask AI.

PlayHT

In diesem Jahr drehte sich die erste Folge eines Podcasts namensPodcast.aium den Moderator, der unter anderem über seine Studienzeit, seine Ansichten über Computer, seinen beruflichen Status und seine Überzeugungen mitSteve Jobs, dem Gründer der Apple Group, sprach.

Der Podcast, der Jobs von den Toten zurückbringt, ähnelt stark der Stimme und Intonation von Jobs, so PlayHT, das an Sprachklontechnologie arbeitet, die es Einzelpersonen und Unternehmen ermöglicht, Audioinhalte in großem Umfang zu erstellen. Am 23. November veröffentlichten sie ein KI-Sprachmodell namensOn-Premise. Sie behaupten, es handle sich um das Tool zur Spracherzeugung mit der geringsten Latenz, der höchsten Sicherheit und unbegrenzter Verfügbarkeit im Vergleich zu allen aktuellen Modellen.

Mahmoud Felfel, Gründer von PlayHT, sagte: „Wir haben PlayHT als generative Sprachsynthese- und Sprachklonplattform aufgebaut. Wir begannen mit der Entwicklung des ausgefeiltesten Sprach-Editors, um unseren Kunden die vollständige Kontrolle über die generierten Stimmen zu ermöglichen. Dann investierten wir in die Entwicklung des ersten großen Sprachmodells für Sprachsynthese und Sprachklonierung und erzieltenSOTA-Ergebnissein Bezug auf Sprachqualität und Ausdruckskraft.“

Captions

Captions, ein in New York ansässiges Video-Startup, bietet Untertitelungs-, Bearbeitungs- und Spezialeffektdienste für Social-Media-Inhaltsersteller. Das Unternehmen erweiterte seine Dienstleistungen 2022 um Übersetzungen und führte 2023 die KI-Synchronisation ein. Mit innovativen Funktionen wie AI Eye Contact und automatisch generierten KI-Untertiteln hat Captions über 100.000 tägliche Nutzer und fünf Millionen Content-Ersteller. Trotz der hohen Kosten für das KI-Training ist das Unternehmen profitabel und hat 40 Millionen US-Dollar an Finanzmitteln eingeworben. Seine neueste Innovation,Lipdub, wurde von großen Unternehmen wie ESPN und dem Twitch-Gründer Justin Kan übernommen.

Rask AI

Rask AI, ein KI-gestütztes Video- und Audio-Lokalisierungstool, übersetzt Inhalte in über 130 Sprachen und bietet eine Sprachklonfunktion. Das Tool wurde am 20. März 2023 eingeführt und gewann Anfang April den Preis „Produkt des Tages“ auf Product Hunt. Es hat inzwischen weltweit über 750.000 Nutzer. Zu den wichtigsten Projekten gehört die Synchronisation des französischen Films „THE LEGEND OF AKAM“ ins Portugiesische für die Veröffentlichung in Brasilien. Darüber hinaus verwendet PodcastOne Rask AI, um seine Podcast-Bibliothek ins Spanische zu übersetzen, beginnend mit dem ersten Podcast von Barbara Schroeder, „Bad Bad Thing“.

Durch Prozesse wie Übersetzung, kulturelle Anpassung, Voice-Over oder Synchronisation vereinfacht Rask AI den Lokalisierungsprozess von Videoinhalten erheblich und hilft Unternehmen und Kreativen, lokalisierte Videos effizient und kostengünstig zu produzieren.

Lesen Sie auch:Vom Abchasischen bis zum Zulu: Amazon Transcribe erkennt nun 100 Sprachen

Derzeit verwendete Technologien

Tatsächlich wurden bei der Anwendung von KI im Bereich der Synchronisation bedeutende Fortschritte erzielt, die sich derzeit auf zwei Haupttechnologien konzentrieren. Fast alle KI-Sprachmodelle von Unternehmen basieren auf der Forschung und Entwicklung dieser beiden Kerntechnologien.

Die erste ist die Sprachkonversionstechnologie (VC,Voice Conversion), die es KI ermöglicht, Text in Audio umzuwandeln, indem sie Klangfarbe, Tonhöhe, Sprache und andere Attribute anpasst, während der ursprüngliche Inhalt erhalten bleibt. Sie kann jedoch nicht auf mehrere Sprecher oder emotionale Ausdrücke eingehen. Diese Technologie ähnelt dem Vorlesen und eignet sich für Szenarien, in denen nur die Stimmmerkmale geändert werden müssen, während der ursprüngliche Inhalt erhalten bleibt.

Zweitens ist die Sprachsynthesetechnologie (TTS,Text-to-Speech) in der Lage, geschriebenen Text in interaktive Sprache umzuwandeln. In den letzten Jahren hat es die TTS-Technologie geschafft, emotionale Ausdrücke zu zeigen, wodurch die KI-Synchronisation „menschlicher“ wirkt und nicht mehr den Eindruck einer kalten Mechanik erweckt.

Auswirkungen auf traditionelle Voice-Over-Praktiken

1. Steigerung der Effizienz und Senkung der Kosten

„Durch die Nutzung von Rask AI können Unternehmen ihre Lokalisierungsbemühungen beschleunigen, ein breiteres Publikum erreichen und ihre Markenbekanntheit auf den globalen Märkten verbessern.“

Maria Chmir, CEO und Gründerin von Rask AI

Die Integration von KI in die Synchronisation verbessert die Arbeitseffizienz und senkt die Produktionskosten, indem sie schnell Stimmabdrücke für präzise und kontextuell angemessene Sprachausgaben analysiert. Dies ermöglicht eine schnellere Synchronisation und die Erstellung mehrsprachiger Versionen, was zu einem Paradigmenwechsel in der Herangehensweise von Produktionsfirmen an Synchronisationsprojekte führt.

Rikki Lee Travolta, ein talentierter Schauspieler, sagte: „Der größte Vorteil von KI bei der Sprachausgabe sind die Kosten. Ein Synchronsprecher kostet einen Stundensatz. Hinzu kommen die Kosten für Tontechniker und die Studioraummiete. Mit KI entfallen die meisten oder alle dieser Kosten.“

Maria Chmir, CEO und Gründerin von Rask AI, betont ebenfalls, dass KI ein sehr praktisches Werkzeug für Inhalte oder Unternehmen ist, die international expandieren möchten. „Durch die Nutzung von Rask AI können Unternehmen ihre Lokalisierungsbemühungen beschleunigen, ein breiteres Publikum erreichen und ihre Markenbekanntheit auf den globalen Märkten verbessern.“

2. Risikominderung

KI-Synchronisation kann Risiken für große Unternehmen mindern, wie das Spiel „Tears of Themis“ von Mihoyo zeigt. Als ein Synchronsprecher in einen Rechtsstreit verwickelt war, nutzteMihoyotiefe Synthese, um die Stimme des Schauspielers aus früheren Aufnahmen zu lernen und nachzubilden, was eine automatische Synchronisation ermöglichte. Diese Lösung bewahrte das Spielerlebnis, ohne den Schauspieler ersetzen oder die Figur stumm lassen zu müssen.

3. Förderung der Auslandsverbreitung

Die fehlende Synchronisation zwischen Lippenbewegungen und Stimme in synchronisierten Inhalten ist ein großer Nachteil, der möglicherweise zu ihrer Unbeliebtheit in englischsprachigen Ländern beiträgt. KI kann verwendet werden, um die Lippenbewegungen einer Figur zu ändern, wodurch lokalisierte Inhalte authentischer und ansprechender für die Zuschauer wirken. Chmir sagte im Interview: „Durch die Nutzung von Rask AI können Unternehmen ihre Lokalisierungsbemühungen beschleunigen, ein breiteres Publikum erreichen und ihre Markenbekanntheit auf den globalen Märkten verbessern.“

4. Panik bezüglich des Ersatzes von Menschen durch KI

„Jetzt haben wir genauso viel Angst wie damals, als COVID-19 kam; wir wissen nicht, was passieren wird.“

Daniel Hamvas, Synchronsprecher

Die Anwendung künstlicher Intelligenz in der Sprachausgabe beschränkt sich nicht auf eine einzelne Branche; Unternehmen untersuchen die Möglichkeit, KI zur Synthese verschiedener Sprachausgaben zu verwenden. Traditionell wählen Film-, Fernseh- und Videospielunternehmen Monate im Voraus geeignete Synchronsprecher aus, stellen den Text bereit und nehmen offline auf. Erfahrene Synchronsprecher werden nach Wortzahl und Aufnahmezeit bezahlt. Das Aufkommen der künstlichen Intelligenz hat jedoch eine neue Dynamik gebracht.

Einige Unternehmen neigen dazu, die Stimmen der Synchronsprecher aufzuzeichnen und dann KI zur Synthese zusätzlicher Sprachausgaben zu verwenden, während andere sogar versuchen, die Stimmen der Synchronsprecher durch eine Einmalvereinbarung zu kaufen, um ein geistiges Eigentum an der Stimme zu schaffen, das ausschließlich dem Unternehmen gehört.

Dies wirft Fragen zur Zukunft der Sprachausgabeindustrie auf. Der bekannte Synchronsprecher Daniel Hamvas hat im Laufe der Jahre viele Figuren in ungarischen Inhalten synchronisiert und ist jetzt Leiter der ungarischen Synchronarbeitergewerkschaft.Er ist an vorderster Front des Kampfesund lehnt den Einsatz von KI-Synchronisation entschieden ab, um die Fachleute zu schützen, deren Lebensunterhalt durch die Automatisierung bedroht ist. Hamvas äußerte ihre Bedenken mit den Worten: „Jetzt haben wir genauso viel Angst wie damals, als COVID-19 kam; wir wissen nicht, was passieren wird.“

Herausforderungen und Kontroversen

„Keine noch so große Anzahl von Algorithmen kann die Unvollkommenheiten erzeugen, die eine menschliche Leistung perfekt machen. KI kann eine gute Imitation liefern, aber ein Elvis-Imitator wird niemals Elvis sein.“

Rikki Lee Travolta, talentierter Schauspieler

Trotz der Fortschritte der KI kann es ihr schwerfallen, die Tiefe und Authentizität einzufangen, die menschliche Schauspieler in ihre Darbietungen einbringen. Das Risiko, dass die Synchronisation die menschliche Note verliert, gibt Anlass zur Sorge hinsichtlich des Publikumsengagements und des gesamten Seherlebnisses.

Phil Siegel, Gründer der gemeinnützigen KI-OrganisationCAPTRS, sagte: „Die Modelle sind in der Lage, die charakteristischen Tonalitäten der Stimme zu identifizieren; sie können dies mit sehr wenigen Daten tun, aber wenn man ihnen mehrere Sätze einer Stimme gibt, könnten sie wahrscheinlich eine Stimme erzeugen, die die meisten Menschen nicht von der echten Person unterscheiden können.“

Travolta betont auch, dass KI Menschen letztendlich nicht ersetzen kann. „Und ich erwarte, dass KI weiter Fortschritte macht. Aber sie wird niemals menschlich sein. Keine noch so große Anzahl von Algorithmen kann die Unvollkommenheiten erzeugen, die eine menschliche Leistung perfekt machen. KI kann eine gute Imitation liefern, aber ein Elvis-Imitator wird niemals Elvis sein“, sagte Travolta.

Urheberrechtsschutz für Stimmen

„Die wichtigste Regulierung, über die bereits erwähnten rechtlichen und ethischen Fragen hinaus, ist, dass es einen wachsenden Konsens gibt, dass KI-generierte Inhalte als solche gekennzeichnet werden müssen. Sowohl die verwendeten Werkzeuge als auch die Inputs der ‚Rohstoffe‘. Das Synchronisieren der Stimme von Taylor Swift mit Speechify hätte also ein spezifisches Identifikations-Wasserzeichen.“

Phil Siegel, Gründer der gemeinnützigen KI-OrganisationCAPTRS

Wie die KI-Synchronisation potenzielle ethische und rechtliche Probleme bei der Modellierung angeht, bleibt ein Rätsel. Die meisten Unternehmen stellen derzeit die Einhaltung von Vorschriften und die Sicherheit der Stimmerfassung sicher. Maschinen können nur den Text reproduzieren, der von Personen persönlich vorgelesen wurde, was auch die Erlaubnis der Person selbst erfordert. Siegel betont auch die Bedeutung von Wasserzeichen: „Die wichtigste Regulierung, über die bereits erwähnten rechtlichen und ethischen Fragen hinaus, ist, dass es einen wachsenden Konsens gibt, dass KI-generierte Inhalte als solche gekennzeichnet werden müssen.

Sowohl die verwendeten Werkzeuge als auch die Inputs der ‚Rohstoffe‘. Das Synchronisieren der Stimme von Taylor Swift mit Speechify hätte also ein spezifisches Identifikations-Wasserzeichen.“

Leider gibt es bisher eine Lücke im rechtlichen Schutz bezüglich Urheberrechten an KI-generierten Klängen. Die Definition von Klangfälschung ist ebenfalls sehr vage. Einige Tonprofis sind sich jetzt des Wertes von Klang bewusst, aber sind sich normale Menschen, die müde Software verwenden, der Risiken im Zusammenhang mit Tonlizenzen bewusst?

„Weil die meisten aktuellen Gesetze tatsächlich auf irrationaler Angst beruhen, und wir sind eine Industrie, die sich in erster Linie selbst regulieren muss.“

Maria Chmir, CEO und Gründerin von Rask AI

Als Entwicklerin von KI-Synchronisationsprodukten äußerte auch Chmir ihre Haltung: „Wir verpflichten uns, mit Medienunternehmen, Regierungen und KI-Forschungseinrichtungen zusammenzuarbeiten, um das Bewusstsein zu schärfen und ethische Standards für die Authentizität von KI-Inhalten zu etablieren.“ Wir stehen also noch ganz am Anfang, und es ist wirklich wichtig, transparent über das Geschehen zu sein. Denn die meisten aktuellen Gesetze beruhen tatsächlich auf irrationaler Angst, und wir sind eine Industrie, die sich in erster Linie selbst regulieren muss.

Unsere Produkte machen KI-Technologie für Kreative zugänglich, während sie das Potenzial für unverantwortliche Nutzung einschränken.

Menschliche Faktoren in der Synchronisation

Voice-Over ist viel mehr als nur ein technischer Prozess. Es ist eine Kunstform, die auf der Fähigkeit eines Schauspielers beruht, Emotionen und Nuancen effektiv zu vermitteln. Menschliche Schauspieler bringen eine einzigartige Tiefe an Erfahrung und kulturellem Verständnis in ihre Darbietungen ein, die es ihnen ermöglicht, sich an die Nuancen verschiedener Figuren und Szenen anzupassen. Obwohl KI menschliche Sprachmuster nachahmen kann, bleibt die Frage, ob sie wirklich die emotionale Tiefe und Verbindung reproduzieren kann, die ein menschlicher Schauspieler mit dem Publikum aufbaut.

Die Zukunft der Sprachausgabe: Ein Gleichgewicht finden

Da die Branche KI in die Sprachausgabepraktiken integriert, wird es entscheidend, ein Gleichgewicht zwischen technologischer Innovation und der Bewahrung des Wesens der menschlichen Leistung zu finden. Die Zusammenarbeit zwischen KI und menschlichen Synchronsprechern könnte einen Mittelweg bieten, bei dem die Effizienz der KI die nuancierten Darbietungen menschlicher Schauspieler ergänzt. Dieser hybride Ansatz würde nicht nur den Synchronisationsprozess beschleunigen, sondern auch sicherstellen, dass emotionale Resonanz und kulturelle Unterschiede nicht der Effizienz geopfert werden.

„Einige Experten glauben, dass KI-Synchronisation alle in der Branche ersetzen könnte, obwohl dies weit von der Realität entfernt ist. Es ist treffender, die aktuelle Phase der Co-Kreation zu nennen“, sagte Chmir ebenfalls.