Want to interview a dead guy? AI dubbing makes it possible, but not everyone’s a fan

• Une interview de Steve Jobs a récemment été diffusée, ou du moins une réincarnation de sa voix, montrant les progrès du doublage par IA.
• Le doublage IA peut réduire les risques, les coûts et améliorer la productivité des entreprises, mais il soulève également des controverses et des défis éthiques et réglementaires.
• L'avenir du doublage doit trouver un équilibre entre la technologie et l'essence de l'interprétation humaine.

L'intersection de l'IA et des pratiques traditionnelles dans l'industrie du divertissement a suscité des débats sur l'avenir du doublage. Cependant, des inquiétudes persistent concernant le système de rachat des voix et la capacité de l'IA à transmettre le ton et les émotions humaines. Voir aussi: Registre des membres disparaissant de l'AfriNIC.

Le doublage IA a fait son entrée sur le marché

Partout dans le monde, il est indéniable que le doublage IA commence à faire des vagues sur le marché, de nombreuses entreprises réalisant même des bénéfices décents. Parmi les principaux fournisseurs du secteur figurent PlayHT, Captions et Rask AI. Voir aussi: AfriNIC: disparition du registre des membres.

PlayHT

Cette année, le premier épisode d'un podcast intitulé Podcast.ai mettait en scène l'animateur discutant de ses années d'université, de ses opinions sur les ordinateurs, de son statut professionnel et de ses convictions, entre autres, avec Steve Jobs, le fondateur d'Apple.

Le podcast, qui ressuscite Jobs, présente une voix et une intonation très proches de celles de Jobs, selon PlayHT, qui travaille sur une technologie de clonage vocal permettant aux particuliers et aux entreprises de créer du contenu audio à grande échelle. Le 23 novembre, ils ont publié un modèle vocal d'IA appelé On-Premise. Ils affirment qu'il s'agit de l'outil de génération vocale offrant la latence la plus rapide, une sécurité élevée et une disponibilité illimitée parmi tous les modèles actuels.

Mahmoud Felfel, fondateur de PlayHT, a déclaré: « Nous avons construit PlayHT comme une plateforme de parole générative et de clonage vocal. Nous avons commencé par créer l'éditeur vocal le plus sophistiqué pour permettre à nos clients de contrôler pleinement leurs voix générées. Nous avons ensuite investi dans la construction du premier grand modèle de langage pour la synthèse vocale et le clonage vocal, et obtenu des résultats de pointe en qualité et expressivité vocales. »

Captions

Captions, une startup vidéo basée à New York, propose des services de sous-titrage, de montage et d'effets spéciaux pour les créateurs de contenu sur les réseaux sociaux. Elle s'est étendue aux services de traduction en 2022 et a introduit le doublage IA en 2023. Avec des fonctionnalités innovantes telles que le contact visuel IA et les sous-titres générés automatiquement par IA, Captions compte plus de 100 000 utilisateurs quotidiens et cinq millions de créateurs. Malgré des coûts élevés de formation de l'IA, l'entreprise est rentable et a levé 40 millions de dollars de financement. Sa dernière innovation, Lipdub, a été adoptée par des entités majeures comme ESPN et le fondateur de Twitch, Justin Kan.

Rask AI

Rask AI, un outil de localisation vidéo et audio alimenté par l'IA, traduit le contenu dans plus de 130 langues et propose une fonction de clonage vocal. Lancé le 20 mars 2023 et élu Produit du jour sur Product Hunt début avril, il compte désormais plus de 750 000 utilisateurs dans le monde. Les projets clés incluent le doublage du film français « LA LÉGENDE D'AKAM » en portugais pour sa sortie au Brésil. De plus, PodcastOne utilise Rask AI pour traduire sa bibliothèque de podcasts en espagnol, en commençant par le premier podcast de Barbara Schroeder, « Bad Bad Thing ».

Grâce à des processus tels que la traduction, l'adaptation culturelle, la voix off ou le doublage, Rask AI simplifie considérablement la localisation de contenu vidéo, aidant les entreprises et les créateurs à produire des vidéos localisées de manière efficace et économique. Voir aussi: Alejandro Fernandez.

Lire aussi: De l'abkhaze au zoulou: Amazon Transcribe peut désormais reconnaître 100 langues

Technologies actuellement utilisées

En effet, des progrès significatifs ont été réalisés dans l'application de l'IA au domaine du doublage, qui se concentre actuellement sur deux technologies principales. Presque tous les modèles vocaux d'IA des entreprises reposent sur la R&D de ces deux technologies de base. Voir aussi: Aldo Garcia.

La première est la technologie de conversion vocale (VC) qui permet à l'IA de convertir du texte en audio en ajustant le timbre, la tonalité, la langue et d'autres attributs tout en conservant le contenu original; cependant, elle ne peut pas prendre en compte les interactions à plusieurs personnes ni les expressions émotionnelles. Cette technologie s'apparente à la lecture à voix haute et convient aux scénarios nécessitant uniquement un changement de caractéristiques vocales tout en conservant le contenu original.

Deuxièmement, la technologie de synthèse vocale (TTS) est capable de convertir un texte écrit en parole interactive. Ces dernières années, la technologie TTS a pu montrer des expressions émotionnelles, rendant le doublage IA plus « humain » et ne donnant plus une sensation mécanique froide.

Implications pour les pratiques traditionnelles de voix off

1. Améliorer l'efficacité et réduire les coûts

« En tirant parti de Rask AI, les entreprises peuvent accélérer leurs efforts de localisation, atteindre un public plus large et améliorer la reconnaissance de leur marque sur les marchés mondiaux. » Voir aussi: Alcymer Vieira.

Maria Chmir, PDG et fondatrice de Rask AI

L'intégration de l'IA dans le doublage améliore l'efficacité du travail et réduit les coûts de production en analysant rapidement les empreintes vocales pour des répliques précises et adaptées au contexte. Cela permet un doublage plus rapide et la création de versions multilingues, entraînant un changement de paradigme dans l'approche des sociétés de production vis-à-vis des projets de doublage. Voir aussi: Alcides Cremonezi.

Rikki Lee Travolta, un acteur talentueux, a déclaré: « Le plus grand avantage de l'IA dans la voix off, c'est le coût. Un acteur de voix off syndiqué coûte un tarif horaire. Ajoutez à cela le coût des ingénieurs et la location du studio. Avec l'IA, vous éliminez la plupart, voire la totalité de ces coûts. »

Maria Chmir, PDG et fondatrice de Rask AI, affirme également que l'IA est un outil vraiment pratique pour les contenus ou les entreprises qui s'exportent. « En tirant parti de Rask AI, les entreprises peuvent accélérer leurs efforts de localisation, atteindre un public plus large et améliorer la reconnaissance de leur marque sur les marchés mondiaux. »

2. Réduction des risques

Le doublage IA peut atténuer les risques pour les grandes entreprises, comme l'a démontré le jeu « Tears of Themis » de Mihoyo. Lorsqu'un acteur vocal a été impliqué dans un litige, Mihoyo a utilisé la synthèse profonde pour apprendre et reproduire la voix de l'acteur à partir d'enregistrements précédents, permettant un doublage automatique. Cette solution a préservé l'expérience de jeu sans avoir à remplacer l'acteur ni à laisser le personnage sans voix.

3. Favoriser la diffusion à l'étranger

Le manque de synchronisation entre les mouvements des lèvres et la voix dans les contenus doublés est un inconvénient majeur, contribuant potentiellement à leur impopularité dans les pays anglophones. L'IA peut être utilisée pour modifier les mouvements labiaux d'un personnage, rendant le contenu localisé plus authentique et attrayant pour les spectateurs. Chmir a déclaré dans l'interview: « En tirant parti de Rask AI, les entreprises peuvent accélérer leurs efforts de localisation, atteindre un public plus large et améliorer la reconnaissance de leur marque sur les marchés mondiaux. » Voir aussi: Alberto Anaya.

4. Panique face au remplacement des humains par l'IA

« Nous sommes maintenant aussi effrayés que lorsque le COVID-19 est arrivé; nous ne savons pas ce qui va se passer. » Voir aussi: Albert Kis.

Daniel Hamvas, acteur vocal

L'application de l'intelligence artificielle dans la voix off ne se limite pas à une seule industrie; les entreprises explorent la possibilité d'utiliser l'IA pour synthétiser différentes répliques. Traditionnellement, les sociétés de cinéma, de télévision et de jeux vidéo sélectionnent des acteurs vocaux appropriés des mois à l'avance, fournissent le texte et enregistrent hors ligne. Les acteurs vocaux expérimentés sont payés en fonction du nombre de mots et du temps passé à enregistrer. Cependant, l'avènement de l'intelligence artificielle a apporté une nouvelle dynamique.

Certaines entreprises ont tendance à enregistrer les voix des acteurs, puis à utiliser l'IA pour synthétiser des répliques supplémentaires, tandis que d'autres tentent même de racheter la voix des acteurs par un accord unique afin de créer une propriété intellectuelle vocale propre à l'entreprise.

Cela soulève des questions sur l'avenir de l'industrie de la voix off. Le célèbre acteur vocal Daniel Hamvas a prêté sa voix à de nombreux personnages dans des contenus doublés en hongrois au fil des ans et est aujourd'hui le leader du syndicat des travailleurs du doublage hongrois. Il est en première ligne de la bataille, s'opposant farouchement à l'utilisation du doublage IA pour protéger les professionnels dont les moyens de subsistance sont menacés par l'automatisation. Hamvas a exprimé leurs inquiétudes en disant: « Nous sommes maintenant aussi effrayés que lorsque le COVID-19 est arrivé; nous ne savons pas ce qui va se passer. »

Défis et controverses

« Aucun nombre d'algorithmes ne peut créer les imperfections qui rendent une performance humaine parfaite. L'IA peut faire une bonne imitation, mais un imitateur d'Elvis ne sera jamais Elvis. »

Rikki Lee Travolta, un acteur talentueux

Malgré les progrès de l'IA, elle peut avoir du mal à saisir la profondeur et l'authenticité que les acteurs humains apportent à leurs performances. Le risque que le doublage perde la touche humaine suscite des inquiétudes quant à l'engagement du public et à l'expérience visuelle globale.

Phil Siegel, fondateur de l'organisation à but non lucratif d'IA CAPTRS, a affirmé: « Les modèles sont capables d'identifier les tonalités caractéristiques de la voix; ils peuvent le faire avec très peu de données, mais si vous leur fournissez plusieurs phrases d'une voix, ils seraient probablement capables de produire une voix que la plupart des gens ne pourraient pas distinguer de la personne réelle. »

Travolta souligne également que l'IA ne peut finalement pas remplacer les humains. « Et je m'attends à ce que l'IA continue de progresser. Mais elle ne sera jamais humaine. Aucun nombre d'algorithmes ne peut créer les imperfections qui rendent une performance humaine parfaite. L'IA peut faire une bonne imitation, mais un imitateur d'Elvis ne sera jamais Elvis. » a déclaré Travolta.

Protection des droits d'auteur sur le son

« La réglementation la plus importante, au-delà des questions juridiques et éthiques mentionnées, est qu'il y a un consensus croissant sur le fait que le contenu généré par l'IA doit être identifié comme tel. À la fois les outils utilisés et les données d'entrée. »

Phil Siegel, fondateur de l'organisation à but non lucratif d'IA CAPTRS

La manière dont le doublage IA traite les problèmes éthiques et juridiques potentiels dans la modélisation reste une énigme. La plupart des entreprises assurent actuellement la conformité et la sécurité de la capture vocale. Les machines ne peuvent reproduire que du texte lu par des personnes en personne, ce qui nécessite également l'autorisation de la personne elle-même. Siegel souligne également l'importance du filigrane: « La réglementation la plus importante, au-delà des questions juridiques et éthiques mentionnées, est qu'il y a un consensus croissant sur le fait que le contenu généré par l'IA doit être identifié comme tel.

À la fois les outils utilisés et les données d'entrée. Ainsi, le doublage de la voix de Taylor Swift avec Speechify aurait un filigrane d'identification spécifique. »

Malheureusement, il existe jusqu'à présent une lacune dans la protection juridique dans le domaine du droit d'auteur sur le son généré par l'IA. La définition de la contrefaçon sonore est également très vague. Certains professionnels du son sont désormais conscients de la valeur du son, mais les gens ordinaires utilisant des logiciels obsolètes sont-ils conscients des risques liés aux licences sonores ?

« Parce que la plupart des législations actuelles sont en fait basées sur une peur irrationnelle, et nous sommes une industrie qui doit d'abord et avant tout s'autoréglementer. »

Maria Chmir, PDG et fondatrice de Rask AI

En tant que développeur de produits de doublage IA, Chmir a également exprimé son attitude: « Nous nous engageons à travailler avec les entreprises de médias, les gouvernements et les institutions de recherche en IA pour sensibiliser et établir des normes éthiques autour de l'authenticité du contenu en IA. » Nous n'en sommes donc qu'au tout début, et il est vraiment important d'être ouvert sur ce qui se passe. Parce que la plupart des législations actuelles sont en fait basées sur une peur irrationnelle, et nous sommes une industrie qui doit d'abord et avant tout s'autoréglementer.

Nos produits rendent la technologie de l'IA accessible aux créateurs tout en limitant le potentiel d'utilisation irresponsable. »

Facteurs humains dans le doublage

La voix off est plus qu'un simple processus technique. C'est une forme d'art qui repose sur la capacité d'un acteur à transmettre efficacement l'émotion et la nuance. Les acteurs humains apportent une profondeur unique d'expérience et de compréhension culturelle à leurs performances, leur permettant de s'adapter aux nuances des différents personnages et scènes. Bien que l'IA puisse imiter les schémas de parole humains, la question reste de savoir si elle peut véritablement reproduire la profondeur émotionnelle et la connexion qu'un acteur humain établit avec un public.

L'avenir de la voix off: trouver l'équilibre

Alors que l'industrie intègre l'IA dans les pratiques de voix off, trouver un équilibre entre l'innovation technologique et la préservation de l'essence de la performance humaine devient essentiel. La collaboration entre l'IA et les acteurs vocaux humains pourrait offrir un terrain d'entente où l'efficacité de l'IA complète les performances nuancées des acteurs humains. Cette approche hybride accélérerait non seulement le processus de doublage, mais garantirait également que la résonance émotionnelle et les différences culturelles ne soient pas sacrifiées au nom de l'efficacité.

« Certains experts pensent que le doublage IA pourrait remplacer tout le monde dans l'industrie, bien que ce soit loin de la réalité. Il est plus juste de qualifier l'étape actuelle de co-création », a également déclaré Chmir.