Want to interview a dead guy? AI dubbing makes it possible, but not everyone’s a fan

• Una entrevista con Steve Jobs salió al aire recientemente, o al menos, una reencarnación de su voz, mostrando cómo ha avanzado el doblaje con IA.
• El doblaje con IA puede reducir riesgos, costos y mejorar la productividad de las empresas, pero también plantea controversias y desafíos éticos y regulatorios.
• El futuro del doblaje debe equilibrar la tecnología con la esencia de la interpretación humana.

La intersección de la IA y las prácticas tradicionales en la industria del entretenimiento ha provocado debates sobre el futuro del doblaje. Sin embargo, persisten las preocupaciones sobre el sistema de compra total de los derechos de doblaje y la capacidad de la IA para transmitir el tono y las emociones humanas. Ver también: El registro de miembros desaparecido de AfriNIC.

El doblaje con IA ha entrado en el mercado

En todo el mundo, es innegable que el doblaje con IA ha comenzado a agitar el mercado, con muchas empresas obteniendo ganancias considerables. Algunos de los principales proveedores de la industria incluyen a PlayHT, Captions y Rask AI. Ver también: Desaparición del registro de miembros de AfriNIC.

PlayHT

Este año, el primer episodio de un podcast llamado Podcast.ai presentó al anfitrión del podcast discutiendo sus días universitarios, sus puntos de vista sobre las computadoras, su situación laboral y sus creencias, entre otras cosas, con Steve Jobs, el fundador de Apple Group.

El podcast, que trae a Jobs de vuelta de entre los muertos, es muy similar a la voz y entonación de Jobs, según PlayHT, quienes están trabajando en una tecnología de clonación de sonido que permitirá a individuos y empresas crear contenido de audio a escala. El 23 de noviembre, lanzaron un modelo de IA de voz llamado On-Premise. Afirman que esta es la herramienta de generación de voz con la latencia más rápida, alta seguridad y disponibilidad ilimitada disponible en cualquier modelo actual.

Mahmoud Felfel, fundador de PlayHT, dijo: “Construimos PlayHT como una plataforma para la generación de voz y clonación de voz. Comenzamos construyendo el editor de voz más sofisticado para ayudar a nuestros clientes a tener control total sobre sus voces generadas. Luego invertimos en la construcción del primer Modelo de Lenguaje Grande para Síntesis de Voz y Clonación de Voz y logramos resultados SOTA en calidad y expresividad de voz.”

Captions

Captions, una startup de video con sede en Nueva York, ofrece servicios como subtitulado de texto, edición y efectos especiales para creadores de contenido en redes sociales. Se expandió a servicios de traducción en 2022 e introdujo el Doblaje con IA en 2023. Con características innovadoras como el Contacto Visual con IA y subtítulos automáticos generados por IA, Captions tiene más de 100.000 usuarios diarios y cinco millones de creadores. A pesar de los altos costos de entrenamiento de IA, la empresa es rentable y ha recaudado $40 millones en financiamiento. Su última innovación, Lipdub, ha sido adoptada por entidades importantes como ESPN y el fundador de Twitch, Justin Kan.

Rask AI

Rask AI, una herramienta de localización de video y audio impulsada por IA, traduce contenido a más de 130 idiomas y ofrece una función de clonación de voz. Lanzada el 20 de marzo de 2023, y ganadora del Producto del Día en Product Hunt a principios de abril, ahora tiene más de 750.000 usuarios en todo el mundo.Los proyectos clave incluyen el doblaje de la película francesa ‘THE LEGEND OF AKAM’ al portugués para su lanzamiento en Brasil. Además, PodcastOne está utilizando Rask AI para traducir su biblioteca de podcasts al español, comenzando con el podcast debut de Barbara Schroeder ‘Bad Bad Thing’.

A través de procesos como traducción, adaptación cultural, locución o doblaje, Rask AI puede simplificar enormemente el proceso de localización de contenido de video, ayudando a empresas y creadores a producir videos localizados de manera eficiente y rentable. Ver también: Alejandro Fernandez.

También lea：De Bbkhaz a Zulú: Amazon Transcribe ahora puede reconocer 100 idiomas

Tecnología actualmente utilizada

De hecho, se han logrado avances significativos en la aplicación de la IA en el campo del doblaje, que actualmente se centra en dos tecnologías principales. Casi todos los modelos de voz de IA de las empresas se basan en la investigación y desarrollo de estas dos tecnologías básicas. Ver también: Aldo Garcia.

Una es la tecnología de Conversión de Voz (VC) que permite a la IA convertir texto en audio ajustando el timbre, tono, idioma y otros atributos, manteniendo el contenido original; sin embargo, no puede adaptarse a interacciones entre varias personas ni a expresiones emocionales. Esta tecnología es similar a la lectura en voz alta y es apropiada para escenarios que solo requieren un cambio en las características de la voz manteniendo el contenido original.

En segundo lugar, la tecnología de Texto a Voz (TTS) es capaz de convertir texto escrito en habla interactiva. En los últimos años, la tecnología TTS ha podido mostrar expresiones emocionales, haciendo que el doblaje con IA sea más “humano” y ya no transmita una sensación mecánica fría.

Implicaciones para las prácticas tradicionales de locución.

1. Mejorar la eficiencia y reducir costos

“Al aprovechar Rask AI, las empresas pueden acelerar sus esfuerzos de localización, llegar a una audiencia más amplia y mejorar el reconocimiento de su marca en los mercados globales.” Ver también: Alcymer Vieira.

Maria Chmir, CEO y fundadora de Rask AI

La integración de la IA en el doblaje mejora la eficiencia del trabajo y reduce los costos de producción al analizar rápidamente las huellas de voz para líneas precisas y contextualmente apropiadas. Esto permite un doblaje más rápido y la creación de múltiples versiones de idiomas, lo que lleva a un cambio de paradigma en el enfoque de las empresas de producción hacia los proyectos de doblaje. Ver también: Alcides Cremonezi.

Rikki Lee Travolta, un talentoso actor, dijo: “La mayor ventaja de la IA en la locución es el costo. Un actor de locución sindicalizado va a costar una tarifa por hora. A eso se suma el costo de los ingenieros y el alquiler del estudio. Con la IA, eliminas la mayoría o todos esos costos.”

Maria Chmir, CEO y fundadora de Rask AI, también afirma que la IA es una herramienta realmente útil para el contenido o las empresas que se expanden al extranjero. “Al aprovechar Rask AI, las empresas pueden acelerar sus esfuerzos de localización, llegar a una audiencia más amplia y mejorar el reconocimiento de su marca en los mercados globales.”

2. Reducción de riesgos

El doblaje con IA puede mitigar los riesgos para las grandes empresas, como lo demuestra el juego “Tears of Themis” de Mihoyo. Cuando un actor de voz se vio involucrado en una disputa, Mihoyo utilizó síntesis profunda para aprender y replicar la voz del actor a partir de grabaciones anteriores, permitiendo el doblaje automático. Esta solución preservó la experiencia de juego sin necesidad de reemplazar al actor o dejar al personaje sin voz.

3. Promoviendo la difusión en el extranjero

La falta de sincronización entre los movimientos labiales y la voz en el contenido doblado es un gran inconveniente, lo que potencialmente contribuye a su impopularidad en los países de habla inglesa. La IA puede usarse para modificar los movimientos labiales de un personaje, haciendo que el contenido localizado sea más auténtico y atractivo para los espectadores. Chmir dijo en la entrevista: “Al aprovechar Rask AI, las empresas pueden acelerar sus esfuerzos de localización, llegar a una audiencia más amplia y mejorar el reconocimiento de su marca en los mercados globales.” Ver también: Alberto Anaya.

4. Pánico por la IA reemplazando a los humanos

“Ahora estamos tan asustados como cuando llegó el COVID-19; no sabemos qué va a pasar.” Ver también: Albert Kis.

Daniel Hamvas, actor de voz

La aplicación de la inteligencia artificial en la locución no se limita a una sola industria; las empresas están explorando la posibilidad de usar IA para sintetizar diferentes líneas. Tradicionalmente, las empresas de cine, televisión y videojuegos seleccionan actores de voz adecuados con meses de anticipación, proporcionan el texto y graban fuera de línea. A los actores de voz experimentados se les paga según la cantidad de palabras y el tiempo de grabación. Sin embargo, la llegada de la inteligencia artificial ha provocado una nueva dinámica.

Algunas empresas tienden a grabar las voces de los actores y luego usar IA para sintetizar líneas adicionales, mientras que otras incluso intentan comprar las voces de los actores en un trato único para crear una propiedad intelectual de voz que sea exclusiva de la empresa.

Esto plantea preguntas sobre el futuro de la industria de la locución.El renombrado actor de voz Daniel Hamvas ha interpretado a muchos personajes en contenido de doblaje húngaro a lo largo de los años y ahora es el líder del sindicato de trabajadores de doblaje húngaro. Él está en la primera línea de la batalla, oponiéndose ferozmente al uso del doblaje con IA para proteger a los profesionales cuyos medios de vida están amenazados por la automatización. Hamvas expresó sus preocupaciones diciendo: “Ahora estamos tan asustados como cuando llegó el COVID-19; no sabemos qué va a pasar.”

Desafíos y controversias

“Ninguna cantidad de algoritmos puede crear las imperfecciones que hacen perfecta una actuación humana. La IA puede hacer una buena imitación, pero un imitador de Elvis nunca será Elvis.”

Rikki Lee Travolta, un talentoso actor

A pesar de los avances en IA, puede tener dificultades para capturar la profundidad y autenticidad que los actores humanos aportan a sus actuaciones. El riesgo de que el doblaje pierda el toque humano genera preocupaciones sobre la participación de la audiencia y la experiencia visual general.

Phil Siegel, fundador de la organización sin fines de lucro de IA CAPTRS, afirmó que: “Los modelos son capaces de identificar los tonos característicos de la voz; pueden hacerlo con muy pocos datos, pero si se les alimenta con varias frases de una voz, probablemente podrían producir una voz que la mayoría de las personas no podrían distinguir de la persona real.”

Travolta también enfatiza que la IA no puede reemplazar a los humanos después de todo. “Y espero que la IA continúe avanzando. Pero nunca será humana. Ninguna cantidad de algoritmos puede crear las imperfecciones que hacen perfecta una actuación humana. La IA puede hacer una buena imitación, pero un imitador de Elvis nunca será Elvis.”, dijo Travolta.

Protección de los derechos de autor del sonido

“Las regulaciones más importantes, además de los problemas legales y éticos anteriores, es que hay un consenso creciente de que el contenido generado por IA necesita ser identificado como tal. Tanto qué herramientas se utilizaron como qué insumos de 'materia prima' se usaron.”

Phil Siegel, fundador de la organización sin fines de lucro de IA CAPTRS

Cómo el doblaje con IA aborda los posibles problemas éticos y legales en el modelado sigue siendo un enigma. La mayoría de las empresas actualmente garantizan el cumplimiento y la seguridad de la captura de voz. Las máquinas solo pueden reproducir texto que ha sido leído por personas en persona, lo que también requiere la autorización de la persona misma.Siegel también destaca la importancia de la marca de agua: “Las regulaciones más importantes, además de los problemas legales y éticos anteriores, es que hay un consenso creciente de que el contenido generado por IA necesita ser identificado como tal.

Tanto qué herramientas se utilizaron como qué insumos de 'materia prima' se usaron. Así, doblar la voz de Taylor Swift con Speechify tendría una marca de agua de identificación específica.”

Desafortunadamente, hasta ahora existe un vacío en la protección legal en el área de los derechos de autor del sonido generado por IA. Definir la infracción de sonido también es muy vago. Algunos profesionales del sonido ahora son conscientes del valor del sonido, pero ¿son las personas comunes que utilizan software de terceros conscientes de los riesgos detrás de la licencia de sonido?

“Porque la mayoría de la legislación actual se basa en realidad en el miedo irracional, y somos una industria que necesita regularse a sí misma ante todo.”

Maria Chmir, CEO y fundadora de Rask AI

Como desarrollador de productos de doblaje con IA, Chmir también expresó su actitud: “Estamos comprometidos a trabajar con empresas de medios, gobiernos e instituciones de investigación de IA para crear conciencia y establecer estándares éticos en torno a la autenticidad del contenido en IA. Así que estamos en el principio, y es realmente importante ser abiertos sobre lo que está sucediendo. Porque la mayoría de la legislación actual se basa en realidad en el miedo irracional, y somos una industria que necesita regularse a sí misma ante todo.

Nuestros productos hacen que la tecnología de IA sea accesible para los creadores, al tiempo que limitan el potencial de uso irresponsable.”

Factores humanos en el doblaje

La locución es más que un simple proceso técnico. Es una forma de arte que se basa en la capacidad del actor para transmitir eficazmente la emoción y los matices. Los actores humanos aportan una profundidad única de experiencia y comprensión cultural a sus actuaciones, lo que les permite adaptarse a los matices de diferentes personajes y escenas. Si bien la IA puede imitar los patrones del habla humana, la pregunta sigue siendo si realmente puede replicar la profundidad emocional y la conexión que un actor humano establece con la audiencia.

El futuro de la locución: encontrando el equilibrio

A medida que la industria integra la IA en las prácticas de locución, encontrar un equilibrio entre la innovación tecnológica y preservar la esencia de la actuación humana se vuelve crítico. La colaboración entre la IA y los actores de voz humanos puede proporcionar un punto intermedio donde la eficiencia de la IA complemente las actuaciones matizadas de los actores humanos. Este enfoque híbrido no solo aceleraría el proceso de doblaje, sino que también aseguraría que la resonancia emocional y las diferencias culturales no se sacrifiquen en la búsqueda de la eficiencia.

“Ciertos expertos creen que el doblaje con IA podría reemplazar a todos en la industria, aunque está lejos de la realidad. Es más preciso llamar a la etapa actual co-creación”, también dijo Chmir.