¿Quieres entrevistar a un muerto? El doblaje con IA lo hace posible, pero no todos son fanáticos

Want to interview a dead guy? AI dubbing makes it possible, but not everyone’s a fan es perfilado por BTW Media debido a que la evidencia publicada lo vincula con la infraestructura de internet, gobernanza, dependencias operativas o visibilidad de mercado.

• Una entrevista con Steve Jobs salió al aire recientemente, o al menos, una reencarnación de su voz, mostrando cómo ha avanzado el doblaje con IA.
• El doblaje con IA puede reducir riesgos, costos y mejorar la productividad de las empresas, pero también plantea controversias y desafíos éticos y regulatorios.
• El futuro del doblaje necesita equilibrar la tecnología con la esencia de la interpretación humana.

La intersección de la IA y las prácticas tradicionales en la industria del entretenimiento ha provocado debates sobre el futuro del doblaje. Sin embargo, persisten las preocupaciones sobre el sistema de compra de derechos de doblaje y la capacidad de la IA para transmitir el tono y las emociones humanas.

El doblaje con IA ha entrado en el mercado

En todo el mundo, es innegable que el doblaje con IA ha comenzado a causar sensación en el mercado, con muchas empresas incluso obteniendo ganancias decentes. Algunos de los principales proveedores en la industria incluyen PlayHT, Captions y Rask AI.

PlayHT

Este año, el primer episodio de un podcast llamadoPodcast.aipresentó al presentador del podcast discutiendo sus días de universidad, sus opiniones sobre las computadoras, su estado laboral y sus creencias, entre otras cosas, conSteve Jobs, el fundador de Apple Group.

El podcast, que trae a Jobs de vuelta de la muerte, es muy similar a la voz y entonación de Jobs, según PlayHT, que está trabajando en una tecnología de clonación de sonido que permitirá a individuos y empresas crear contenido de audio a escala. El 23 de noviembre, lanzaron un modelo de IA de voz llamadoOn-Premise. Afirman que esta es la herramienta de generación de voz con la latencia más rápida, alta seguridad y disponibilidad ilimitada disponible en cualquier modelo actual.

Mahmoud Felfel, fundador de PlayHT dijo: “Construimos PlayHT como una plataforma para voz generativa y clonación de voz. Comenzamos construyendo el editor de voz más sofisticado para ayudar a nuestros clientes a tener control total sobre sus voces generadas. Luego invertimos en construir el primer Modelo de Lenguaje Grande para Síntesis de Voz y Clonación de Voz y logramosresultados SOTAen calidad de voz y expresividad.”

Captions

Captions, una startup de video con sede en Nueva York, ofrece servicios como subtitulado, edición y efectos especiales para creadores de contenido en redes sociales. Se expandió a servicios de traducción en 2022 e introdujo el doblaje con IA en 2023. Con características innovadoras como AI Eye Contact y subtítulos automáticos generados por IA, Captions tiene más de 100.000 usuarios diarios y cinco millones de creadores. A pesar de los altos costos de entrenamiento de IA, la empresa es rentable y ha recaudado 40 millones de dólares en financiación. Su última innovación,Lipdub, ha sido adoptada por entidades importantes como ESPN y el fundador de Twitch, Justin Kan.

Rask AI

Rask AI, una herramienta de localización de video y audio impulsada por IA, traduce contenido a más de 130 idiomas y ofrece una función de clonación de voz. Lanzado el 20 de marzo de 2023, y ganando Producto del Día en Product Hunt a principios de abril, ahora tiene más de 750.000 usuarios en todo el mundo. Los proyectos clave incluyen eldoblaje de la película francesa 'THE LEGEND OF AKAM'al portugués para su lanzamiento en Brasil. Además, PodcastOne está utilizando Rask AI para traducir su biblioteca de podcasts al español, comenzando con el podcast debut de Barbara Schroeder'Bad Bad Thing'.

Mediante procesos como traducción, adaptación cultural, locución o doblaje, Rask AI puede simplificar enormemente el proceso de localización de contenido de video, ayudando a empresas y creadores a producir videos localizados de manera eficiente y rentable.

Lea también:Del bengalí al zulú: Amazon Transcribe ahora puede reconocer 100 idiomas

Tecnología utilizada actualmente

De hecho, se ha progresado significativamente en la aplicación de la IA en el campo del doblaje, que actualmente se centra en dos tecnologías principales. Casi todos los modelos de voz de IA de las empresas se basan en la I+D de estas dos tecnologías básicas.

Una es la tecnología deConversión de Voz(VC) que permite a la IA convertir texto en audio ajustando el timbre, tono, idioma y otros atributos manteniendo el contenido original, sin embargo, no puede manejar interacciones entre varias personas o expresiones emocionales. Esta tecnología es similar a leer en voz alta y es apropiada para escenarios que requieren únicamente un cambio en las características de la voz conservando el contenido original.

En segundo lugar, la tecnología deTexto a Voz(TTS) es capaz de convertir texto escrito en habla interactiva. En los últimos años, la tecnología TTS ha podido mostrar expresiones emocionales, haciendo que el doblaje con IA sea más «humano» y ya no transmita una sensación mecánica fría.

Implicaciones para las prácticas tradicionales de locución.

1. Mejorar la eficiencia y reducir costos

“Al aprovechar Rask AI, las empresas pueden acelerar sus esfuerzos de localización, llegar a una audiencia más amplia y mejorar el reconocimiento de su marca en los mercados globales.”

Maria Chmir, CEO y fundadora de Rask AI

La integración de la IA en el doblaje mejora la eficiencia laboral y reduce los costos de producción al analizar rápidamente las huellas de voz para líneas precisas y contextualmente apropiadas. Esto permite un doblaje más rápido y la creación de múltiples versiones en diferentes idiomas, lo que lleva a un cambio de paradigma en la forma en que las productoras abordan los proyectos de doblaje.

Rikki Lee Travolta, un talentoso actor, dijo: “La mayor ventaja de la IA en la locución es el costo. Un actor de locución sindicalizado costará una tarifa por hora. Añade a eso los costos de ingenieros y alquiler de estudio. Con la IA, eliminas la mayoría o todos esos costos.”

Maria Chmir, CEO y fundadora de Rask AI, también afirma que la IA es una herramienta realmente útil para contenido o empresas que se expanden al extranjero. “Al aprovechar Rask AI, las empresas pueden acelerar sus esfuerzos de localización, llegar a una audiencia más amplia y mejorar el reconocimiento de su marca en los mercados globales.”

2. Reducción de riesgos

El doblaje con IA puede mitigar riesgos para grandes empresas, como lo demuestra el juego de Mihoyo “Tears of Themis”. Cuando un actor de voz se vio involucrado en una disputa,Mihoyoutilizó síntesis profunda para aprender y replicar la voz del actor a partir de grabaciones anteriores, permitiendo el doblaje automático. Esta solución preservó la experiencia de juego sin necesidad de reemplazar al actor o dejar al personaje sin voz.

3. Promover la difusión internacional

La falta de sincronización entre los movimientos labiales y la voz en el contenido doblado es un gran inconveniente, lo que podría contribuir a su impopularidad en los países de habla inglesa. La IA se puede utilizar para modificar los movimientos labiales de un personaje, haciendo que el contenido localizado sea más auténtico y atractivo para los espectadores. Chmir dijo en la entrevista: “Al aprovechar Rask AI, las empresas pueden acelerar sus esfuerzos de localización, llegar a una audiencia más amplia y mejorar el reconocimiento de su marca en los mercados globales.”

4. Pánico por la IA reemplazando a los humanos

“Ahora estamos tan asustados como cuando llegó el COVID-19; no sabemos qué va a pasar.”

Daniel Hamvas, actor de voz

La aplicación de la inteligencia artificial en la locución no se limita a una sola industria, las empresas están explorando la posibilidad de usar IA para sintetizar diferentes líneas. Tradicionalmente, las empresas de cine, televisión y videojuegos seleccionan actores de voz adecuados con meses de anticipación, proporcionan el texto y graban fuera de línea. Los actores de voz consolidados cobran según la cantidad de palabras y el tiempo de grabación. Sin embargo, la llegada de la inteligencia artificial ha traído una nueva dinámica.

Algunas empresas tienden a grabar las voces de los actores y luego usar IA para sintetizar líneas adicionales, mientras que otras incluso intentan comprar las voces de los actores en un acuerdo único para crear una propiedad intelectual de voz que sea exclusiva de la empresa.

Esto plantea preguntas sobre el futuro de la industria de la locución. El renombrado actor de voz Daniel Hamvas ha dado voz a muchos personajes en contenido doblado al húngaro a lo largo de los años y ahora es el líder del sindicato de trabajadores de doblaje húngaro.Está en la primera línea de la batalla, oponiéndose ferozmente al uso del doblaje con IA para proteger a los profesionales cuyos medios de vida están amenazados por la automatización. Hamvas expresó sus preocupaciones diciendo: “Ahora estamos tan asustados como cuando llegó el COVID-19; no sabemos qué va a pasar.”

Desafíos y controversias

“Ninguna cantidad de algoritmos puede crear las imperfecciones que hacen perfecta una actuación humana. La IA puede hacer una buena imitación, pero un imitador de Elvis nunca será Elvis.”

Rikki Lee Travolta, un talentoso actor

A pesar de los avances en IA, puede tener dificultades para capturar la profundidad y autenticidad que los actores humanos aportan a sus actuaciones. El riesgo de que el doblaje pierda el toque humano genera preocupaciones sobre la participación de la audiencia y la experiencia de visualización en general.

Phil Siegel, fundador de la organización sin fines de lucro de IACAPTRS, afirmó que: “Los modelos son capaces de identificar los tonos característicos de la voz; pueden hacerlo con muy pocos datos, pero si se les alimenta con varias frases de una voz, probablemente podrían producir una voz que la mayoría de las personas no podrían distinguir de la persona real.”

Travolta también enfatiza que la IA no puede reemplazar a los humanos después de todo. “Y espero que la IA siga avanzando. Pero nunca será humana. Ninguna cantidad de algoritmos puede crear las imperfecciones que hacen perfecta una actuación humana. La IA puede hacer una buena imitación, pero un imitador de Elvis nunca será Elvis”, dijo Travolta.

Protección de derechos de autor de sonido

“La regulación más importante, además de las cuestiones legales y éticas mencionadas anteriormente, es que se está construyendo un consenso de que el contenido generado por IA debe identificarse como tal. Tanto qué herramientas se utilizaron como qué insumos de 'materia prima' se emplearon.”

Phil Siegel, fundador de la organización sin fines de lucro de IACAPTRS

Cómo el doblaje con IA aborda los posibles problemas éticos y legales en el modelado sigue siendo un enigma. La mayoría de las empresas actualmente garantizan el cumplimiento y la seguridad de la captura de voz. Las máquinas solo pueden reproducir texto que haya sido leído por personas en persona, lo que también requiere autorización de la persona misma. Siegel también destaca la importancia de las marcas de agua: “La regulación más importante, además de las cuestiones legales y éticas mencionadas anteriormente, es que se está construyendo un consenso de que el contenido generado por IA debe identificarse como tal.

Tanto qué herramientas se utilizaron como qué insumos de 'materia prima' se emplearon. Así que doblar la voz de Taylor Swift con Speechify tendría una marca de agua de identificador específico.”

Desafortunadamente, hasta ahora hay un vacío en la protección legal en el área de los derechos de autor de sonido de IA. Cómo definir la infracción de sonido también es muy vago. Algunos profesionales del sonido ahora son conscientes del valor del sonido, pero ¿están las personas comunes que usan software cansado conscientes de los riesgos detrás de la licencia de sonido?

“Porque la mayoría de la legislación actual se basa en realidad en un miedo irracional, y somos una industria que necesita regularse a sí misma en primer lugar.”

Maria Chmir, CEO y fundadora de Rask AI

Como desarrollador de productos de doblaje con IA, Chmir también expresó su actitud: “Estamos comprometidos a trabajar con empresas de medios, gobiernos e instituciones de investigación en IA para crear conciencia y establecer estándares éticos en torno a la autenticidad del contenido en IA”. Así que estamos en el principio y es realmente importante ser abiertos sobre lo que está sucediendo. Porque la mayoría de la legislación actual se basa en realidad en un miedo irracional, y somos una industria que necesita regularse a sí misma en primer lugar.

Nuestros productos hacen que la tecnología de IA sea accesible para los creadores al tiempo que limitan el potencial de uso irresponsable.”

Factores humanos en el doblaje

La locución es más que un simple proceso técnico. Es una forma de arte que se basa en la capacidad del actor para transmitir emociones y matices de manera efectiva. Los actores humanos aportan una profundidad única de experiencia y comprensión cultural a sus actuaciones, lo que les permite adaptarse a los matices de diferentes personajes y escenas. Si bien la IA puede imitar los patrones del habla humana, queda la pregunta de si realmente puede replicar la profundidad emocional y la conexión que un actor humano establece con la audiencia.

Elfuturo de la locución:encontrar elequilibrio

A medida que la industria integra la IA en las prácticas de locución, encontrar un equilibrio entre la innovación tecnológica y la preservación de la esencia de la actuación humana se vuelve crítico. La colaboración entre la IA y los actores de voz humanos puede proporcionar un punto medio donde la eficiencia de la IA complemente las actuaciones matizadas de los actores humanos. Este enfoque híbrido no solo aceleraría el proceso de doblaje, sino que también garantizaría que la resonancia emocional y las diferencias culturales no se sacrifiquen en la búsqueda de la eficiencia.

“Ciertos expertos creen que el doblaje con IA podría reemplazar a todos en la industria, aunque está lejos de la realidad. Es más preciso llamar a la etapa actual como co-creación”, también dijo Chmir.