Quer entrevistar um morto? A dublagem por IA torna isso possível, mas nem todo mundo gosta

• Uma entrevista com Steve Jobs foi recentemente exibida, ou pelo menos uma reencarnação de sua voz, mostrando os avanços da dublagem por IA.
• A dublagem por IA pode reduzir riscos, custos e melhorar a produtividade das empresas, mas também levanta controvérsias e desafios éticos e regulatórios.
• O futuro da dublagem deve encontrar um equilíbrio entre a tecnologia e a essência da performance humana.

A interseção da IA e das práticas tradicionais na indústria do entretenimento suscitou debates sobre o futuro da dublagem. No entanto, persistem preocupações sobre o sistema de compra de vozes e a capacidade da IA de transmitir o tom e as emoções humanas.

A dublagem por IA entrou no mercado

Em todo o mundo, é inegável que a dublagem por IA está começando a causar impacto no mercado, com muitas empresas até obtendo lucros decentes. Entre os principais fornecedores do setor estão PlayHT, Captions e Rask AI.

PlayHT

Este ano, o primeiro episódio de um podcast chamadoPodcast.aiapresentava o apresentador discutindo seus anos de faculdade, suas opiniões sobre computadores, seu status profissional e suas crenças, entre outros, comSteve Jobs, o fundador do Apple Group.

O podcast, que traz Jobs de volta dos mortos, se assemelha muito à voz e à entonação de Jobs, segundo a PlayHT, que está trabalhando em uma tecnologia de clonagem de voz que permite que indivíduos e empresas criem conteúdo de áudio em grande escala. Em 23 de novembro, eles publicaram um modelo de voz de IA chamadoOn-Premise. Eles afirmam que é a ferramenta de geração de voz com a menor latência, maior segurança e disponibilidade ilimitada em comparação com todos os modelos atuais.

Mahmoud Felfel, fundador da PlayHT, disse: “Construímos a PlayHT como uma plataforma de síntese de voz generativa e clonagem de voz. Começamos criando o editor de voz mais sofisticado para ajudar nossos clientes a controlar totalmente as vozes geradas. Em seguida, investimos na construção do primeiro modelo de linguagem em grande escala para síntese de voz e clonagem de voz e obtivemosresultados SOTAem qualidade e expressividade vocal.”

Captions

A Captions, uma startup de vídeo sediada em Nova York, oferece serviços de legendagem, edição e efeitos especiais para criadores de conteúdo em redes sociais. Ela se expandiu para serviços de tradução em 2022 e introduziu a dublagem por IA em 2023. Com recursos inovadores como o AI Eye Contact e legendas automáticas geradas por IA, a Captions tem mais de 100.000 usuários diários e cinco milhões de criadores. Apesar dos altos custos de treinamento de IA, a empresa é lucrativa e levantou 40 milhões de dólares em financiamento. Sua mais recente inovação,Lipdub, foi adotada por grandes entidades como ESPN e o fundador do Twitch, Justin Kan.

Rask AI

O Rask AI, uma ferramenta de localização de vídeo e áudio alimentada por IA, traduz conteúdo em mais de 130 idiomas e oferece um recurso de clonagem de voz. Lançado em 20 de março de 2023 e tendo ganhado o prêmio Produto do Dia no Product Hunt no início de abril, agora conta com mais de 750.000 usuários em todo o mundo. Entre os projetos-chave estão a dublagem do filme francês “THE LEGEND OF AKAM” para o português para seu lançamento no Brasil. Além disso, o PodcastOne usa o Rask AI para traduzir sua biblioteca de podcasts para o espanhol, começando com o primeiro podcast de Barbara Schroeder, “Bad Bad Thing”.

Graças a processos como tradução, adaptação cultural, narração ou dublagem, o Rask AI simplifica significativamente o processo de localização de conteúdo de vídeo, ajudando empresas e criadores a produzir vídeos localizados de forma eficiente e econômica.

Leia também:Do Abcásio ao Zulu: Amazon Transcribe agora pode reconhecer 100 idiomas

Tecnologias atualmente utilizadas

De fato, progressos significativos foram feitos na aplicação da IA no campo da dublagem, que atualmente se concentra em duas tecnologias principais. Quase todos os modelos de voz de IA das empresas dependem de P&D dessas duas tecnologias centrais.

A primeira é a tecnologia de conversão de voz (VC,Voice Conversion) que permite que a IA converta texto em áudio ajustando timbre, tom, idioma e outros atributos, mantendo o conteúdo original, mas não pode levar em conta interações com várias pessoas ou expressões emocionais. Essa tecnologia é semelhante à leitura em voz alta e é adequada para cenários que exigem apenas uma mudança nas características da voz, mantendo o conteúdo original.

Em segundo lugar, a tecnologia de síntese de fala (TTS,Text-to-Speech) é capaz de converter texto escrito em fala interativa. Nos últimos anos, a tecnologia TTS conseguiu mostrar expressões emocionais, tornando a dublagem por IA mais “humana” e não mais dando uma impressão mecânica fria.

Implicações para as práticas tradicionais de dublagem

1. Melhorar a eficiência e reduzir custos

“Ao aproveitar o Rask AI, as empresas podem acelerar seus esforços de localização, alcançar um público mais amplo e melhorar seu reconhecimento de marca nos mercados globais.”

Maria Chmir, CEO e fundadora da Rask AI

A integração da IA na dublagem melhora a eficiência do trabalho e reduz os custos de produção ao analisar rapidamente as impressões vocais para réplicas precisas e contextualmente apropriadas. Isso permite uma dublagem mais rápida e a criação de versões em vários idiomas, levando a uma mudança de paradigma na abordagem das produtoras em relação aos projetos de dublagem.

Rikki Lee Travolta, um ator talentoso, disse: “A maior vantagem da IA na dublagem é o custo. Um ator de voz sindicalizado custará uma taxa horária. Adicione a isso o custo dos engenheiros e o aluguel do estúdio. Com a IA, você elimina a maioria, senão todos, desses custos.”

Maria Chmir, CEO e fundadora da Rask AI, também afirma que a IA é uma ferramenta muito prática para conteúdos ou empresas que se voltam para o internacional. “Ao aproveitar o Rask AI, as empresas podem acelerar seus esforços de localização, alcançar um público mais amplo e melhorar seu reconhecimento de marca nos mercados globais.”

2. Redução de riscos

A dublagem por IA pode mitigar riscos para grandes empresas, como ilustra o jogo “Tears of Themis” da Mihoyo. Quando um dublador se envolveu em uma disputa, aMihoyousou síntese profunda para aprender e reproduzir a voz do ator a partir de gravações anteriores, permitindo a dublagem automática. Essa solução preservou a experiência de jogo sem ter que substituir o ator ou deixar o personagem sem voz.

3. Promover a distribuição no exterior

A falta de sincronização entre os movimentos dos lábios e a voz no conteúdo dublado é uma desvantagem importante, contribuindo potencialmente para sua impopularidade em países de língua inglesa. A IA pode ser usada para modificar os movimentos dos lábios de um personagem, tornando o conteúdo localizado mais autêntico e atraente para os espectadores. Chmir declarou na entrevista: “Ao aproveitar o Rask AI, as empresas podem acelerar seus esforços de localização, alcançar um público mais amplo e melhorar seu reconhecimento de marca nos mercados globais.”

4. Pânico quanto à substituição de humanos pela IA

“Agora, estamos tão assustados quanto quando a COVID-19 chegou; não sabemos o que vai acontecer.”

Daniel Hamvas, dublador

A aplicação da inteligência artificial na dublagem não se limita a uma única indústria; as empresas estão explorando a possibilidade de usar IA para sintetizar diferentes falas. Tradicionalmente, as empresas de cinema, televisão e jogos selecionam dubladores adequados com meses de antecedência, fornecem o texto e gravam offline. Dubladores experientes são pagos com base no número de palavras e no tempo gasto gravando. No entanto, o advento da inteligência artificial trouxe uma nova dinâmica.

Algumas empresas tendem a gravar as vozes dos dubladores e depois usar a IA para sintetizar falas adicionais, enquanto outras até tentam comprar as vozes dos dubladores por meio de um acordo único para criar propriedade intelectual de voz de propriedade exclusiva da empresa.

Isso levanta questões sobre o futuro da indústria de dublagem. O famoso dublador Daniel Hamvas dublou muitos personagens em conteúdos húngaros ao longo dos anos e agora é o chefe do sindicato dos trabalhadores de dublagem húngaro.Ele está na linha de frente da luta, opondo-se firmemente ao uso da dublagem por IA para proteger os profissionais cujos meios de subsistência estão ameaçados pela automação. Hamvas expressou suas preocupações declarando: “Agora, estamos tão assustados quanto quando a COVID-19 chegou; não sabemos o que vai acontecer.”

Desafios e controvérsias

“Nenhuma quantidade de algoritmos pode criar as imperfeições que tornam uma performance humana perfeita. A IA pode fazer uma boa imitação, mas um imitador de Elvis nunca será Elvis.”

Rikki Lee Travolta, ator talentoso

Apesar dos avanços da IA, ela pode ter dificuldade em capturar a profundidade e autenticidade que os atores humanos trazem para suas performances. O risco de a dublagem perder o toque humano levanta preocupações sobre o envolvimento do público e a experiência visual geral.

Phil Siegel, fundador da organização sem fins lucrativos de IACAPTRS, afirmou: “Os modelos são capazes de identificar as tonalidades características da voz; eles podem fazer isso com muito poucos dados, mas se você fornecer várias frases de uma voz, ele provavelmente será capaz de produzir uma voz que a maioria das pessoas não conseguiria distinguir da pessoa real.”

Travolta também ressalta que a IA não pode substituir os humanos, afinal. “E espero que a IA continue a progredir. Mas ela nunca será humana. Nenhuma quantidade de algoritmos pode criar as imperfeições que tornam uma performance humana perfeita. A IA pode fazer uma boa imitação, mas um imitador de Elvis nunca será Elvis.”, disse Travolta.

Proteção dos direitos autorais sobre as vozes

“A regulamentação mais importante, além das questões legais e éticas mencionadas, é que há um consenso crescente de que o conteúdo gerado por IA deve ser identificado como tal. Tanto as ferramentas utilizadas quanto os insumos de ‘matéria-prima’.”

Phil Siegel, fundador da organização sem fins lucrativos de IACAPTRS

A forma como a dublagem por IA aborda possíveis problemas éticos e legais na modelagem permanece um enigma. A maioria das empresas atualmente garante conformidade e segurança na captura de voz. As máquinas só podem reproduzir o texto que foi lido por pessoas pessoalmente, o que também requer a permissão da própria pessoa. Siegel também destaca a importância da marca d'água: “A regulamentação mais importante, além das questões legais e éticas mencionadas, é que há um consenso crescente de que o conteúdo gerado por IA deve ser identificado como tal. Tanto as ferramentas utilizadas quanto os insumos de ‘matéria-prima’.

Assim, dublar a voz de Taylor Swift com o Speechify teria uma marca d'água de identificação específica.”

Infelizmente, até agora, existe uma lacuna na proteção legal em relação aos direitos autorais sobre sons gerados por IA. A definição de falsificação sonora também é muito vaga. Alguns profissionais de áudio agora estão cientes do valor do som, mas as pessoas comuns que usam software estão cientes dos riscos relacionados às licenças de som?

“Porque a maioria das legislações atuais é, na verdade, baseada em medo irracional, e somos uma indústria que antes de tudo precisa se autorregular.”

Maria Chmir, CEO e fundadora da Rask AI

Como desenvolvedora de produtos de dublagem por IA, Chmir também expressou sua atitude: “Estamos comprometidos em trabalhar com empresas de mídia, governos e instituições de pesquisa em IA para aumentar a conscientização e estabelecer padrões éticos em torno da autenticidade do conteúdo de IA.” Portanto, estamos apenas no começo, e é realmente importante ser transparente sobre o que está acontecendo. Porque a maioria das legislações atuais é baseada em medo irracional, e somos uma indústria que antes de tudo precisa se autorregular.

Nossos produtos tornam a tecnologia de IA acessível aos criadores, ao mesmo tempo que limitam o potencial de uso irresponsável.

Fatores humanos na dublagem

A dublagem é muito mais do que um simples processo técnico. É uma forma de arte que depende da capacidade de um ator de transmitir emoção e nuances de forma eficaz. Atores humanos trazem uma profundidade de experiência e compreensão cultural únicas para suas performances, permitindo-lhes se adaptar às nuances de diferentes personagens e cenas. Embora a IA possa imitar padrões de fala humana, a questão permanece se ela pode realmente reproduzir a profundidade emocional e a conexão que um ator humano estabelece com o público.

O futuro da dublagem: encontrando o equilíbrio

À medida que a indústria integra a IA nas práticas de dublagem, encontrar um equilíbrio entre a inovação tecnológica e a preservação da essência da performance humana torna-se essencial. A colaboração entre a IA e os dubladores humanos poderia oferecer um meio-termo onde a eficiência da IA complementa as performances matizadas dos atores humanos. Essa abordagem híbrida não apenas aceleraria o processo de dublagem, mas também garantiria que a ressonância emocional e as diferenças culturais não fossem sacrificadas em prol da eficiência.

“Alguns especialistas pensam que a dublagem por IA poderia substituir todos na indústria, embora isso esteja longe da realidade. É mais justo chamar o estágio atual de cocriação”, também disse Chmir.