- Недавно в эфир вышло интервью со Стивом Джобсом — точнее, с воссозданным его голосом, — и это показало, как далеко продвинулся ИИ-дубляж.
- ИИ-дубляж может снизить риски и затраты и повысить производительность компаний, но он также порождает этические и регуляторные споры и вызовы.
- Будущему дубляжа необходимо найти баланс между технологиями и сутью человеческой игры.
Пересечение ИИ и традиционных практик в индустрии развлечений вызвало споры о будущем дубляжа. Вместе с тем сохраняются опасения по поводу системы выкупа голосов при дубляже и способности ИИ передавать человеческий тон и эмоции.
ИИ-дубляж вышел на рынок
По всему миру невозможно отрицать, что ИИ-дубляж начал активно влиять на рынок, и многие компании уже получают приличную прибыль. Среди ведущих поставщиков в этой отрасли — PlayHT, Captions и Rask AI.
PlayHT
В этом году первый эпизод подкастаPodcast.aiбыл посвящён беседе ведущего о его студенческих годах, взглядах на компьютеры, рабочем статусе и убеждениях, среди прочего, соСтивом Джобсом, основателем Apple Group.
Подкаст, который возвращает Джобса с того света, очень похож на голос и интонацию Джобса, по словам PlayHT, которая работает над технологией клонирования звука, позволяющей частным лицам и компаниям создавать аудиоконтент в больших масштабах. 23 ноября компания выпустила голосовую ИИ-модель под названиемOn-Premise. Она утверждает, что это инструмент генерации речи с самой низкой задержкой, высокой безопасностью и неограниченной доступностью среди всех существующих моделей.
Махмуд Фелфел, основатель PlayHT, сказал: «Мы создали PlayHT как платформу для генеративной речи и клонирования голоса. Мы начали с создания самого совершенного редактора речи, чтобы дать нашим клиентам полный контроль над генерируемыми голосами. Затем мы инвестировали в создание первой большой языковой модели для синтеза речи и клонирования голоса и достиглирезультатов уровня SOTAпо качеству и выразительности голоса».
Captions
Captions, нью-йоркский видеосервис-стартап, предлагает услуги текстовых субтитров, монтажа и спецэффектов для создателей контента в социальных сетях. В 2022 году компания расширилась за счёт услуг перевода, а в 2023 году представила ИИ-дубляж. Благодаря инновационным функциям, таким как «ИИ-зрительный контакт» и автоматические субтитры, создаваемые ИИ, у Captions более 100 000 ежедневных пользователей и пять миллионов авторов. Несмотря на высокие затраты на обучение ИИ, компания прибыльна и привлекла 40 миллионов долларов финансирования. Её последняя инновация,Lipdub, была принята крупными игроками, такими как ESPN и основатель Twitch Джастин Кан.
Rask AI
Rask AI, инструмент локализации видео и аудио на базе ИИ, переводит контент на более чем 130 языков и предлагает функцию клонирования голоса. Сервис запущен 20 марта 2023 года и в начале апреля стал «Продуктом дня» на Product Hunt; сейчас у него более 750 000 пользователей по всему миру. Ключевые проекты включаютдубляж французского фильма «THE LEGEND OF AKAM»на португальский для проката в Бразилии. Кроме того, PodcastOne использует Rask AI для перевода своей библиотеки подкастов на испанский, начиная с дебютного подкаста Барбары Шрёдер«Bad Bad Thing».
Благодаря таким процессам, как перевод, культурная адаптация, озвучивание или дубляж, Rask AI может значительно упростить локализацию видеоконтента, помогая компаниям и авторам эффективно и с меньшими затратами создавать локализованные видео.
Читайте также:От Bbkhaz до зулу: Amazon Transcribe теперь может распознавать 100 языков
Используемые сегодня технологии
Действительно, в применении ИИ в сфере дубляжа достигнут значительный прогресс, и сейчас внимание сосредоточено на двух основных технологиях. Почти все голосовые ИИ-модели компаний построены на исследованиях и разработках этих двух базовых технологий.
Одна из них — технологияпреобразования голоса(VC), которая позволяет ИИ превращать текст в аудио, регулируя тембр, высоту тона, язык и другие характеристики при сохранении исходного содержания, однако она не может учитывать взаимодействие нескольких людей или эмоциональные выражения. Эта технология похожа на чтение вслух и подходит для сценариев, требующих только изменения голосовых характеристик при сохранении исходного содержания.
Во-вторых, технологияпреобразования текста в речь(TTS) способна превращать письменный текст в интерактивную речь. В последние годы технология TTS научилась демонстрировать эмоциональные выражения, делая ИИ-дубляж более «человечным» и переставая производить холодное механическое впечатление.
Последствия для традиционной практики озвучивания.
1. Повышение эффективности и снижение затрат
«Используя Rask AI, компании могут ускорить локализацию, охватить более широкую аудиторию и повысить узнаваемость бренда на мировых рынках».
Maria Chmir, генеральный директор и основатель Rask AI
Интеграция ИИ в дубляж повышает эффективность работы и снижает производственные затраты за счёт быстрого анализа голосовых отпечатков для точных и контекстно уместных реплик. Это позволяет ускорить дубляж и создавать несколько языковых версий, что приводит к смене парадигмы в подходе производственных компаний к проектам дубляжа.
Рикки Ли Траволта, талантливый актёр, сказал: «Главное преимущество ИИ в озвучивании — стоимость. Актер озвучивания, состоящий в профсоюзе, обойдётся в почасовую оплату. Добавьте к этому стоимость инженеров и аренды студии. С ИИ вы устраняете большую часть или все эти расходы».
Maria Chmir, генеральный директор и основатель Rask AI, также утверждает, что ИИ — действительно удобный инструмент для контента или бизнеса, выходящего за рубеж. «Используя Rask AI, компании могут ускорить локализацию, охватить более широкую аудиторию и повысить узнаваемость бренда на мировых рынках».
2. Снижение рисков
ИИ-дубляж может снизить риски для крупных предприятий, как показала игра Mihoyo «Tears of Themis». Когда актер озвучивания оказался вовлечён в спор,Mihoyoиспользовала глубокий синтез, чтобы изучить и воспроизвести голос актёра из предыдущих записей, что позволило автоматически дублировать. Это решение сохранило игровой опыт без необходимости заменять актёра или оставлять персонажа без голоса.
3. Содействие распространению за рубежом
Отсутствие синхронизации между движениями губ и голосом в дублированном контенте является серьёзным недостатком, который может способствовать его непопулярности в англоязычных странах. ИИ можно использовать для изменения движений губ персонажа, делая локализованный контент более аутентичным и привлекательным для зрителей. В интервью Чмир сказала: «Используя Rask AI, компании могут ускорить локализацию, охватить более широкую аудиторию и повысить узнаваемость бренда на мировых рынках».
4. Паника по поводу замены людей ИИ
«Сейчас мы так же напуганы, как при появлении COVID-19; мы не знаем, что произойдёт».
Даниэль Хамваш, актёр озвучивания
Применение искусственного интеллекта в озвучивании не ограничивается одной отраслью: компании изучают возможность использования ИИ для синтеза различных реплик. Традиционно кино-, теле- и игровые компании за несколько месяцев отбирают подходящих актёров озвучивания, предоставляют текст и записывают офлайн. Опытные актёры озвучивания получают оплату в зависимости от количества слов и времени записи. Однако появление искусственного интеллекта привнесло новую динамику.
Некоторые компании склонны записывать голоса актёров, а затем использовать ИИ для синтеза дополнительных реплик, а другие даже пытаются выкупить голоса актёров в рамках разовой сделки, чтобы создать голосовую интеллектуальную собственность, принадлежащую исключительно компании.
Это поднимает вопросы о будущем индустрии озвучивания. Известный актёр озвучивания Даниэль Хамваш за годы озвучил множество персонажей в венгерском дубляже и сейчас возглавляет профсоюз работников венгерского дубляжа.Он находится на передовой борьбы, решительно выступая против использования ИИ-дубляжа, чтобы защитить профессионалов, чьи средства к существованию находятся под угрозой автоматизации. Хамваш выразил их опасения, сказав: «Сейчас мы так же напуганы, как при появлении COVID-19; мы не знаем, что произойдёт».
Вызовы и споры
«Никакое количество алгоритмов не сможет создать несовершенства, которые делают человеческую игру совершенной. ИИ может хорошо имитировать, но подражатель Элвиса никогда не станет Элвисом».
Рикки Ли Траволта, талантливый актёр
Несмотря на достижения ИИ, ему может быть трудно передать глубину и достоверность, которые привносят в свои выступления живые актёры. Риск того, что дубляж потеряет человеческое прикосновение, вызывает опасения по поводу вовлечённости аудитории и общего впечатления от просмотра.
Фил Сигел, основатель некоммерческой организации по ИИCAPTRS, заявил: «Модели способны определять характерные тона голоса; им нужно очень мало данных, но если скормить им несколько предложений голоса, они, вероятно, смогут создать голос, который большинство людей не отличит от настоящего человека».
Траволта также подчёркивает, что ИИ в конечном счёте не может заменить людей. «И я ожидаю, что ИИ продолжит развиваться. Но он никогда не станет человеком. Никакое количество алгоритмов не сможет создать несовершенства, которые делают человеческую игру совершенной. ИИ может хорошо имитировать, но подражатель Элвиса никогда не станет Элвисом», — сказал Траволта.
Защита авторских прав на звук
«Помимо юридических и этических вопросов, перечисленных выше, формируется консенсус о том, что контент, созданный ИИ, должен быть идентифицирован как таковой. Следует указывать и использованные инструменты, и исходные материалы».
Фил Сигел, основатель некоммерческой организации по ИИCAPTRS
Каким образом ИИ-дубляж будет решать потенциальные этические и юридические проблемы при моделировании, остаётся загадкой. Большинство компаний в настоящее время обеспечивают соблюдение требований и безопасность записи голоса. Машины могут воспроизводить только тот текст, который был прочитан людьми лично, что также требует разрешения самого человека. Сигел также подчёркивает важность водяных знаков: «Помимо юридических и этических вопросов, перечисленных выше, формируется консенсус о том, что контент, созданный ИИ, должен быть идентифицирован как таковой. Следует указывать и использованные инструменты, и исходные материалы.
Так, дубляж голоса Тейлор Свифт с помощью Speechify будет иметь специальный идентификационный водяной знак».
К сожалению, до сих пор существует пробел в правовой защите в области авторских прав на звук, создаваемый ИИ. Как определить нарушение прав на звук, также весьма расплывчато. Некоторые специалисты по звуку теперь осознают ценность звука, но осознают ли обычные люди, использующие подобное программное обеспечение, риски, связанные с лицензированием звука.
«Потому что большая часть действующего законодательства на самом деле основана на иррациональном страхе, а мы — отрасль, которая должна регулировать себя в первую очередь».
Maria Chmir, генеральный директор и основатель Rask AI
Как разработчик продуктов ИИ-дубляжа, Чмир также выразила своё отношение: «Мы стремимся работать с медиакомпаниями, правительствами и исследовательскими институтами в области ИИ, чтобы повышать осведомлённость и устанавливать этические стандарты в отношении подлинности контента в ИИ». Итак, мы находимся в самом начале, и очень важно быть открытыми в отношении происходящего. Потому что большая часть действующего законодательства на самом деле основана на иррациональном страхе, а мы — отрасль, которая должна регулировать себя в первую очередь.
Наши продукты делают технологию ИИ доступной для авторов, ограничивая при этом возможность безответственного использования.
Человеческий фактор в дубляже
Озвучивание — это больше, чем просто технический процесс. Это вид искусства, который зависит от способности актёра эффективно передавать эмоции и нюансы. Живые актёры привносят в свои выступления уникальную глубину опыта и культурного понимания, позволяя им адаптироваться к нюансам разных персонажей и сцен. Хотя ИИ может имитировать речевые паттерны человека, остаётся вопрос, сможет ли он действительно воспроизвести эмоциональную глубину и связь, которую живой актёр устанавливает с аудиторией.
Будущее озвучивания: поиск баланса
По мере того как отрасль интегрирует ИИ в практику озвучивания, критически важным становится поиск баланса между технологическими инновациями и сохранением сути человеческой игры. Сотрудничество между ИИ и живыми актёрами озвучивания может обеспечить золотую середину, в которой эффективность ИИ дополнит нюансированную игру живых актёров. Такой гибридный подход не только ускорит процесс дубляжа, но и гарантирует, что эмоциональный резонанс и культурные различия не будут принесены в жертву погоне за эффективностью.
«Некоторые эксперты считают, что ИИ-дубляж может заменить всех в отрасли, хотя это далеко от реальности. Нынешний этап точнее называть сотворчеством», — также сказала Чмир.