死者にインタビューしたい？AI 吹き替えなら可能だが、誰もが賛成とは限らない

• Steve Jobs のインタビューが最近放送された。少なくとも彼の声の再現であり、AI 吹き替えの進歩を示している。
• AI 吹き替えはリスクとコストを削減し、企業の生産性を向上させるが、同時に倫理的・規制上の論争と課題も引き起こす。
• 吹き替えの未来は、テクノロジーと人間のパフォーマンスの本質のバランスを見つける必要がある。

AI とエンタメ業界の伝統的手法の接点が、吹き替えの未来をめぐる議論を呼んでいる。しかし、声の買い取り制度や、AI が人間の声色や感情を伝える能力については、依然として懸念が残る。

AI 吹き替えの市場参入

世界中で、AI 吹き替えが市場に波紋を広げ始めていることは否定できず、多くの企業がそれなりの利益を上げている。この分野の主要プロバイダーとして、PlayHT、Captions、Rask AI が挙げられる。

PlayHT

今年、Podcast.aiというポッドキャストの最初のエピソードでは、司会者が、Apple Group の創業者Steve Jobsと、大学時代やコンピュータ観、キャリア、信念などについて議論した。

PlayHT によると、Jobs を甦らせたこのポッドキャストは、Jobs の声とイントネーションに非常に似ている。同社は、個人や企業が大規模に音声コンテンツを作成できる音声クローン技術に取り組んでいる。11 月 23 日には、On-Premiseと呼ばれる音声 AI モデルをリリースした。これは、現行の全モデルと比較して、レイテンシが最も低く、セキュリティが最も高く、無制限の可用性を実現する音声生成ツールだと主張している。

PlayHT の創業者 Mahmoud Felfel は次のように述べた。「我々は PlayHT を生成型音声合成と音声クローンのプラットフォームとして構築しました。まず、お客様が生成された音声を完全に制御できるよう、最も洗練された音声エディタを作成しました。次に、音声合成と音声クローンのための初の大規模言語モデルの構築に投資し、音声品質と表現力において最新の成果を達成しました。」

Captions

ニューヨークを拠点とする動画スタートアップ Captions は、ソーシャルメディアのコンテンツクリエイター向けに字幕、編集、特殊効果サービスを提供している。2022 年には翻訳サービスに拡大し、2023 年には AI 吹き替えを導入した。AI アイコンタクトや AI 生成の自動字幕などの革新的な機能により、Captions は 10 万人以上のデイリーユーザーと 500 万人のクリエイターを抱える。AI 学習の高コストにもかかわらず、同社は黒字化を達成し、4000 万ドルの資金を調達した。最新のイノベーションLipdubは、ESPN や Twitch 創業者の Justin Kan などの主要企業に導入されている。

Rask AI

Rask AI は、AI を活用した動画・音声ローカライゼーションツールで、コンテンツを 130 以上の言語に翻訳し、音声クローン機能も提供する。2023 年 3 月 20 日にリリースされ、4 月初旬に Product Hunt でその日の製品賞を受賞、現在は世界で 75 万人以上のユーザーを抱える。主なプロジェクトとして、フランス映画「THE LEGEND OF AKAM」のポルトガル語吹き替え（ブラジル公開用）などがある。さらに PodcastOne は、Barbara Schroeder の最初のポッドキャスト「Bad Bad Thing」を皮切りに、Rask AI を使ってポッドキャストライブラリをスペイン語に翻訳している。

翻訳、文化的適応、ナレーション、吹き替えなどのプロセスを通じて、Rask AI は動画コンテンツのローカライゼーションを大幅に簡素化し、企業やクリエイターが効率的かつ経済的にローカライズ動画を制作できるように支援する。

参考記事：アブハズ語からズールー語まで：Amazon Transcribe が 100 言語を認識可能に

現在利用されている技術

実際、AI の吹き替え分野への応用は大きく進歩しており、現在は主に 2 つの基盤技術に焦点が当てられている。企業の AI 音声モデルのほとんどは、これら 2 つの技術の研究開発に依存している。

1 つ目は音声変換技術（VC、Voice Conversion）で、元のコンテンツを維持しながら音色、高さ、言語などの属性を調整することでテキストを音声に変換するが、複数人の会話や感情表現には対応できない。この技術は読み上げに似ており、元のコンテンツを維持したまま声の特性のみを変更する必要があるシナリオに適している。

2 つ目は音声合成技術（TTS、Text-to-Speech）で、書き言葉をインタラクティブな音声に変換できる。近年、TTS 技術は感情表現を実現できるようになり、AI 吹き替えがより「人間らしく」なり、冷酷で機械的な印象を与えなくなった。

従来のナレーション手法への影響

1. 効率の向上とコスト削減

「Rask AI を活用することで、企業はローカライゼーションの取り組みを加速し、より多くの視聴者にリーチし、グローバル市場でのブランド認知度を高めることができます。」

Maria Chmir、Rask AI CEO 兼創業者

AI を吹き替えに統合することで、音声の特徴を迅速に分析して正確で文脈に適した台詞を生成し、作業効率を高め、制作コストを削減できる。これにより、吹き替えの高速化や多言語版の作成が可能になり、制作会社の吹き替えプロジェクトへのアプローチにパラダイムシフトが起きている。

Rikki Lee Travolta（才能ある俳優）は、「AI ナレーションの最大の利点はコストだ。組合所属の声優には時給がかかる。そこにエンジニアの費用やスタジオレンタル料が加わる。AI なら、これらのコストのほとんど、あるいは全部を削減できる。」と述べた。

Rask AI の CEO 兼創業者Maria Chmirも、AI は国際展開を目指すコンテンツや企業にとって非常に便利なツールだと語る。「Rask AI を活用することで、企業はローカライゼーションの取り組みを加速し、より多くの視聴者にリーチし、グローバル市場でのブランド認知度を高めることができます。」

2. リスクの軽減

AI 吹き替えは大企業のリスクを軽減できる。例えば、Mihoyo のゲーム「Tears of Themis」では、声優が訴訟に巻き込まれた際、Mihoyoはディープラーニングを用いて過去の録音からその俳優の声を学習・再現し、自動吹き替えを実現した。この解決策により、俳優を交代したりキャラクターを無声のままにすることなく、ゲーム体験を維持できた。

3. 海外展開の促進

吹き替えコンテンツにおける口の動きと声の同期の欠如は大きな欠点であり、英語圏での不人気の一因となる可能性がある。AI を用いてキャラクターの口の動きを修正することで、ローカライズされたコンテンツがより本物らしく、視聴者にとって魅力的なものになる。Chmir はインタビューでこう述べている。「Rask AI を活用することで、企業はローカライゼーションの取り組みを加速し、より多くの視聴者にリーチし、グローバル市場でのブランド認知度を高めることができます。」

4. AI による人間置き換えへの懸念

「今や私たちは、COVID-19 が到来した時と同じくらい怖がっている。何が起こるかわからないからだ。」

Daniel Hamvas、声優

人工知能のナレーションへの応用は単一の業界に留まらない。企業は AI を使って異なる台詞を合成する可能性を探っている。従来、映画・テレビ・ゲーム会社は何カ月も前から適切な声優を選び、テキストを提供し、オフラインで録音していた。経験豊富な声優は単語数と収録時間に応じて報酬を受け取る。しかし、人工知能の出現は新たなダイナミクスをもたらした。一部の企業は声優の声を録音した後、AI を使って追加の台詞を合成する傾向があり、さらには一括契約で声優の声を買い取り、企業が独占的に所有する音声知的財産を作り出そうとする試みもある。

これはナレーション業界の未来に疑問を投げかける。著名な声優 Daniel Hamvas は長年にわたりハンガリーのコンテンツで多くのキャラクターを演じ、現在はハンガリー吹き替え労働組合のリーダーである。彼は闘いの最前線に立ち、自動化によって生計を脅かされる専門家を守るため、AI 吹き替えの利用に断固反対している。Hamvas は彼らの懸念をこう表現した。「今や私たちは、COVID-19 が到来した時と同じくらい怖がっている。何が起こるかわからないからだ。」

課題と論争

「どれほどのアルゴリズムを積んでも、人間のパフォーマンスを完璧にする不完全さを創り出すことはできない。AI は良い模倣はできるが、エルヴィスの物真似芸人がエルヴィス本人になることは決してない。」

Rikki Lee Travolta、才能ある俳優

AI の進歩にもかかわらず、人間の俳優が自身の演技にもたらす深みや真実味を捉えることは難しいかもしれない。吹き替えが人間的な温もりを失うリスクは、視聴者の没入感や全体的な視聴体験に対する懸念を引き起こす。

非営利 AI 組織CAPTRSの創設者Phil Siegelは、「モデルは声の特徴的な音色を識別でき、非常に少ないデータでもそれが可能だが、ある声の複数の文章を与えれば、おそらくほとんどの人が実在の人物と区別できない声を生成できるだろう」と断言した。

Travolta もまた、結局のところ AI は人間に取って代われないと強調する。「そして私は AI が進歩し続けると期待している。しかし、決して人間にはなれない。どれほどのアルゴリズムを積んでも、人間のパフォーマンスを完璧にする不完全さを創り出すことはできない。AI は良い模倣はできるが、エルヴィスの物真似芸人がエルヴィス本人になることは決してない。」と Travolta は語った。

声の著作権保護

「挙げられた法的・倫理的問題を超えて最も重要な規制は、AI 生成コンテンツはそのように識別されるべきというコンセンサスが高まっていることだ。使用されたツールと「原材料」のインプットの両方について。」

非営利 AI 組織CAPTRSの創設者Phil Siegel

AI 吹き替えがモデリングにおける潜在的な倫理的・法的問題にどのように対処するかは依然として謎である。現在、ほとんどの企業は音声キャプチャのコンプライアンスと安全性を確保しているとしている。機械は本人が直接読み上げたテキストのみを再現でき、それには本人の許可も必要となる。Siegel はまた、透かしの重要性を強調する。「挙げられた法的・倫理的問題を超えて最も重要な規制は、AI 生成コンテンツはそのように識別されるべきというコンセンサスが高まっていることだ。使用されたツールと「原材料」のインプットの両方について。つまり、Taylor Swift の声を Speechify で吹き替えると、特定の識別透かしが入ることになる。」

残念なことに、これまでのところ、AI 生成音声の著作権に関する法的保護にはギャップがある。音声侵害の定義も非常に曖昧である。現在、一部の音声専門家は音の価値を認識しているが、疲労したソフトウェアを使用する一般の人々は音声ライセンスのリスクを認識しているだろうか？

「現在の法律のほとんどは実際には不合理な恐怖に基づいており、私たちはまず自己規制すべき業界だからです。」

Maria Chmir、Rask AI CEO 兼創業者

AI 吹き替え製品の開発者として、Chmir は自身の姿勢をこう表明した。「私たちは、メディア企業、政府、AI 研究機関と協力して、AI コンテンツの信憑性に関する倫理基準の意識を高め、確立することにコミットしています。ですから、まだほんの初期段階であり、何が起きているかについて透明性を保つことが本当に重要です。現在の法律のほとんどは実際には不合理な恐怖に基づいており、私たちはまず自己規制すべき業界だからです。当社の製品は、AI 技術をクリエイターが利用できるようにする一方で、無責任な使用の可能性を制限します。」

吹き替えにおける人間的要因

ナレーションは単なる技術的なプロセス以上のものである。それは、俳優が感情やニュアンスを効果的に伝える能力に依存する芸術形態だ。人間の俳優は、独自の経験の深さと文化的理解をパフォーマンスにもたらし、異なるキャラクターやシーンの微妙な違いに適応することを可能にする。AI は人間の音声パターンを模倣できるが、人間の俳優が観客と築く感情的な深みや繋がりを本当に再現できるかどうかは疑問として残る。

ナレーションの未来：バランスを見つける

業界がナレーションの実践に AI を統合するにつれ、技術革新と人間のパフォーマンスの本質の保存とのバランスを見つけることが不可欠になる。AI と人間の声優の協働は、AI の効率性が人間の俳優の微妙な演技を補完する中間地点を提供するかもしれない。このハイブリッドアプローチは、吹き替えプロセスを加速するだけでなく、感情的な共鳴や文化的な違いが効率性のために犠牲にされないことを保証するだろう。

「一部の専門家は、AI 吹き替えが業界の全員を置き換えるかもしれないと考えているが、それは現実とはかけ離れている。現在の段階を共創と呼ぶ方が正確だ」と Chmir も述べている。