将来的には映画の吹き替えにも人工知能が使われるようになるのでしょうか？

英国人映画監督が人工知能（AI）を使って外国映画の鑑賞方法に革命をもたらそうとしている。俳優の顔をデジタル編集し、吹き替えの言語を話しているように見せるのだ。

[[399836]]

スコット・マン監督は、ロバート・デ・ニーロ主演の2015年のスリラー映画『オルタード』を監督したが、同映画の吹き替え版に衝撃を受けた。彼は自分自身のスタートアップを立ち上げようという意欲に駆られました。

マン氏は、顔画像をデジタルで再生する研究を行っているドイツのマックス・プランク情報科学研究所にインスピレーションを受けた。この研究がきっかけで彼は会社を設立した。同社は、俳優の頭、首、口の動きの微妙な変化を何百万回も研究し、すべてのフレームから知識を蓄積する人工知能システムを使用している。

この人工知能ツールは、映画から俳優の 2D 顔画像を抽出し、3D 画像に再現します。新しい頭部の画像には、映画の中で吹き替えられた言語を使用するときに人々の口がどのように動くかについての既存の知識が組み込まれています。このツールは、特定の言語を話す俳優の口の動きを計算し、フレームごとに新しい 3D 頭部モデルを作成します。

これが完了すると、声優の録音がシステムに取り込まれ、画像が 2D に再変換されます。その後の仕上げ作業は特殊効果チームに引き継がれた。同社が公開した映像では、映画「フォレスト・ガンプ」の映像でトム・ハンクスの唇の動きが日本語、スペイン語、ドイツ語の吹き替えのセリフとシームレスに一致している。

AIシステムは映画のすべてのフレームをスキャンし、俳優が話しているときの頭、首、口の動きを観察します。システムは俳優の独特な話し方を学習した後、俳優の頭部の 3D モデルを作成します。

次に、エンジニアは、吹き替え言語を話す人の典型的な口の動きを認識し、その特定の言語を話すときの俳優の独特な口の動きを計算できるプログラムを実行します。

新しい言語を話す声優の録音がシステムに入力されます。次に、システムは俳優の口と顔の動きが新しい言語に同期されたすべてのフレームに対して俳優の頭の新しい 3D モデルを作成し、俳優が話しているすべてのカメラアングルがカバーされるようにします。これらの画像は実写版の上に重ねられ、特殊効果チームによって最終仕上げが施されます。