日本のCGマスターがまた登場！リアルタイムの顔キャプチャのための 3D モデリング ソフトウェア

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

最近、Maya と顔変換ソフトウェアを使用して実行できるリアルタイムのフェイシャルキャプチャが日本でも人気になっています。

目や眉毛をどのように描いても、シワや筋肉の微妙な変化はわかります。

2回連続のデモ動画の「いいね！」数はそれぞれ4万と3万を超え、ネットユーザーからは「効果があまりにも良くてちょっと怖い」というコメントも寄せられた。

なんというか…確かに、カメラの前に顔を置くだけで、リアルタイムで表情を入れ替えられるほうが便利ですね。

少なくとも、小さな点だらけの顔＋機械装置に比べれば、もはやそんなヒステリー福祉ではない…

開発者横原 弘和 彼は、3Dモデリング、シーン、特殊効果、そして今回のような最先端技術を駆使した作品までこなす、日本を代表するオールラウンドアーティストです。

例えば、先ほど紹介した路面電車を横向きで歩いているかわいい女の子も、この素晴らしいアーティストによって作成されました。

では、今回使用した技術から見ていきましょう。

ディープフェイク

横山氏は、数日前に誰かが UE5 と DeepFace Live を組み合わせて、直接ビデオを合成しているのを見たことがある、と述べました。

そこで彼はマヤを試してみることにしました。そしてリアルタイムのフェイシャルキャプチャーの効果も実現しました。

具体的には、技術的な解決策としては、Maya + 顔を変えるソフトウェアDeepFace Liveです。

その中でも、Maya にはフェイシャルバインディングシステムが組み込まれています。

名前が示すように、DeepFace Live はかつて人気があった DeepFake に関連しています。

これは機械学習におけるディープラーニングを利用して、動画の顔の深層変換を実現する技術です。この技術をもとに、ダウンロードして使用したり、オンラインで再生したりできる無数のツールやソフトウェアが作成されています。

（マッスルゴールデンホイールはその成果の一つです）

DeepFace Live もその 1 つです。

これは昨年公開されたばかりのオープンソースツールです。ストリーミングやライブビデオ中にリアルタイムで顔を変更できるのが特徴です。つまり、ユーザーはウェブカメラを通じて顔フィルターを適用でき、ほとんどのビデオベースのストリーミングおよび情報サービスと組み合わせて使用​​できます。

たとえば、一般的な Skype、Zoom、Tik Tok、Twitch で使用できます。

もちろん、DeepFaceLive の顔交換機能は、事前に録画されたビデオにも適用できます。

開発者はロシア出身のIperov氏で、かつて最も広く使われていたDeepFaceLabの開発者の一人でもあります。

開発者も二流の猿だ

さて、横原さん自身については、冒頭でもご紹介したとおり、さまざまな分野で多大な業績を残したジェネラリストです。

東京のカーキスタジオ出身で、CM、MV、アニメーション、大規模ゲームなど、さまざまなメディアやデバイスの視覚効果（VFX）のデザインを主に担当している。

スタジオ名を挙げず、作品だけを挙げれば、必ず皆さんが知っている作品が見つかるはずです。

たとえば、2017 年の「陰陽師」のプロモーション PV は次のようになります。

2020年VRゲームデバイスhexaRide初の協力型ゲーム、『攻殻機動隊』のCG：

世界一のプリンセスのMVも作りました。

なんと言えばいいか、2番目は猿です。