AIによる顔の改造の一般的な手法の詳細な説明

最近また「AI変顔」が流行っていますね。 Leiphone.com（公式アカウント：Leiphone.com）AIテクノロジーレビューは、これまでのスタイルを踏襲し、近年の重要なAIの顔を変える技術を技術的な観点から簡単にレビューします。

サイクルGAN

Cycle GAN は、あらゆる顔変換の試みの中で重要な初期の試みであると言えます。敵対的生成ネットワーク（GAN）のトレンドでは、ソースカテゴリとターゲットカテゴリのサンプルが与えられれば、GANは2つのカテゴリ間の変換関係を簡単に学習できることが分かりました。これは、同じ風景写真を冬から夏へ、馬からシマウマへ変換するなど、「画像から画像への変換」問題に自然に適用できます。Cycle GANの核心的な考え方は、ソースからターゲットへ、そしてソースからターゲットへ変換できれば、モデルが2つのカテゴリ間の変換関係をうまく学習したとみなすことができ、変換された画像の品質もより良く保証されるというものです。しかし、Cycle GAN の顔を変える効果はあまり良くありません。結局のところ、これはすべてのカテゴリの画像に共通する普遍的な方法です。

紙の住所

フェイスツーフェイス

Face2Face は「標準的で規則的な」試みと言えます。dlib と OpenCV の助けを借りて、顔検出器はまずソース画像内の顔を検出し、顔上の主要なランドマークを見つけ、次に顔の pix2pix 変換モデルを使用して主要なランドマークをターゲットの顔画像に変換します。この方法ではディープラーニングを活用する余地があまりないため、効果は中程度であると考えられます。

ブログアドレス

その後、NVIDIA とカリフォルニア大学バークレー校の研究者が pix2pix を改良して pix2pixHD を作成しました。これにより、元の pix2pix モデルのマルチカテゴリの一般的な機能を維持しながら、顔画像の生成が改善されました。紙のアドレス、オープンソースのアドレス。

ディープフェイク

最も人気があり、最も広く使用されているディープラーニングの顔変更モデルは、間違いなく DeepFakes です。 2017年末に登場したDeepFakesは、ディープオートエンコーダーデコーダーモデル（Autoencoder-Decoder）です。ソースとターゲットの人物の写真数百枚（多いほど良い）でモデルをトレーニングし、それぞれ2人の顔を認識して復元します。最後に、ソース人物の写真とターゲット人物のデコーダーを使用して変換を完了できます。ビデオからビデオへの変換も適切にサポートされています。

DeepFakes の欠点は、小さなサンプルでは機能しないということです。つまり、2 人の顔を 1 枚または 2 枚の写真に置き換えることは不可能です。また、モデルのトレーニング プロセスには多くのリソースが必要です。

DeepFakes が初めて公開されたとき、それは技術愛好家の間でのやり取りに限定されており、正式な論文は発表されていませんでした。しかし、ガル・ガドットの顔が入れ替わるアニメーション画像が突然大きな注目を集めた。今年初めに話題となった「ヤン・ミの顔を入れ替えたチュー・イン」動画も、おそらくこの手法で実現されたものだ。なぜなら、DeepFakesのエンコーダーは、十分なトレーニングを経れば、実際にどんな入力顔（チュー・インの顔など）でも高品質で忠実度の高いターゲット顔（ヤン・ミの顔）に変換できるからだ。

DeepFakes の GitHub アドレスは https://github.com/deepfakes/faceswap です。現在も更新とアップグレードが続けられています。その後、TensorFlow に慣れていない初心者ユーザーでも試せるように、FakeApp というデスクトップ アプリケーションがリリースされました。この記事の詳細な分析については、

一枚の写真で顔の動きを変える

DeepFakes スタイルの「対象画像内の顔を別の顔に置き換える」方法は、将来的にサンプル数やリソース要件の削減が困難になる可能性があるため、顔画像を与えて、画像内の人物を与えられた動作に合わせて「動かす」という別のアイデアがあります。サムスン・モスクワAI研究センターとスコルコボ科学技術研究所が今年5月に発表した論文は、良い結果をもたらした。実際の人物の写真であるだけでなく、絵画の中の人物が自然に話すようにすることもできます。

紙の住所

上記の論文とブログはPDF形式でパッケージ化されています

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。