ディープラーニングを使用した高速顔モデリング

導入

顔のモデリングは、漫画のキャラクターのモデリング、顔のアートのデザイン、リアルタイムの顔の再構築など、特にインタラクティブな顔のモデリングを含む、コンピュータグラフィックスとビジョンの分野で常にホットな話題となっています。私たちは、高速でインタラクティブなディープラーニングベースの顔モデリング フレームワークを構築しました。私たちのモデルは、似顔絵の輪郭を描くだけで、対応する 3D 顔モデルを素早く生成し、同時に顔の輪郭と詳細な表情を適合させることができます。同時に、モデルを素早く変更するためのさまざまな方法も提供しています。実験により、私たちの結果は非常に正確かつ高速であることが実証されています。

フレーム

私たちのフレームワークについては、ビデオを通じて学ぶことを強くお勧めします:

Youtube: DeepSketch2Face(SIGGRAPH2017) Youtube

テンセントビデオ: DeepSketch2Face(SIGGRAPH2017) テンセントビデオ

フレームワークのプロセスを図に示します。

初期スケッチモード

畳み込みニューラル ネットワーク (CNN) を使用して、2D 図面から顔の特徴を学習します。図に示すように、入力は 256 x 256 の絵画画像です。畳み込み層を通じて特徴が抽出され、各ピクセルの双線形補間エンコードと組み合わされ、異なる完全接続層を使用して最終的に 50 次元の顔ベクトルと 16 次元の表情ベクトルが出力されます。 50 個の顔ベースと 16 個の表情ベースを事前に設定し、最終的な出力モデルはベクトルとベースのドット積になります。ほぼリアルタイムのレンダリングを実現できます。つまり、ユーザーが線を描くたびに、対応するフィットされた 3D モデルがすぐに出力されます。 (畳み込み層には、古い AlexNet を使用しました。また、Resnet などの新しいネットワーク構造も試しましたが、精度に大きな改善は見られませんでした。リアルタイム レンダリングの速度要件を考慮して、このような妥協案を選択しました。)

実際のレンダリング結果は次のとおりです。

フォローアップスケッチモード

同じ畳み込みニューラル ネットワークとラプラシアン変形テクノロジを使用して、変更しやすい描画ソリューションをユーザーに提供します。白紙から肖像画を描くのが得意でないユーザーや、複雑な顔の形を生成したくないユーザーは、最初のステップをスキップして、直接連続描画に進むことができます。連続描画モードでは、一方向プロジェクト (2D -> 3D) が双方向プロジェクト (2D <-> 3D) に変換されます。ユーザーは現在生成中またはプリセットされた 3D モデルから 2D 顔アウトラインを直接取得し、この顔アウトラインに基づいて変更、削除、変形などを行うことができます。最初のステップと同様に、この 2D アウトラインから対応する 3D モデルを生成できます。

次の図は、連続描画モードで生成された典型的なモデルです。

ジェスチャーベースの改良

きめ細かいジェスチャーベースの編集モードを提供します。図に示すように、ユーザーは対応するジェスチャを使用して、頬の膨らみ、眉の修正、顔の輪郭の修正など、変形する画像の領域を選択できます。ユーザーのジェスチャーも、単純な畳み込みニューラル ネットワークを通じて学習されます。入力はユーザーの描画ジェスチャーで、出力は対応する操作です。

他の

私たちのフレームワークに基づくと、初心者が顔のモデルを描くのにかかる時間は平均で 5 ～ 7 分です。熟練すれば、1 ～ 2 分でリアルな顔のモデルを描くこともできます。他のプラットフォームとのドッキングを容易にするために、複数のモデル出力形式をサポートしています。ユーザーは、リアルタイム操作中にシームレスに操作を元に戻したりやり直したりできます。ユーザー操作ウィンドウ自体も、ズームイン、ズームアウト、回転、テクスチャの移動など、さまざまな一般的なレンダリング操作をサポートしています。同時に、多数の顔モデル、そのさまざまな表情や誇張のレベルを含む顔モデリング用のデータベースも提供しています。

結論

このソフトウェアがあれば、モデリングができないことを心配する必要はもうありません。モデルの詳細と数式については、原著論文「DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling」を参照してください。