この肖像生成AIは、簡単なスケッチから1秒で本物の顔を生成できる

人工知能技術の発展に伴い、その用途は豊富かつ多様化しており、画像との組み合わせにおいては、AI顔認識技術やリアルな画像を作成するアルゴリズムが常に大きな注目を集めています。

最近、この分野で新たな進歩があったようです。DeepFaceDrawingと呼ばれるAI画像コンバーターは、簡単なスケッチに基づいてリアルな顔の画像を作成でき、目覚ましい成果を上げています。

AIと画像：リアリズムの幻想

実際、3D オブジェクトの平面図を描くのに役立つ AI アルゴリズムはすでに存在します。このアルゴリズムはグラフ理論を使用して、最初に 3D モデルを入力として受け取り、それを徐々に細分化し、最後にこの 3D オブジェクトの平面画像を出力として描画します。

しかし、このプロセスを逆にすると、大まかな描画からリアルな画像を作成できるアルゴリズムが得られます。これはSFの世界の話のように思えるかもしれないが、NVIDIAの科学者たちはすでに1年半前からこれを使い始めている。

左下のオプションから何を描くかを選択し、右側にリアルな画像出力を取得して、写真のような風景画像を取得できます。しかし、それには限界もあり、リアルな人間の顔を作成することはできません。

実際、科学者たちはこの目標を達成するために多くの努力をしてきましたが、ほとんどの同様の AI アルゴリズム フレームワークには、詳細かつよく描かれたスケッチが必要です。そのため、実用性や汎用性は十分高くありません。

新しい AI アルゴリズムがこれらの問題を解決します: DeepFaceDrawing: スケッチから顔画像を詳細に生成します。

このプロジェクトは北京の中国科学院と香港城市大学のチームによって作成されたと理解されており、DeepFaceDrawingは現在最も先進的な画像ジェネレーターの1つでもあります。

不器用な人でもカメラ並みの顔が描ける

DeepFaceDrawing は、実際にはディープラーニング ベースの画像間変換テクノロジであり、非常にシンプルでラフなスケッチからリアルな顔画像を作成します。この設計は、描画経験の少ない人を支援することを目的としています。

チームによると、「私たちの主なアイデアは、実際の顔のスケッチ画像からもっともらしい顔の記述空間を暗黙的に学習し、この空間内で入力スケッチを模倣する最も近い点を見つけることです。」

DeepFaceDrawing のディープラーニング フレームワークは、CE (コンポーネント埋め込み)、FM (機能マッピング)、IS (画像合成) などのモジュールを使用して画像を生成します。 CE モジュールは基本的に、目、鼻、口、および対象の顔の「残りの部分」など、最も目立つ顔の特徴の一部を識別します。次に、FM モジュールと IS モジュールが連携して「コンポーネントの特徴ベクトルを現実的な画像にマッピング」します。

この技術により、ユーザーは参照画像としてスケッチを描くだけで、スケッチに一致する写真のようにリアルに近い顔を作成できます。興味深いことに、毛皮をペイントする前に、ペイントの開始点も自動的に提供されます。ただし、希望のヘアスタイルを自分で作成することを選択した場合は、描いた通りに忠実に実行されます。

それだけでなく、ユーザーがさまざまな顔の特徴を調整できるようにしたり、1 つの調整を同時に多くの顔にマッピングしたりできるなど、さらに驚くべき機能も提供します。

また、興味深い機能もあります。ユーザーは何も描く必要がなく、好きな顔の特徴をいくつか選択するだけで、理想的な顔が完成します。これは顔のコピー＆ペーストと呼ばれるものです。

新たなブレークスルー、新たな用途、新たなバグ

この AI コンバーターは、人間の顔の非常にリアルな画像を作成することができます。しかし、解決すべき問題がまだいくつか残っています。

たとえば、女性のスケッチでは両目の大きさが異なりますが、AI によって生成された対応する画像では、目の違いによって顔の他の特徴も変化しており、これは明らかに画家の本来の意図ではありません。

さらに、DeepFaceDrawing は、主に白人やラテンアメリカ人を題材にした画像も生成するようです。しかし、これらの問題が解決されるのは時間の問題です。

現実の世界でも、この技術はさまざまな用途に使えるかもしれません。チームは、このフレームワークが「犯罪捜査、キャラクターデザイン、教育、訓練など」で特に役立つ可能性があると指摘している。

さらに、近い将来、デジタルアーティストがこの技術を採用すると強く信じられており、アーティストが芸術的なアイデアを現実のものにするのに役立ち、フィット感が向上するだけでなく、実際の実行時間の短縮にも役立ちます。