すべてがジョジョになる：このGANはマスクを人間ではないものにする

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

これで何でもジョジョ化できる！

すでに意気揚々としていたマスク氏は、「私はもう人間じゃない！」と言いそうだった。

世界的に有名な絵画「モナ・リザ」の神秘的で優雅な微笑みが、さらに魅力的になったようです…

同じ次元からもう一人がやって来ます...キャプテン、何をしているんですか、キャプテン!

上記の効果は、Web デモを開いてクリックし、ローカル画像をアップロードするだけで実現できます。

これはすぐに多くのネットユーザーの注目を集め、Twitterでの人気は800を超えただけでなく、「Hugging Face」のオンライン試写会には長い行列ができ、1枚の写真の待ち時間は最大4〜5分にもなりました。

JOJO スタイルだけでなく、ディズニー スタイル、リーグ オブ レジェンド スタイルなどもあります...任意のスタイルの画像を入力すると、そのスタイルを新しい画像にすばやく適用できます。

キャロラインの哀れな大きな瞳と、王女としての無邪気な笑顔を見て、私はただこう言いたいのです...老媽よ、どうか魔法の力をしまって下さい!

オンラインであらゆるポートレートをJO化

上記のデモンストレーションを見て、あなたもJO顔になりたくなりましたか？

開発者が提供するHugging FaceとColabを使って試してみましょう。

まず、Hugging Face のオンライン バージョンです。左側のフレームの空白部分をクリックして、任意のローカル写真をドロップします。

もう一度「送信」をクリックして 10 秒以上待ちます...目の前に立っているのは、KO NO の筋肉質な Jinlun Da Sima その人です!

この方法では、リンクをクリックするだけですぐにプレイできます。シンプルで高速ですが、時々数分間列に並んで待つ必要があります。

したがって、colab バージョンを強くお勧めします。任意の画像を test_input フォルダーにインポートします。たとえば、ここに Bingbing の写真を配置し、[実行] をクリックします。

次に、次の生成モジュールを引き続き実行します。

私の氷の女神をジョジョに変えることも、GANさんの計画の一部ですか！

さらに、colab では別の遊び方も提供されています。任意のスタイルの画像をインポートし、自分で XX スタイル ジェネレーターを作成するのです。

うーん...これはテイワット版のムスクではないでしょうか？

老馬の真剣な写真をアップロード:

次に、style_images フォルダに Genshin Impact スタイルのポートレートをアップロードします。

（2D スタイルの画像をアップロードすると、「顔が見つかりません」という結果になる可能性があるため、さらにいくつかの画像を試す必要があります）

次に微調整を行い、数分待ってからもう一度「実行」をクリックします。

この決意に満ちた表情と、元の写真で腕を組んで遠くを見つめる老馬の姿勢を合わせると、次の瞬間には「天地が揺れる」などと言いそうな気がします。

GAN反転による近似スタイルの取得

では、この方法はどのようにして、単一の画像の芸術的なスタイルを完璧に学習し、それを他の画像に適用するという目標を達成するのでしょうか?

JoJoGanというモデルを見てみましょう。

主にGAN反転を通じて近似スタイルを取得します。主なワークフローは4つのステップに分かれています。

1. GAN を通じて、参照スタイル画像は近似ペアのトレーニング データに変換され、対応する様式化されたコードが取得されます。
2. 様式化されたコードに基づいて実際の顔画像を生成し、それを参照スタイルの画像と照合して、ペアのトレーニング セットとしてペア データを形成します。
3. これらのペアになったトレーニング データに基づいて、StyleGAN が微調整されます。
4. 微調整された StyleGAN を使用して新しいサンプルを生成します。

開発者らは、このモデルはゼロ監督下でスタイルの詳細に細心の注意を払っており、さまざまなスタイルで優れた汎用性を備え、他のスタイルの画像にも簡単に一般化できると述べています。

二次元からテクノロジーオタクへ

開発者のミン・ジン・チョン氏も私たちの古い知り合いです。彼は以前にも二次元妻ジェネレーターを作ったことがあります。

Min Jin Chong はイリノイ大学アーバナ・シャンペーン校 (UIUC) で学士号を取得し、その後博士号取得を目指して同大学に在籍しました。彼の主な研究分野は、機械学習、コンピューター ビジョン、画像生成です。

彼は以前、バイトダンスで3か月間インターンをしており、現在は同じ学校の学生2人とともに、ユーザーが仮想空間で商品を試したり購入したりできる「Style Space」というファッションショッピングアプリを設立した。

彼の指導者である David Forsyth 氏は、CV 分野の大物です。彼と Jean Ponce 氏は、コンピューター ビジョンの古典的な教科書「Computer Vision: A Modern Approach」を執筆しました。

Hugging Faceオンライントライアル:
https://huggingface.co/spaces/akhaliq/JoJoGAN

Colabオンライントライアル:
https://colab.research.google.com/github/mchong6/JoJoGAN/blob/main/stylize.ipynb#scrollTo=LCLWiXoXwcJb

論文リンク:
https://arxiv.org/abs/2112.11641