宮崎駿のアニメで新垣結衣を見たことがありますか？このオープンソースのアニメジェネレーターは、写真を数秒で手描きの日本のアニメに変換します

写真を撮るだけで、宮崎駿や新海誠などの日本のアニメ巨匠の手描き風に変換できます。アニメ画像を生成するために特別に設計されたこのGANは、非常に便利であることがテストされています。

[[320014]]

Synced が実際の店舗の写真に基づいて生成したレンダリングは、かつては日本のアニメシリーズのスクリーンショットだと考えられていました。

先日の2019年のチューリング賞はコンピュータグラフィックスとピクサーの3Dアニメーションに授与されましたが、2Dアニメーションの方が面白いと思う人も多いかもしれません。宮崎駿や新海誠などの巨匠が手描きするアニメには魂が込められており、どの絵も壁紙になる。日本のアニメは全体的に2次元が中心となっている。

実際の画像を日本の漫画風の手描き画像に変換できるモデルがあったら本当にクールだと思います。最近、マシンインテリジェンスはこれらのモデルが実際に存在することを発見し、CartoonGAN から AnimeGAN まで、非常に興味深い画像を生成できることが分かりました。

AnimeGAN を実装し、事前トレーニング済みのモデルを提供する新しい TensorFlow プロジェクトがあります。つまり、ダウンロード後すぐに生成されたエフェクトを試すことができます。私たちは日本のアニメスタイルのファンとして、すぐに新しいプロジェクトを試してみました。

プロジェクトアドレス: https://github.com/TachibanaYoshino/AnimeGAN

元のプロジェクトで示された優れた例の多くは街のシーンですが、さまざまなシーンでも問題ないことがわかりました。以下は、私たちが試した元の画像と生成されたエフェクトです。生成された桜道の最初の写真を見ると、突然「千と千尋の神隠し」の中にいるような気分になりました。

文字だけに焦点を当てれば、変換効果も非常に優れています。新垣結衣さんの写真をAnimeGANモデルに入力してみたところ、以下のような不思議な画風になりました。アニメにそのまま使っても問題なさそうです。

元の GitHub プロジェクトでは、作者もたくさんの例を挙げています。上記は Synced を試した結果に過ぎません。試してみるのもよいでしょう。

アニメGAN

プロジェクト全体は、論文「AnimeGAN: 写真アニメーション用の新しい軽量 GAN」で提案された方法を実装しています。著者は論文の中で AnimeGAN を CartoonGAN および ComixGAN と比較しています。

図からわかるように、細部に関してはAnimeGANの方が上記2つの方法よりも優れています。色は比較的自然で、にじみ感もそれほど強くありません。最も顕著なのは 2 行目のレンダリングです。AnimeGAN を使用して生成されたコミックは、宮崎駿のスタイルに近いです。

方法の紹介

本プロジェクトのAnimeGANでは、AnimeGANが使用するジェネレーターネットワークとディスクリミネーターネットワークを以下に示します。モデル全体は従来の畳み込みニューラル ネットワークのように見えますが、インスタンス正規化と新しい LReLU 活性化関数を使用します。

アーキテクチャの詳細の更新に加えて、著者らは次の 3 つの新しい損失関数も提案しました。

• グレースケールスタイルの損失
• グレースケールの敵対的損失
• 色再現損失

これらの損失関数により、生成された画像のスタイルを実際の漫画スタイルに近づけることができます。

以下の表は、ACartoonGAN と AnimeGAN のモデル サイズと推論速度を比較したものです。 AnimeGAN は、パラメータが少なく推論速度が速い、比較的軽量な GAN であることがはっきりとわかります。

一般的に、新しく提案された AnimeGAN は、より少ないモデルパラメータを使用し、写真のスタイルを強化するためにグラム行列を導入する軽量な生成的敵対的モデルです。研究者らの方法では、トレーニングのために一連の実画像と一連の漫画画像が必要であり、これらの画像はペアで一致させる必要がないため、トレーニングデータは非常に簡単に入手できます。

プロジェクト測定

このプロジェクトは Ubuntu 18.04 でテストされており、関連する依存環境は次のとおりです。

• Python 3.6.8
• テンソルフロー GPU 1.8
• オープンCV
• tqdm
• ナンピー
• グロブ
• argparse

これらの依存関係は CV でよく使用される拡張ライブラリであると言えるため、さまざまな依存関係環境の競合を解決するために多くの労力を費やす必要はありません。ここで良いレビューをします。

以下は、このプロジェクトの詳細なトレーニングおよびテストのプロセスです。まず、AnimeGAN プロジェクトをローカルにクローンし、Jupyter ノートブックに入力します。

 !git clone https://github.com/TachibanaYoshino/AnimeGAN  

作業ディレクトリをAnimeGANに変更します。

インポートOS 
 
 os.chdir( 'AnimeGAN' ) 
 
印刷(os.getcwd())

次に、プロジェクト作成者が提供する事前トレーニング済みモデルをダウンロードし、vim download_staffs.sh を使用してシェル ファイルを作成し、次のコマンドを入力します。

 URL=https: //github.com/TachibanaYoshino/AnimeGAN/releases/download/Haoyao-style_V1.0/Haoyao-style.zip   
 
 ZIP_FILE=./checkpoint/Haoyao-style.zip 
 
 TARGET_DIR=./チェックポイント/saved_model 
 
 mkdir -p ./チェックポイント
 
 wget -N $URL -O $ZIP_FILE 
 
 mkdir -p $TARGET_DIR 
 
 $ZIP_FILE を解凍 -d $TARGET_DIR 
 
 rm $ZIP_FILE 
 
データセットURL=https: //github.com/TachibanaYoshino/AnimeGAN/releases/download/dataset-1/dataset.zip   
 
 ZIP_FILE=./データセット.zip 
 
 TARGET_DIR=./データセット
 
 rm -rf データセット
 
 wget -N $日付セットURL -O $ZIP_FILE 
 
 $ZIP_FILE を解凍 -d $TARGET_DIR 
 
 rm $ZIP_FILE 
 
 VGG_FILE=./vgg19_weight/vgg19.npy 
 
 wget --load-cookies /tmp/cookies.txt "https://docs.google.com/uc?export=download&confirm=$(wget --quiet --save-cookies /tmp/cookies.txt --keep-session-cookies --no-check-certificate 'https://docs.google.com/uc?export=download&id=1U5HCRpZWAbDVLipNoF8t0ZHpwCRX7kdF' -O- | sed -rn 's/.*confirm=([0-9A-Za-z_]+).*/1n/p')&id=1U5HCRpZWAbDVLipNoF8t0ZHpwCRX7kdF" -O $VGG_FILE && rm -rf /tmp/cookies.txt

保存して終了します。上記のコマンドは、事前トレーニング済みモデル、vgg19 重み、およびトレーニング データセットをそれぞれのディレクトリにダウンロードして保存します。ノートブックで実行:

 !bash ダウンロード_staffs.sh

これで準備はすべて完了です。次のコードを実行してモデルをトレーニングできます。

 !python main.py --phase train --dataset Hayao --epoch 101 --init_epoch 1  

AnimeGAN のトレーニングプロセスを下の図に示します。

テストするときは、テスト画像を dataset/test/real ディレクトリに保存し、次のコードを実行する必要があります。

 !python test.py --checkpoint_dir checkpoint/saved_model --test_dir dataset/test/real --style_name H

上記の出力が表示された場合、プログラムが正常に実行され、生成された結果が結果フォルダーに保存されたことを意味します。ご覧のとおり、P100 GPU で画像を生成するには約 2.3 秒かかります。