Google が新しい AI ゲームをリリース: 落書きしてワンクリックでモンスターに変身

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

Xiao Ming は、何気なく頭を落書きし、次に翼を描き、大きな尻尾を追加し、そして「変換」ボタンをクリックしました。

恐ろしい顔、荒れた皮膚、そして繊細な質感を持つ巨大なモンスターが誕生しました。

これはGoogleの研究者が作成したAIツール、 Chimera Painterです。

これは、あなたの落書きを本物そっくりのモンスターに変えることができるオンライン描画ツールです。

キメラの条件付きGAN

研究者たちは、カードゲームのようなバイオハイブリッドコンセプトを構築した。

例えば、「クジラ」のカードを手に入れた場合、組み合わせることで「クジラVS象」のキメラモンスターに変化させることができます。

この組み合わせにより、元の画像の視覚的特徴を保持した芸術作品が生まれます。

これまで、画像作成には敵対的生成ネットワーク (GAN) が広く使用されていました。 GAN は通常、次の 2 つのモジュールで構成されます。

• 生成モデル
• 識別モデル

2 つのモジュールは相互に競合して学習し、かなり優れた出力を生成します。優れた GAN アプリケーションには適切なトレーニング方法が必要です。そうでないと、ニューラル ネットワーク モデルの自由度が原因で出力が理想的でない可能性があります。

たとえば、MIT と IBM は協力して「GAN Painting Studio」を開発しました。

ユーザーは、選択した画像をアップロードして、オブジェクトのサイズの変更から、木、窓、建物、テーブルなどのまったく新しいオブジェクトの追加まで、さまざまな角度から外観を変更できます。

そして、Nvidia の最新の AI ソフトウェアは、粗雑な落書きをリアルな風景に変えます。

Chimera Painter では、フォトリアリズムに重点を置いた以前の 2 つの GAN とは異なり、条件付き GANと呼ばれる手法が使用されました。

この方法は一般的な GAN とは異なります。一般的な GAN は一連の画像に基づいており、ジェネレータとディスクリミネーターが互いに競合して新しい画像を形成します。

Chimera Painter では、クリエイティブな画像をジェネレーターに入力し、GAN を通じて新しい画像を生成する必要があります。

モンスターを解体し、モデリングし、レンダリングのために再組み立てする

GAN をトレーニングするために、研究者らはさまざまな生物の 3D モデルを含む 10,000 枚を超えるフルカラー画像のデータセットを作成した。

この生物モデルのデータベースは、各生物の全体的なサイズと形状を描写するだけでなく、手足、臓器、胴体のセグメンテーション マップも提供します。

アーティストは、これらの「バラバラになった」モデルに基づいて、新しい「生き物」を再構築します。頭、歯、胴体、翼など、さまざまな部分を選択してペイントできます。

左側にさまざまな体の部位のオプション ボタンが表示されます。

そして、GAN の後、最適な組み合わせモデルが選択され、マージされ、Chimera Painter に出力されます。

まずクリーチャーのテクスチャを作成する必要があります

GAN モデルでは、コントラストの低い画像部分をレンダリングするときにフレームスキップが発生し、画像の空間的な一貫性が失われます。

たとえば、この写真では足と目の識別境界が明確でないため、出力画像がおかしくなります。

この問題に対処するために、Chimera Painter の研究者は新しい半自動化手法を開発しました。

希望する生き物の種類（ハイエナやライオンなど）ごとに、キメラ ペインターがモデルを作成します。

その後、アーティストたちは Unreal Engine を使用して、3D モデルに重ねられるカラフルなテクスチャを作成しました。

次に、「セグメンテーション マップ」の単色 (頭、耳、首など) がモデルに適用され、アーティストが指定した構造、形状、テクスチャ、比率を GAN が理解できるようになります。

3D クリーチャー モデルをシンプルな 3D シーンに配置するために、Unreal Engine が再び使用されました。

データベース内のモデルの数を増やすために、自動化されたスクリプトがこの 3D シーンを積極的に抽出します。 10,000 個の生物学的モデルに基づいて、10,000 枚以上の画像とセグメンテーション マップを継続的に補足して生成しました。

生物のさまざまな姿勢に基づいて、視点とズーム レベルの間で補間が実行され、フルカラー画像とセグメンテーション マップが作成され、GAN の新しいトレーニング データセットが形成されます。

このデータを毎回手動で作成するには 20 分以上かかります。

Google によれば、Chimera Painter はアーティストの時間を何百万時間も節約したという。