Nvidia、テキストスケッチを入力するだけでリアルな写真を生成できるGAN「スーパースティッチャー」を発表

[[440170]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

GauGAN2に続いて、NVIDIAはGANの「スーパースティッチャー」であるPoE GANをリリースしました。

PoE GAN は複数の形式での入力を受け入れることができ、テキストの説明、画像のセグメンテーション、スケッチ、スタイルをすべて画像に変換できます。

そして、上記の入力モードの任意の 2 つの組み合わせを同時に受け入れることができ、これが PoE の意味です。

いわゆる PoE は、2002 年に Hinton によって提案された「専門家の積」の概念です。各専門家 (個別のモデル) は、入力空間上の確率モデルとして定義されます。

それぞれの入力モダリティは、合成画像が満たさなければならない制約であるため、すべての制約を満たす画像のセットは、各制約セットを満たすセットの共通部分になります。

各制約の結合条件付き確率分布がガウス分布に従うと仮定すると、交差の分布は単一の条件付き確率分布の積によって表されます。

この条件下では、ある領域で製品分布が高密度になるためには、各個別分布がその領域で高密度である必要があり、それによって各制約が満たされます。

PoE GAN の焦点は、各入力をどのように混合するかにあります。

PoE GANの設計

PoE GAN のジェネレーターは、グローバル PoE-Netを使用して、さまざまな種類の入力のバリエーションを混合します。

各モダリティ入力を特徴ベクトルにエンコードし、PoE を使用してグローバル PoE-Net に集約します。デコーダーは、グローバル PoE-Net の出力を使用するだけでなく、セグメンテーションエンコーダーとスケッチエンコーダーを直接接続して画像を出力します。

グローバル PoE-Net の構造は次のとおりです。潜在特徴ベクトル z0 は PoE を使用してサンプルとして使用され、MLP によって処理されて特徴ベクトル w が出力されます。

識別器部分では、著者らは、複数の条件付き入力を処理できるように投影識別器を一般化するためのマルチモーダル投影識別器を提案しました。

画像埋め込みと条件付き埋め込みの間の単一の内積を計算する標準的な投影識別器とは異なり、ここでは、入力モダリティごとに内積が計算され、合計されて最終的な損失が得られます。

入力をランダムに変換するGAN

PoE は、シングルモーダル入力、マルチモーダル入力、または入力なしでも画像を生成できます。

単一の入力モダリティでテストした場合、PoE-GAN は、そのモダリティ専用に設計された以前の SOTA 方法よりも優れたパフォーマンスを発揮します。

たとえば、セグメンテーション入力モダリティでは、PoE-GAN は以前の SPADE や OASIS よりも優れたパフォーマンスを発揮します。

テキスト入力モダリティでは、PoE-GAN はテキストから画像へのモデル DF-GAN および DM-GAN+CL よりも優れています。

任意のパターンのサブセットを条件にすると、PoE-GAN は異なる出力画像を生成できます。以下は、風景画像データセット上の 2 つのモード (テキスト + セグメンテーション、テキスト + スケッチ、セグメンテーション + スケッチ) で条件付けされた PoE-GAN のランダムサンプルを示しています。

PoE-GAN には入力がない場合もあり、その場合 PoE-GAN は無条件生成モデルになります。以下はPoE-GANによって無条件に生成されたサンプルです。