ベクトル監視なしのベクトル画像生成アルゴリズムがCVPR 2021に選出

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

画像生成アルゴリズムといえば、皆さんもよくご存知でしょう。

ただし、ほとんどのアルゴリズムはラスター画像、つまりビットマップを対象としており、ベクター画像はサポートしていません。

ベクターグラフィックスを生成するアルゴリズムはいくつかありますが、教師ありトレーニングにおけるベクターグラフィックスデータセットの品質とサイズが限られているため制限があります。

この目的のために、ロンドン大学ユニバーシティ・カレッジとAdobe Researchの研究者らは、間接的な監視のためにラスタートレーニング画像のみを使用して複雑なベクターグラフィックを生成できる新しい方法、 Im2Vecを提案しました。

△Im2Vec補間効果

原則的なアーキテクチャ

ベクター監視なしでベクターグラフィックス生成モデルを構築するために、研究者は、生成されたベクターシェイプをレンダリングし、ラスターキャンバス上に合成できる微分可能なラスター化パイプラインを使用しました。

△ アーキテクチャ概要 1

具体的には、まず、エンドツーエンドの変分オートエンコーダをベクターグラフィックスデコーダーとしてトレーニングし、ラスターイメージを潜在コード z にエンコードし、次にそれを順序付けられた閉じたベクターパスのセットにデコードします。

複数のコンポーネントを持つグラフの場合、モデルは RNN を使用して各パスの潜在コードを生成します。

これらのパスは、DiffVG を使用してラスタライズされ、DiffComp を使用して結合され、ラスタライズされたベクターグラフィック出力が得られます。

最後に、ラスタライズされたベクターグラフィックスを元のベクターグラフィックスと比較し、両者の間の損失、つまりマルチ解像度ラスター損失を計算します。誤差逆伝播法と勾配降下法を使用してモデルをトレーニングします。

エンコードのプロセスは次のとおりです。

△ アーキテクチャ概要 2

パスデコーダーを使用して、パスコードが閉じたベジェパスにデコードされ、パスの閉じを保証するためにパス制御ポイントが単位円上に均一に抽出されます。

次に、これらの制御位置は、円形境界条件を持つ 1 次元畳み込みニューラルネットワーク (CNN) を使用して変形され、点密度の適応制御が実現されます。

制御点の均一な分布と同じ数のセグメントと比較して、適応方式はサンプリング密度を調整し、再構築の精度を向上させます。

同時に、トレーニングされた補助モデルを使用して、複雑さと忠実度のバランスを取り、最適なパスセグメントの数とパス制御ポイントの数を決定します。

△ 統合サンプリングと適応サンプリング: (a) 忠実度とフラグメント数 (b) 誤差とフラグメント数

最後に、別の 1D 円形 CNN を使用して調整ポイントを調整し、描画キャンバスの絶対座標系で最終的なパス制御ポイントを出力します。

既存技術との比較

研究者らは、再構築、生成、補間という 3 つのタスクにおける Im2Vec の定量的なパフォーマンスを評価するために、ラスターベースの ImageVAE とベクターベースの SVG-VAE および DeepSVG と比較しました。

リファクタリングのパフォーマンス評価

まず、さまざまな方法とデータセットの再構築損失を計算します。

SVG-VAE も DeepSVG も、ベクトル監視なしではデータセット上で実行できないことに注意してください。

同時に、研究者らは、異なるデータセットにおける各手法のグラフィックス再構築パフォーマンスの定性的な比較を実施しました。

フォント再構築の実験結果から、次のことがわかります。

Im2Vec は複雑なトポロジ構造をキャプチャし、ベクターグラフィックスを出力できます。
ImageVAE は忠実度は高いですが、出力されるラスター画像の解像度は限られています。
SVG-VAE と DeepSVG はベクター出力を生成できますが、複雑なフォントを正確に再現できないことがよくあります。

MNIST データセットのトレーニングの結果は次のようになります。

ラスターデータのみが存在し、ベクターグラフィックスのベンチマークがないため、このデータセットでは SVG-VAE も DeepSVG もトレーニングできません。

ImageVAE と Im2Vec の場合、数字クラスに特化または条件付けしないと、ImageVAE は低解像度のラスターイメージに制限されます (図 a)。一方、Im2Vec はベクター出力を生成できるため、編集可能性とコンパクトさという関連する利点があります。また、どちらも補間の生成で良好な結果を達成します (図 b)。

Emojis および Icons データセットでモデルの再構築パフォーマンスをテストすると、Im2Vec モデルは任意の解像度でラスタライズできることがわかります。

さまざまな方法による再構築のパフォーマンスを比較した結果、研究チームは次のような結論に達しました。

ベクトルベースの方法には、正確なベクトルパラメータを再現できるという利点がありますが、ベクトルパラメータと画像の鮮明度の間に非線形関係があるという問題があります。

SVG-VAE と DeepSVG によって推定されたベクトルパラメータの一見小さなエラーでも、画像の外観に大きな変化が生じる可能性があります。

Im2Vec は、ベクトルパラメータとピクセル空間間のターゲットの不一致の影響を受けないため、再構築タスクの大幅な改善を実現します。