Nvidia は年末に大きな動きを見せます!強力な画像ジェネレーターStyleGAN2のリリース

今年初め、NVIDIA の研究エンジニアは、生成的敵対ネットワーク用のスタイルベースのジェネレーター アーキテクチャとして StyleGAN のソース コードをリリースしました。

たとえば、無数のリアルな顔を生成できます。

また、ロリからロイヤルシスターへの変身プロセスを見ることもできます。

強力ではありますが、あくまでも最初のバージョンなので、欠陥があるのは仕方ありません。現在、アップグレード版StyleGAN2が誕生しました。NVIDIAは最近、「StyleGANの画質の分析と改善」という最新の論文を発表しました。StyleGANの生成効果を分析し、不完全な作業に対する改善と最適化の方法を設計しました。どのようなアップグレードがあるのか​​見てみましょう。

1. 機能アーティファクトを排除する

上図に示すように、StyleGAN 画像には水滴に似たアーティファクトがあります。これらは生成時にはあまり目立ちませんが、この問題は常に存在しており、64×64 画像の生成時から存在しています。解像度が高くなるほど、水滴現象は深刻になります。この問題は StyleGAN2 ではもう発生しません。

Nvidia の研究者は StyleGAN アーキテクチャを再設計し、一般的なブロッビー アーティファクトの起源を研究し、ジェネレーターがアーキテクチャの設計上の欠陥を回避するためにそれらを生成していることを発見しました。 NVIDIA は、アーティファクトを除去するためにジェネレーターで使用される正規化を再設計しました。

上図に示すように、(a) は元の StyleGAN アーキテクチャ、(b) は元の StyleGAN アーキテクチャの詳細、(c) は元のアーキテクチャにいくつかの変更を加えたもの、(d) は変更されたアーキテクチャです。

改善後の効果は以下のとおりです。

前述のアーティファクトはなくなり、完全な制御性が維持されます。

2. 詳細生成の改善

StyleGAN で使用されている Progressive Growing トレーニング方法を見てみましょう。詳細は位置に対して強い好みを持っています。特徴が移動しても、位置は変化したりそれに応じて移動したりすることはできません。

StyleGAN 2の研究者が最適化しました。上の図に示すように、upとdownはそれぞれバイリニアアップサンプリングとダウンサンプリングを表しています。歯や目などの特徴が画像上をスムーズに移動すると、その部分が所定の位置に留まり、次に望ましい位置にジャンプすることがあります。下の図は関連するアーティファクトを示しています。生成された顔の特徴は同時に変化することがあります。

一般的に、StyleGAN 2 の改善点は次のとおりです。

生成された画像の品質が大幅に向上しました（FIDスコアが高く、アーティファクトが少ない）

歯や目などの細部をより完璧にする、段階的成長に代わる新しい方法が提案されている

スタイルミキシングの改善

より滑らかな補間（追加の正規化）

より速いトレーニング

力強い感じがしませんか？自分で体験してみませんか? 関連するアドレスは次のとおりです:

論文アドレス: https://arxiv.org/pdf/1912.04958.pdf

Githubアドレス: https://github.com/NVlabs/stylegan2