トップマガジンTPAMI2023！生成AIと画像合成のレビューを公開しました！

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。

現在の人工知能分野の最先端技術として、生成 AI はさまざまな視覚合成タスクで広く使用されています。

DALL-E2、Stable Diffusion、DreamFusion のリリースにより、AI ペインティングと 3D 合成は驚異的な視覚効果を実現し、世界中で爆発的に普及しました。これらの生成 AI テクノロジーにより、AI の画像生成機能に対する人々の理解は大きく広がりました。では、これらの生成 AI 手法はどのようにしてリアルな視覚効果を生み出すのでしょうか?ディープラーニングとニューラルネットワーク技術をどのように活用して、絵画や 3D 生成などのクリエイティブなタスクを実現できるでしょうか?私たちのレビュー論文では、これらの質問に対する答えを提供します。

論文: https://arxiv.org/abs/2112.13592

GitHub アドレス:

https://github.com/fnzhan/ジェネレーティブAI

プロジェクトアドレス: https://fnzhan.com/Generative-AI/

このレビューの最初のセクションでは、マルチモーダル画像合成および編集タスクの重要性と全体的な発展、およびこの論文の貢献と全体的な構造について説明します。

第 2 章では、画像合成と編集を導くデータ モダリティに基づいて、より一般的に使用されている視覚ガイダンス、テキスト ガイダンス、音声ガイダンス、および DragGAN によって最近提案された制御点ガイダンスを紹介し、対応するモダリティ データの処理方法を紹介します。

第 3 セクションでは、画像合成と編集のモデル フレームワークに従って、GAN ベースの方法、拡散モデル法、自己回帰法、ニューラル放射場 (NeRF) 法など、現在のさまざまな方法を分類します。

GAN ベースの手法では一般的に条件付き GAN と GAN 反転が使用されるため、本論文ではさらに、制御条件、モデル構造、損失関数設計、マルチモーダルアライメント、およびクロスモーダル監視の融合方法について詳しく説明します。

最近では、人気の拡散モデルもマルチモーダル合成および編集タスクで広く使用されています。たとえば、驚くべき DALLE-2 と Imagen はどちらも拡散モデルに基づいています。 GAN と比較すると、拡散生成モデルには、静的なトレーニング目標や容易なスケーラビリティなど、いくつかの優れた特性があります。この論文では、条件付き拡散モデルと事前トレーニング済み拡散モデルに基づいて、既存の方法を詳細に分類し、分析します。

GAN や拡散モデルベースの方法と比較して、自己回帰モデル法は、マルチモーダルデータをより自然に処理し、現在普及している Transformer モデルを利用できます。自己回帰法では通常、まずベクトル量子化エンコーダを学習して画像をトークンシーケンスとして離散的に表現し、次にトークンの分布を自己回帰的にモデル化します。テキストや音声などのデータをトークンとして表現し、自己回帰モデリングの条件として使用できるため、さまざまなマルチモーダル画像合成および編集タスクを 1 つのフレームワークに統合できます。

上記の方法は主に 2D 画像のマルチモーダル合成と編集に焦点を当てています。最近、神経放射場（NeRF）の急速な発展により、3D知覚のマルチモーダル合成と編集がますます注目を集めています。 3D 対応のマルチモーダル合成と編集は、マルチビューの一貫性を考慮する必要があるため、より困難なタスクです。この論文では、単一シーンに最適化された NeRF と生成型 NeRF という 2 つの手法に関する既存の研究を分類し、要約します。

次に、このレビューでは、上記の 4 つのモデル アプローチを比較して説明します。一般的に、現在の最先端のモデルでは、GAN よりも自己回帰モデルと拡散モデルが好まれます。マルチモーダル合成および編集タスクにおける NeRF の応用は、この分野の研究に新たな窓を開きます。

第 4 セクションでは、このレビューでは、マルチモーダル合成および編集の分野で人気のあるデータセットと対応するモダリティ注釈をまとめ、各モダリティの一般的なタスク (セマンティック画像合成、テキストから画像への合成、音声ガイドによる画像編集) の現在の方法を定量的に比較します。同時に、複数のモードを同時に制御して生成された結果も視覚化されます。

第 5 章では、大規模なマルチモーダル データセット、正確で信頼性の高い評価メトリック、効率的なネットワーク アーキテクチャ、3D 認識の開発方向など、この分野における現在の課題と将来の方向性について説明し、分析します。

第 6 章と第 7 章では、この分野の潜在的な社会的影響について議論し、それぞれ論文の内容と貢献を要約しています。

オリジナルリンク: https://mp.weixin.qq.com/s/T8vFK2iRSLb_E1hJ6pzuGA