1枚の写真を2分で3Dに変換します。テクスチャ品質とマルチビューの一貫性：新しいSOTA｜北京大学が制作

写真を 3D に変換するのにかかる時間はわずか2 分です。

さまざまな視点から見て、質感の品質と一貫性に優れています。

種に関係なく、入力された単一ビュー画像は次のようになります。

2 分後、3D バージョンが完成しました。

△上、Repaint123 ( NeRF )、下、Repaint123 ( GS )

この新しい方法はRepaint123と呼ばれます。その中心となる考え方は、2D 拡散モデルの強力な画像生成能力と再描画戦略のテクスチャ調整能力を組み合わせて、高品質でマルチビューの一貫性のある画像を生成することです。

さらに、本研究では、重なり合う領域に対して可視性を考慮した適応的な再描画強度法を導入しています。

Repaint123 は、以前の方法の大きなマルチパースペクティブ偏差、テクスチャの劣化、生成の遅さなどの問題を解決します。

プロジェクトのコードはまだ GitHub で公開されていませんが、すでに 100 人以上がスターを付けています。

Repaint123 はどのようなものですか?

これまで、画像を 3D に変換する方法としては、スコア蒸留サンプリング (SDS) が一般的に採用されていました。この方法の結果は印象的ですが、マルチビューの不一致、過飽和、過度に滑らかになったテクスチャ、生成速度が遅いなどの問題がいくつかあります。

△上から下へ：Input、Zero123-XL、Magic123、Dream gaussian

これらの問題に対処するために、北京大学、彭城研究所、シンガポール国立大学、武漢大学の研究者らはRepaint123を提案しました。

一般的に、Repaint123 には次のような貢献があります。

（１）Repaint123は、画像から3D生成までの制御可能な再描画プロセスを総合的に考慮することで、高品質の画像シーケンスを生成し、これらの画像が複数の視点から一貫性を保つことを保証します。

（２）Repaint123は、シングルビュー3D生成のための簡単なベンチマーク手法を提案した。

大まかなモデルの段階では、3D 事前分布として Zero123 を使用し、それを SDS 損失関数と組み合わせて、ガウス スプラッティング ジオメトリを最適化することで、大まかな 3D モデルをすばやく (わずか 1 分で) 生成します。

微細モデリング段階では、2D 事前分布として Stable Diffusion を使用し、それを平均二乗誤差 (MSE) 損失関数と組み合わせて、メッシュ テクスチャをすばやく改良し、高品質の 3D モデルを生成します (これもわずか 1 分で)。

（３）多数の実験によりRepaint123法の有効性が実証されている。わずか 2 分で 1 枚の画像から 2D 生成と同等の品質の高品質の 3D コンテンツを生成できます。

△ 3D一貫性と高品質のシングルビュー3D高速生成を実現

具体的な方法を以下で見ていきましょう。

Repaint123 はメッシュ改良段階の最適化に重点を置いており、主な改善方向は、マルチビュー一貫性を備えた高品質の画像シーケンスの生成と、高速で高品質の 3D 再構築の実現という 2 つの側面をカバーしています。

1. マルチビューの一貫性を備えた高品質の画像シーケンスを生成する

マルチビューの一貫性を備えた高品質の画像シーケンスの生成は、次の 3 つの部分に分かれています。

△多視点一貫性画像生成プロセス

DDIM反転

ラフモデル段階で生成された 3D の一貫した低周波テクスチャ情報を保持するために、著者らは DDIM 反転を使用して画像を特定の潜在空間に反転し、後続のノイズ除去プロセスの基礎を築き、忠実で一貫性のある画像を生成しました。

制御可能なノイズ除去

ノイズ除去段階で幾何学的一貫性と長距離テクスチャ一貫性を制御するために、著者らは、粗いモデルレンダリングの深度マップを幾何学的事前情報として使用し、テクスチャ移行のための参照画像のAttention特徴を注入するControlNetを導入しました。

さらに、画像品質を向上させるために分類器を使用しないガイダンスを実行するために、この論文では、CLIP を使用して参照画像を画像キューとしてエンコードし、ノイズ除去ネットワークをガイドします。

再描画

閉塞と重なりの段階的な再描画 画像シーケンス内の隣接する画像の重なり合う領域がピクセル レベルで確実に整列されるように、著者らは段階的なローカル再描画戦略を採用しました。

重なり合う領域はそのままに、基準視点から 360° まで徐々に広がる、調和のとれた一貫性のある隣接領域が生成されます。

しかし、下の図に示すように、著者らは、これまで斜視であった領域の視覚解像度がまっすぐ見ると大きくなるため、重複領域も精緻化する必要があることを発見し、より高周波の情報を補足する必要があることを明らかにしました。

さらに、リファインメントの強度は 1-cosθ* に等しくなります。ここで、 θ* は、以前のすべてのカメラ ビューと表示された表面の法線ベクトル間の角度θの最大値であり、これにより、重複領域が適応的に再描画されます。

△カメラ視野角と精緻化強度の関係

忠実度を確保しながら品質を向上させるために適切な改良強度を選択するために、著者らは射影定理と画像超解像のアイデアを借用し、重なり合う領域を改良するためのシンプルで直接的な可視性を考慮した再描画戦略を提案しています。

2. 高速かつ高品質な3D再構築

下の図に示すように、著者らは高速かつ高品質の 3D 再構築のために 2 段階のアプローチを採用しました。

△Repaint123 2段階シングルビュー3D生成フレームワーク

まず、ガウススプラッティング表現を利用して、妥当な形状と粗いテクスチャを素早く生成しました。

同時に、以前に生成されたマルチビューの一貫した高品質の画像シーケンスの助けを借りて、著者らは、高速な 3D テクスチャ再構築に単純な平均二乗誤差(MSE)損失を使用することができます。

最適な一貫性、品質、スピード

研究者らは、いくつかの単一ビュー生成タスクでそれぞれの方法を比較した。

△ シングルビュー3D生成可視化比較

RealFusion15 および Test-alpha データセットでは、Repaint123 は一貫性、品質、速度の点で最も優れた結果を達成しました。

同時に、著者は論文で使用した各モジュールの有効性と視点の回転増分に関するアブレーション実験も行いました。

また、視野角間隔が60度のときに性能がピークに達することがわかりましたが、視野角間隔が大きすぎると重複領域が減少し、多面的な問題が発生する可能性が高くなるため、最適な視野角間隔は40度であることがわかりました。

論文アドレス: https://arxiv.org/pdf/2312.13271.pdf
コードアドレス: https://pku-yuangroup.github.io/repaint123/
プロジェクトアドレス: https://pku-yuangroup.github.io/repaint123/