写真を3Dに変換する品質が急上昇！ GitHub がショートポジションをオープンしたところ、300 人以上がスターを付けました

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

最新の「1枚の画像だけで3D化する」方法は人気があり、忠実度も高いです。

これまでの方法と比較すると、これは飛躍的な進歩です。 （新しい方法は最後の行にあります）

結果の 1 つを拡大すると、ジオメトリの詳細が豊富で、レンダリング解像度が1024 x 1024と高いことがわかります。

新しい方法「Magic123」は、KAUSTの博士課程学生Qian Guocheng氏が率いるKAUST、Snap、オックスフォードの共同チームによって考案されました。

画像を 1 枚入力するだけで、高品質の 3D メッシュだけでなく、視覚的に魅力的なテクスチャも 1 つのパッケージで得られます。

論文が arXiv に投稿されたばかりで、コードがまだアップロードされていなかったにもかかわらず、300 人以上の人がスターを付けて (そして更新を促して) くれました。

粗いものから細かいものまで、2段階のアプローチ

かつて、2D を 3D に変換する最も一般的な方法は NeRF でした。しかし、NeRF は大量のビデオメモリを消費するだけでなく、解像度も低くなります。

この論文では、よりリソース効率の高い Instant-NGP ソリューションであっても、16G メモリの GPU では128x128の解像度しか達成できないと指摘しています。

3D コンテンツの品質をさらに向上させるために、チームは NeRF の後に第 2 段階を導入し、DMTet アルゴリズムを使用して解像度を1024x1024に上げ、NeRF から派生したジオメトリとテクスチャを改良しました。

2D 参照画像が 1 枚だけの場合、まず既製の Dense Prediction Transformer モデルを使用してセグメンテーションを行い、次に事前トレーニング済みの MiDaS を使用して深度マップを抽出し、その後の最適化を行います。

次に、Instant-NGP を使用して最初の大まかな段階に入り、複雑な形状をすばやく推測して再構築できるように最適化しますが、解像度が高くなりすぎず、十分な解像度で十分です。

2 番目の改良フェーズでは、メモリ効率の高い DMTet メソッドを使用して 3D モデルが改良され、分離されます。 DMTet は、SDF ボクセルとメッシュ グリッドのハイブリッド表現であり、微分可能な四面体メッシュを生成します。

テクスチャ反転は両方の段階で使用され、生成されたジオメトリとテクスチャが入力と一致するようにします。

研究チームは入力画像を、一般的な物体（テディベアなど）、あまり一般的でない物体（2 つの積み重ねられたドーナツなど）、珍しい物体（ドラゴンの像など）の 3 つのカテゴリに分類しました。

2D 事前情報のみを使用すると、より複雑な 3D 構造を生成できることがわかりましたが、入力画像との一貫性は高くありません。

3D の事前情報のみを使用すると、正確ではあるものの詳細度の低いジオメトリが生成されます。

チームは2D 事前分布と 3D 事前分布を組み合わせて使用​​することを提案し、何度も試行した結果、最終的に 2 つの事前分布のバランスを見つけました。

2D事前情報にはStable Diffusion 1.5を使用し、3D事前情報にはコロンビア大学/トヨタ研究所が提案したZero-1-to-3を使用します。

定性的な比較では、2 種類の事前情報を組み合わせた Magic123 メソッドが最良の結果を達成しました。

定量的な比較では、NeRF4 および RealFusion15 データセットにおける Magic123 のパフォーマンスが評価され、以前の SOTA 方法と比較してすべての指標でトップ 1 の結果を達成しました。

では、Magic123 メソッドには何か制限があるのでしょうか?

はい、あります。

論文の最後で、研究チームは、この方法全体が参照画像が正面図であるという仮定に基づいており、他の角度からの画像を入力すると、生成される幾何学的特性が不十分になると指摘した。

たとえば、テーブルの上の食べ物を上から撮影する場合、この方法は適していません。

また、SDS ロスの使用により、 Magic123 は飽和したテクスチャを生成する傾向があります。特に細かいレベルでは、解像度が高くなるほどこの問題は拡大します。

プロジェクトホームページ: https://guochengqian.github.io/project/magic123/

論文: https://arxiv.org/abs/2303.11328

GitHub: https://github.com/guochengqian/Magic123