NeRF を放棄し始めていますか?ガウススプラッティングが自動運転のシナリオで人気があるのはなぜですか?

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。

序文と著者の個人的な理解

3 次元ガウス スプラッティング (3DGS) は、近年、明示的な放射場とコンピュータ グラフィックスの分野で登場した革新的な手法です。この革新的なアプローチは、何百万もの 3D ガウス分布を使用する点が特徴で、主に暗黙的な座標ベースのモデルを使用して空間座標をピクセル値にマッピングする Neural Radiance Field (NeRF) アプローチとは大きく異なります。 3D GS は、明示的なシーン表現と微分可能なレンダリング アルゴリズムにより、リアルタイム レンダリング機能を保証するだけでなく、これまでにないレベルの制御とシーン編集も実現します。これにより、3D GS は次世代の 3D 再構築と表現に革命をもたらす可能性を秘めています。この目的のために、3D GS 分野における最近の開発と主要な貢献について初めて体系的な概要を紹介します。まず、3D GS の出現の基本原理と公式を詳細に検討し、その重要性を理解するための基礎を築きます。次に、3D GS の実用性について詳しく説明します。 3D GS はリアルタイム パフォーマンスを促進することで、仮想現実からインタラクティブ メディアまで、幅広いアプリケーションを可能にします。さらに、主要な 3D GS モデルとの比較分析を実行し、さまざまなベンチマーク タスクで評価して、そのパフォーマンスと実用性を強調します。このレビューは、現在の課題を特定し、この分野における将来の研究の可能性のある道筋を提案して締めくくっています。この調査を通じて、私たちは、新人研究者と経験豊富な研究者の両方に貴重なリソースを提供し、適用可能で明確な放射線場の表現のさらなる探求と進歩を促進することを目指しています。

読者が 3D GS の急速な発展に遅れを取らないように、私たちは 3D GS に関する最初の調査レビューを提供します。このレビューでは、このトピックに関する最も重要な最新の文献を体系的かつタイムリーに収集します。 3D GS は最近のイノベーションであるため (図 1)、導入以降に行われたさまざまな開発と貢献に焦点を当てます。 3D GS の関連研究は主に arxiv から来ています。この記事の主な目的は、3D GS の初期開発、理論的基礎、および新たなアプリケーションに関する包括的かつ最新の分析を提供し、この分野における 3D GS の革新的な可能性を強調することです。 3D GS はまだ初期段階ですが急速に進化していることを認識しており、この調査では、この分野における現在の課題と将来の展望を特定し、議論することも目的としています。私たちは、進行中の研究の方向性と、3D GS が促進する可能性のある潜在的な進歩についての洞察を提供します。学術的なレビューを提供するだけでなく、この分野におけるさらなる研究と革新を促進したいと考えています。この記事の構造を図 2 に示します。

背景

このセクションではまず、シーン レンダリングの重要な概念である放射フィールドの簡単な定式化について説明します。ここでは、2 つの主なタイプの放射フィールド表現について概説します。1 つは、単純だが計算量の多いレンダリングにニューラル ネットワークを使用する NeRF などの暗黙的な表現、もう 1 つは、メモリ使用量の増加を犠牲にして高速アクセスのために離散構造を使用するグリッドなどの明示的な表現です。次のテキストでは、シーンの再構築やレンダリングなどの関連領域とのつながりをさらに確立します。

問題の定義

放射フィールド: 放射フィールドは、光が環境内の表面や材料とどのように相互作用するかを捉える、3 次元空間における光の分布の表現です。数学的には、放射フィールドは、空間内の点と球座標で指定された方向を負でない放射輝度値にマッピングする関数として記述できます。放射輝度フィールドは、暗黙的または明示的な表現のいずれかでカプセル化することができ、それぞれに特定のシーン表現とレンダリングの利点があります。

暗黙的な放射輝度フィールド: 暗黙的な放射輝度フィールドは、シーンのジオメトリを明示的に定義せずに、シーン内の光の分布を表します。ディープラーニングの時代では、ニューラル ネットワークを使用して連続的なボリューム シーン表現を学習するのが一般的です。最も顕著な例は NeRF です。 NeRF では、MLP ネットワークを使用して、一連の空間座標と視線方向を色と密度の値にマッピングします。任意のポイントの放射輝度は明示的に保存されませんが、ニューラル ネットワークにクエリを実行することによってリアルタイムで計算されます。したがって、関数は次のように記述できます。

この形式では、複雑なシーンを微分可能かつコンパクトに表現できますが、ボリューム レイ マーチングによりレンダリング中の計算負荷が高くなる傾向があります。

明示的な放射場: 対照的に、明示的な放射場は、ボクセル グリッドや点の集合などの離散的な空間構造における光の分布を直接表現します。この構造内の各要素は、空間内の対応する位置の放射線情報を格納します。このアプローチにより、放射測定データへのより直接的で高速なアクセスが可能になりますが、メモリ使用量が増加し、解像度が低下する可能性があります。明示的な放射場表現の一般的な形式は次のように記述できます。

ここで、DataStructure はメッシュまたはポイント クラウドであり、視線方向に基づいて輝度を変更する関数です。

3D ガウス スプラッティング、両方の長所を兼ね備えた3D GS : 3D GS は、暗黙的な放射場から明示的な放射場への移行を表します。柔軟かつ効率的な表現として 3D ガウス分布を利用することで、両方のアプローチの長所を活用します。これらのガウス係数は、ニューラル ネットワーク ベースの最適化と明示的な構造化データ ストレージの利点を組み合わせて、シーンを正確に表現するように最適化されています。このハイブリッド アプローチは、特に複雑なシーンや高解像度の出力に対して、より高速なトレーニングとリアルタイム パフォーマンスを通じて高品質のレンダリングを実現することを目的としています。 3D ガウス表現は次のように定式化されます。

文脈と用語

多くの技術と研究分野が 3D GS と密接に関連しており、以下で簡単に説明します。

シーンの再構築とレンダリング: 大まかに言えば、シーンの再構築では、画像やその他のデータのコレクションからシーンの 3D モデルを作成します。レンダリングは、コンピューターで読み取り可能な情報 (シーン内の 3D オブジェクトなど) をピクセルベースの画像に変換することに重点を置いた、より具体的な用語です。初期の技術では、ライトフィールドに基づいてリアルな画像を生成しました。動きから構造を推定する (SfM) アルゴリズムとマルチビュー ステレオ (MVS) アルゴリズムは、画像シーケンスから 3D 構造を推定することで、この分野をさらに進歩させました。これらの歴史的な方法は、より洗練されたシーンの再構築とレンダリング技術の基礎を築きました。

ニューラル レンダリングと放射輝度フィールド: ニューラル レンダリングは、ディープラーニングと従来のグラフィックス技術を組み合わせて、フォトリアリスティックな画像を作成します。初期の試みでは、畳み込みニューラル ネットワーク (CNN) を使用して、混合重みまたはテクスチャ空間ソリューションを推定しました。放射場は、空間内の各点を通過して各方向に伝播する光の量を表す関数を表します。 NeRFs はニューラル ネットワークを使用して放射線場をモデル化し、詳細かつリアルなシーンのレンダリングを可能にします。

ボリューム表現とレイマーチング: ボリューム表現は、オブジェクトとシーンを表面としてだけでなく、マテリアルで満たされたボリュームまたは空の空間としてもモデル化します。このアプローチにより、霧、煙、半透明の素材などの現象をより正確にレンダリングできます。レイマーチングは、ボリューム内の光の経路を段階的にトレースすることで画像をレンダリングするためにボリューム表現で使用される手法です。 NeRF は、ボリューメトリック レイ マーチングと同じ精神を共有し、合成画像の品質を向上させるために重要度サンプリングと位置エンコーディングを導入します。ボリューム レイ マーチングは高品質の結果を提供しますが、計算コストが高く、3D GS などのより効率的な方法の探索が求められています。

ポイントベースのレンダリング: ポイントベースのレンダリングは、従来のポリゴンの代わりにポイントを使用して 3D シーンを視覚化する手法です。このアプローチは、複雑、非構造化、またはスパースな幾何学的データをレンダリングする場合に特に効果的です。ポイントは、学習可能なニューラル記述子などの追加属性を使用して強化し、効率的にレンダリングできますが、このアプローチでは、レンダリングの穴やエイリアシング効果などの問題が発生する可能性があります。 3D GS は、異方性ガウス分布を使用してこの概念を拡張し、より連続的でまとまりのあるシーンの表現を実現します。

明示的な放射場の3Dガウス分布

3D GS は、ニューラル コンポーネントに依存せずにリアルタイムで高解像度の画像レンダリングを実現する画期的な技術を実現しました。

新しい視点の合成のための3Dガウス分布を学習

（数百万の）最適化された 3D ガウス分布によって表されるシーンを考えてみましょう。目標は、指定されたカメラポーズに基づいて画像を生成することです。 NeRF は、計算負荷の高いボリューム レイ マーチングと、各ピクセルの 3D 空間内のポイントのサンプリングによってこのタスクを実行することを思い出してください。このモードでは、高解像度の画像合成が難しく、リアルタイムのレンダリング速度を実現できません。対照的に、3D GS はまずこれらの 3D ガウス分布をピクセルベースの画像平面に投影します。このプロセスは「スプラッティング」と呼ばれます (図 3a)。次に、3D GS はこれらのガウス分布を並べ替え、各ピクセルの値を計算します。図に示すように、NeRF と 3D GS のレンダリングは、お互いの逆のプロセスと見なすことができます。以下では、3D GS におけるシーン表現の最小要素である 3D ガウスの定義から始めます。次に、これらの 3D ガウス分布を微分可能なレンダリングにどのように使用できるかについて説明します。最後に、高速レンダリングの鍵となる、3D GS で使用されるアクセラレーション テクノロジを紹介します。

3D ガウス分布のプロパティ: 3D ガウス分布の特性は、中心 (位置) μ、不透明度 α、3D 共分散行列 ∑、および色 c です。ビューに依存する外観の場合、c は球面調和関数で表されます。すべてのプロパティは学習可能であり、バックプロパゲーションによって最適化されます。

フラスタム カリング:指定されたカメラのポーズに基づいて、このステップでは、どの 3D ガウスがカメラのフラスタムの外側にあるかを判断します。そうすることで、特定のビューの外側にある 3D ガウス分布は後続の計算に使用されず、計算リソースが節約されます。

スプラッティング: **このステップでは、3D ガウス (楕円体) が 2D 画像空間 (楕円体) に投影され、レンダリングされます。表示変換 W と 3D 共分散行列 ∑ が与えられた場合、投影された 2D 共分散行列 ∑′ は次の式を使用して計算されます。

ここで、J は射影変換のアフィン近似のヤコビ行列です。

ピクセル単位のレンダリング: 3D GS の最終バージョンに進む前に、まずそのシンプルな形式を詳しく見て、その仕組みをより深く理解します。 3D GS は並列コンピューティングを容易にするために複数の技術を活用します。ピクセル x の位置が与えられれば、すべての重なり合うガウス分布までの距離、つまりこれらのガウス分布の深さは、変換 W を調べることによって計算でき、並べ替えられたガウス分布のリスト N が形成されます。次に、アルファ合成を使用してピクセルの最終的な色を計算します。

ここで、は学習した色であり、最終的な不透明度は学習した不透明度とガウス値の積です。

ここで、x′とμは投影空間内の座標です。必要なソート済みリストの生成を並列化することは難しいため、説明したレンダリング プロセスが NeRF に比べて遅くなる可能性があるという懸念は当然です。実際、この懸念は正当です。この単純なピクセル単位のアプローチを使用すると、レンダリング速度が大幅に影響を受ける可能性があります。リアルタイム レンダリングを実現するために、3DGS は並列コンピューティングに対応するためにいくつかの譲歩を行いました。

タイル (パッチ):各ピクセルのガウス係数を導出する計算コストを回避するために、3D GS は精度をピクセルレベルからパッチレベルの詳細に転送します。具体的には、3D GS は最初に画像を複数の重複しないブロックに分割します。元の論文ではこれを「タイル」と呼んでいます。図 3b はタイルの図解です。各タイルは 16×16 ピクセルで構成されます。 3D GS はさらに、どのタイルがこれらの投影されたガウス マップと交差するかを決定します。投影されたガウス分布が複数のタイルをカバーする可能性があると仮定すると、論理的なアプローチは、ガウス分布を複製し、各複製に関連するタイルの識別子 (つまり、タイル ID) を割り当てることです。

並列レンダリング:複製後、3D GS は各タイル ID を各ガウス分布のビュー変換から取得した深度値と組み合わせます。これにより、上位ビットがタイル ID を表し、下位ビットが深度を表す、ソートされていないバイトのリストが生成されます。これを行うと、ソートされたリストをレンダリング（アルファ合成）に直接使用できるようになります。図 3c と 3d は、これらの概念を視覚的に示しています。各タイルとピクセルのレンダリングは独立して行われるため、このプロセスは並列コンピューティングに非常に適していることを強調しておく価値があります。もう 1 つの利点は、すべてのタイルのピクセルが共通の共有メモリにアクセスし、均一な読み取りシーケンスを維持できるため、アルファ合成を並行して実行でき、効率が向上することです。元の論文の公式実装では、フレームワークはタイルとピクセルの処理を、それぞれ CUDA プログラミング アーキテクチャのブロックとスレッドと同様に扱います。

つまり、3D GS は、前処理段階でいくつかの近似を導入して、高い画像合成品質基準を維持しながら計算効率を向上させます。

3Dガウススプラッティングの最適化

3D GS の中核となるのは、シーンの本質を正確に捉える 3D ガウス分布の大規模なセットを構築し、自由視点レンダリングを容易にすることを目的とした最適化プロセスです。一方では、3D ガウスのプロパティは、特定のシーンのテクスチャに適応するために、微分可能なレンダリングを介して最適化される必要があります。一方、特定のシーンを適切に表現できる 3D ガウス分布の数は事前にわかりません。有望なアプローチは、ニューラル ネットワークに 3D ガウス密度を自動的に学習させることです。各ガウス分布の特性を最適化する方法と、ガウス分布の密度を制御する方法を紹介します。これら 2 つのプロセスは、最適化ワークフロー内で相互に絡み合っています。最適化プロセス中に手動で設定されるハイパーパラメータが多数あるため、わかりやすくするためにほとんどのハイパーパラメータのシンボルを省略しています。

パラメータの最適化

損失関数:画像の合成が完了すると、レンダリングされた画像と GT の差として損失が計算されます。

3D-GS の損失関数は NeRF の損失関数と若干異なります。レイマーチングには時間がかかるため、NeRF は通常、画像レベルではなくピクセル レベルで計算されます。

パラメータ更新: 3D Gaussian のほとんどの機能は、バックプロパゲーションによって直接最適化できます。共分散行列 ∑ を直接最適化すると、非正の半正定値行列が生成され、共分散行列に通常関連付けられる物理的な解釈に準拠しなくなることに注意することが重要です。この問題を回避するために、3D GS は四元数 q と 3D ベクトル s を最適化することを選択します。 q と s はそれぞれ回転とスケーリングを表します。このアプローチにより、共分散行列∑を次のように再構築できます。

密度制御

初期化: 3D GS は、SfM から、またはランダムに初期化されたスパース ポイントの初期セットから開始されます。次に、ポイントの高密度化とプルーニングを使用して、3D ガウスの密度を制御します。

ポイントの高密度化:ポイントの高密度化の段階では、3D GS はガウス密度を適応的に増加させて、シーンの詳細をより適切にキャプチャします。このプロセスでは、幾何学的特徴が欠落している領域やガウス分布が分散しすぎている領域に特に注意を払います。高密度化は、一定回数の反復の後に実行され、ビュー空間の位置勾配が大きい (つまり、特定のしきい値を超える) ガウス分布を対象とします。これには、再構築が不十分な領域で小さなガウス分布を複製するか、再構築が過剰である領域で大きなガウス分布を分割することが含まれます。クローン作成では、ガウス分布のコピーが作成され、位置勾配に向かって移動されます。分割するには、1 つの大きなガウス分布を 2 つの小さなガウス分布に置き換え、それらのスケールを特定の係数で縮小します。このステップでは、3D 空間におけるガウス分布の最適な分布と表現を求め、再構築の全体的な品質を向上させます。

ポイント プルーニング:ポイント プルーニング ステージでは、冗長なガウス分布や影響度の低いガウス分布が削除され、ある程度は正規化プロセスとして考えることができます。このステップは、ほぼ透明なガウス分布 (アルファが指定されたしきい値を下回る) と、ワールド空間またはビュー空間で大きすぎるガウス分布を除去することによって実行されます。さらに、入力カメラ付近のガウス密度が不当に増加するのを防ぐために、ガウスのアルファ値は、一定回数の反復後にゼロ近くに設定されます。これにより、余分なガウス分布を除去しながら、必要なガウス分布密度の増加を制御することができます。このプロセスは、計算リソースの節約に役立つだけでなく、モデル内のシーンのガウス表現が正確かつ有効なままであることを保証します。

応用分野とタスク

3D GS の変革の可能性は、その理論的および計算的進歩をはるかに超えています。このセクションでは、ロボット工学、シーンの再構築と表現、AI 生成コンテンツ、自動運転、その他の科学分野など、3D GS が大きな影響を与えているさまざまな画期的な応用分野について詳しく説明します。 3D GS のアプリケーションは、その汎用性と革新的な可能性を実証しています。ここでは、最も注目すべきアプリケーション領域のいくつかを概説し、3D GS が各分野でどのように新しい境地を形成しているかについての洞察を提供します。

スラム

SLAM は、ロボット工学と自律システムにおける中核的な計算問題です。ロボットやデバイスが未知の環境内での自身の位置を理解しながら、環境のレイアウトをマッピングするという課題があります。 SLAM は、自動運転車、拡張現実、ロボットナビゲーションなど、さまざまなアプリケーションで重要です。 SLAM の中核は、未知の環境のマップを作成し、そのマップ上でデバイスの位置をリアルタイムで特定することです。したがって、SLAM は計算集約型のシーン表現技術に大きな課題をもたらし、3D GS の優れたテストベッドにもなります。

3D GS は革新的なシーン表現方法として SLAM 分野に参入します。従来の SLAM システムでは、通常、ポイント/サーフェス クラウドまたはボクセル グリッドを使用して環境を表します。対照的に、3D GS は異方性ガウス分布を利用して環境をより適切に表現します。この表現にはいくつかの利点があります: 1) 効率: 3D ガウス分布の密度は適応的に制御され、空間データをコンパクトに表現し、計算負荷を軽減します。 2) 精度: 異方性ガウスは、特に複雑なシーンや動的に変化するシーンに対して、より詳細で正確な環境モデリングを提供できます。 3) 適応性: 3D GS はさまざまなサイズと複雑さの環境に適応できるため、さまざまな SLAM アプリケーションに適しています。いくつかの革新的な研究では、SLAM で 3D ガウス スプラッシュを使用し、このパラダイムの可能性と汎用性を実証しました。

動的シーンモデリング

動的シーン モデリングとは、時間の経過とともに変化するシーンの 3D 構造と外観をキャプチャして表現するプロセスを指します。これには、シーン内のオブジェクトの形状、動き、視覚的な側面を正確に反映するデジタル モデルの作成が含まれます。動的シーン モデリングは、仮想現実、拡張現実、3D アニメーション、コンピューター ビジョンなど、さまざまなアプリケーションで重要です。 4D ガウス散乱 (4D GS) は、3D GS の概念を動的シーンに拡張します。時間的な次元を取り入れることで、時間の経過とともに変化するシーンの表現とレンダリングが可能になります。このパラダイムにより、高品質のビジュアル出力を維持しながら、動的なシーンをリアルタイムでレンダリングする機能が大幅に向上します。

エイジーシー

AIGC とは、特にコンピューター ビジョン、自然言語処理、機械学習の分野において、人工知能システムによって自律的に作成または大幅に変更されるデジタル コンテンツを指します。 AIGC は、人工的に生成されたコンテンツをシミュレート、拡張、または強化する機能が特徴で、リアルな画像合成からダイナミックな物語の作成まで、さまざまなアプリケーションを可能にします。 AIGC の重要性は、エンターテインメント、教育、技術開発など、さまざまな分野における変革の可能性にあります。これは、進化するデジタル コンテンツ作成環境における重要な要素であり、従来の方法に比べて拡張性があり、カスタマイズ可能で、多くの場合より効率的な代替手段を提供します。

3D GS のこの明確な性質により、リアルタイムのレンダリング機能と前例のないレベルの制御および編集が可能になり、AIGC アプリケーションに非常に適したものになります。 3D GS の明示的なシーン表現と微分可能なレンダリング アルゴリズムは、仮想現実、インタラクティブ メディアなどの分野でのアプリケーションにとって極めて重要な、忠実度が高く、リアルタイムで編集可能なコンテンツを生成するという AIGC の要件を完全に満たしています。

自動運転

自動運転とは、人間の介入なしに車両が移動し、運転できるようにすることです。車両には、カメラ、LiDAR、レーダーなどの一連のセンサーが搭載されており、高度なアルゴリズム、機械学習モデル、大規模な計算能力が組み合わされています。主な目標は、環境を認識し、インテリジェントな決定を下し、安全かつ効率的に操作を実行することです。自動運転は交通に革命をもたらす可能性があり、人為的ミスの削減による道路の安全性の向上、運転できない人の移動性の向上、交通の流れの最適化による渋滞や環境への影響の軽減など、重要なメリットをもたらします。

自動運転車は安全に運転するために周囲の状況を感知し、解釈する必要があります。これには、運転シーンをリアルタイムで再構築し、静的および動的オブジェクトを正確に識別し、それらの空間的な関係と動きを理解することが含まれます。動的運転シナリオでは、他の車両、歩行者、動物などの移動する物体により環境が絶えず変化します。これらのシーンをリアルタイムで正確に再構築することは安全な航行にとって重要ですが、関係する要素の複雑さと変動性のために困難です。自動運転では、3D GS を使用して、データ ポイント (LiDAR などのセンサーから取得されたものなど) を統合された連続的な表現にブレンドすることで、シーンを再構築できます。これは、さまざまな密度のデータ ポイントを処理し、シーン内の静的な背景と動的なオブジェクトの両方をスムーズかつ正確に再構築するのに特に役立ちます。これまでのところ、3D ガウス分布を使用して動的な運転/街頭シーンをモデル化し、既存の方法と比較してシーン再構築において優れたパフォーマンスを示した研究はほとんどありません。

パフォーマンス比較

このセクションでは、以前に説明したいくつかの 3D GS アルゴリズムのパフォーマンスを示して、より実証的な証拠を提供します。多くのタスクにおける 3D GS の多様なアプリケーションと、各タスクのカスタマイズされたアルゴリズム設計により、単一のタスクまたはデータセット内のすべての 3D GS アルゴリズムの均一な比較を実行することは現実的ではありません。そこで、3D GS 分野の代表的なタスクを 3 つ選択し、詳細なパフォーマンス評価を行います。特に明記しない限り、パフォーマンスは主にオリジナルの論文から得られます。

ポジショニング性能

静的シーンのレンダリングパフォーマンス

動的シーンレンダリングパフォーマンス

シーンレンダリングパフォーマンスの向上

デジタルヒューマンパフォーマンス

今後の研究の方向性

3D GS のフォローアップ作業はここ数か月で大きな進歩を遂げていますが、克服すべき課題がまだいくつかあると考えています。

• データ効率の高い 3D GS ソリューション: 限られたデータ ポイントから新しいビューを生成し、シーンを再構築することは、最小限の入力でリアリズムとユーザー エクスペリエンスを向上させる可能性があることから、非常に興味深いことです。最近の進歩により、深度情報、高密度の確率分布、ピクセルからガウスへのマッピングの使用が検討され、この機能が実現されるようになりました。しかし、この分野ではさらなる調査が緊急に必要とされています。さらに、3D GS の大きな問題として、観測データが不十分な領域にアーティファクトが出現することが挙げられます。この課題は、スパースなデータによって不正確な再構築につながることが多いため、放射フィールド レンダリングにおける一般的な制限です。したがって、これらの疎らな領域における新しいデータ補間または統合方法の開発は、将来の研究にとって有望な道筋となります。
• メモリ効率の高い 3D GS ソリューション: 3D GS は優れた機能を発揮しますが、特に NeRF ベースのアプローチと組み合わせると、そのスケーラビリティが大きな課題となります。後者は、学習した MLP のパラメータのみを保存するというシンプルさの恩恵を受けます。このスケーラビリティの問題は、計算とメモリの要件が大幅に増加する大規模なシーン管理のコンテキストでは、ますます深刻になります。したがって、トレーニング フェーズとモデルのストレージ中にメモリの使用率を最適化することが急務となっています。より効率的なデータ構造を探求し、高度な圧縮技術を調査することは、これらの制限に対処するための有望な手段です。
• 高度なレンダリング アルゴリズム: 現在、3D GS のレンダリング パイプラインは将来を見据えており、さらに最適化することができます。たとえば、単純な可視性アルゴリズムでは、ガウス深度/ブレンディング順序が大幅に切り替わる可能性があります。これは、より高度なレンダリング アルゴリズムを実装するという、将来の研究にとって重要な機会を浮き彫りにしています。これらの改良された方法は、特定のシーンにおける光と材料特性の複雑な相互作用をより正確にモデル化することを目指す必要があります。有望なアプローチとしては、従来のコンピュータ グラフィックスの確立された原則を 3D GS の特定のコンテキストに同化および適応させることが考えられます。この点では、強化されたレンダリング技術やハイブリッド モデルを 3D GS の現在の計算フレームワークに統合するための継続的な取り組みに注目する価値があります。さらに、逆レンダリングとその応用の探求は、研究のための肥沃な土壌を提供します。
• 最適化と正規化: 異方性ガウス分布は複雑な形状を表現するのに適していますが、視覚的なアーティファクトを生成する可能性があります。たとえば、特にビューに依存する外観の領域にある大きな 3D ガウス分布により、ポップイン アーティファクトが発生し、視覚要素が突然現れたり消えたりして没入感が損なわれる可能性があります。 3D GS の正規化と最適化には、探索の余地がかなりあります。アンチエイリアシングを導入すると、ガウス深度とブレンド順序の急激な変化を軽減できます。最適化アルゴリズムの強化により、空間内のガウス係数をより適切に制御できるようになります。さらに、最適化プロセスに正規化を組み込むと、収束が加速され、視覚的なノイズが滑らかになり、画像の品質が向上します。さらに、このような多数のハイパーパラメータは 3D GS の一般化に影響を与えるため、早急に解決策が必要です。
• メッシュ再構築における 3D ガウス分布: メッシュ再構築における 3D GS の潜在能力と、体積および表面表現のスペクトルにおけるその位置については、まだ十分に調査されていません。ガウスプリミティブをメッシュ再構築タスクにどのように適用できるかを早急に研究する必要があります。この調査により、ボリューム レンダリングと従来のサーフェスベースの方法の間のギャップが埋められ、新しいレンダリング手法とアプリケーションに関する洞察が得られます。
• 3D GS の可能性をさらに広げる: 3D GS には大きな可能性があるにもかかわらず、その幅広い用途はほとんど未開発のままです。有望な探究の道筋は、特定のアプリケーションに合わせて調整された言語的および物理的特性などの追加特性で 3D ガウス分布を強化することです。さらに、最近の研究では、カメラの姿勢推定、手と物体の相互作用のキャプチャ、不確実性の定量化など、いくつかの分野での 3D GS の機能が明らかになり始めています。これらの予備的な調査結果は、学際的な研究者が 3D GS をさらに調査するための重要な機会を提供します。

結論は

私たちの知る限り、このレビューは、明示的な放射場とコンピュータ グラフィックスの革新的な技術である 3D GS の初めての包括的な概要を提供します。これは、従来の NeRF アプローチからのパラダイム シフトを示し、リアルタイム レンダリングと制御性の向上における 3D GS の利点を強調しています。私たちの詳細な分析は、特にリアルタイムのパフォーマンスを必要とする実際のアプリケーションにおける 3D GS の利点を実証しています。私たちは、この分野における将来の研究の方向性と未解決の課題についての洞察を提供します。全体として、3D GS は、3D 再構築と表現の将来の発展に大きな影響を与えると期待される変革的なテクノロジーです。この調査は、急速に発展しているこの分野でのさらなる探究と進歩を可能にする基礎リソースとして機能することを目的としています。

オリジナルリンク: https://mp.weixin.qq.com/s/jH4g4Cx87nPUYN8iKaKcBA