2Dラベルのみを使用してマルチビュー3D占有モデルをトレーニングするための新しいパラダイム

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。

[RenderOcc、2D ラベルのみを使用してマルチビュー 3D 占有モデルをトレーニングするための新しいパラダイム] 著者らは、マルチビュー画像から NeRF スタイルの 3D ボリューム表現を抽出し、ボリュームレンダリング技術を使用して 2D 再構成を構築することで、2D セマンティックラベルと深度ラベルからの直接的な 3D 監視を実現し、高価な 3D 占有注釈への依存を減らします。広範囲にわたる実験により、RenderOcc のパフォーマンスは 3D ラベルで完全に監視されたモデルと同等であることが示され、実際のアプリケーションにおけるこのアプローチの重要性が強調されています。オープンソース。

タイトル: RenderOcc: 2Dレンダリング監視による視覚中心の3D占有予測

著者の所属: 北京大学、Xiaomi Motors、香港中文大学MMLAB

オープンソースアドレス: GitHub - pmj110119/RenderOcc

3D 占有予測は、3D シーンを意味ラベル付きのグリッドセルに量子化するため、ロボットの認識や自動運転の分野で大きな可能性を秘めています。最近の研究では、主に 3D ボクセル空間の完全占有ラベルを監視に利用しています。ただし、コストのかかる注釈付けプロセスと、場合によってはあいまいなラベルにより、3D 占有モデルの使いやすさと拡張性が大幅に制限されます。この問題に対処するために、著者らは 2D ラベルのみを使用して 3D 占有モデルをトレーニングするための新しいパラダイムである RenderOcc を提案しています。具体的には、マルチビュー画像から NeRF スタイルの 3D ボリューム表現を抽出し、ボリュームレンダリング技術を使用して 2D 再構成を構築し、2D セマンティックラベルとディープラベルからの直接的な 3D 監視を可能にします。さらに、著者らは、自動運転シナリオにおけるスパース視点の問題に対処するために、連続フレームを利用して各オブジェクトの包括的な 2D レンダリングを構築する補助光線法を導入しています。 RenderOcc は、2D ラベルのみを使用してマルチビュー 3D 占有モデルをトレーニングする最初の試みであり、これにより、高価な 3D 占有注釈への依存が軽減されます。広範囲にわたる実験により、RenderOcc のパフォーマンスは 3D ラベルで完全に監視されたモデルと同等であることが示され、実際のアプリケーションにおけるこのアプローチの重要性が強調されています。

ネットワーク構造:

図 1. RenderOcc は新しいトレーニングパラダイムを表します。高価な 3D 占有ラベルを監督に使用することに焦点を当てた以前の研究とは異なり、私たちが提案する RenderOcc は 2D ラベルを活用して 3D 占有ネットワークをトレーニングします。 2D レンダリング監視を通じて、モデルはきめ細かい 2D ピクセルレベルのセマンティックおよび深度監視の恩恵を受けます。

図 2. RenderOcc の全体的なフレームワーク。この論文では、2D から 3D へのネットワークを通じてボリュームの特徴を抽出し、各ボクセルの密度とセマンティクスを予測します。したがって、本論文では、ボリュームレンダリングを実行してレンダリングされた 2D セマンティクスと深度を生成できるセマンティック密度フィールドを生成します。 Rays GT を生成するために、隣接フレームから補助光線を抽出し、現在のフレームの光線を補足し、提案された加重光線サンプリング戦略を使用してそれらを精製します。次に、ray GT と {,} を使用して損失を計算し、2D ラベルのレンダリング監視を実現します。

図3.補助光: 単一フレームの画像では、オブジェクトのマルチビュー情報を適切にキャプチャできません。隣接する 2 台のカメラ間の重複領域はわずかであり、視野角の差は限られています。隣接フレームからの補助光線を導入することで、モデルはマルチビュー一貫性制約から大きな恩恵を受けることになります。