たった5秒でNeRFをトレーニング？ ！ Nvidia の新技術は Google の研究者の手に負えない | オープンソース

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

「これはおかしい！」

「18か月前、NeRFのトレーニングには5時間かかりました…」

「2か月前は、NeRFのトレーニングに5分しかかかりませんでした！」

「NeRFの訓練は5秒で完了する！？」

いったい何が起こったのでしょうか?これは実際に Google の研究科学者を驚かせました。

(以前人気のあった NeRF モデルを挿入します。バークレーと Google が共同で作成したもので、いくつかの静止画像から 3D のリアルな効果が生成されます)

同じようなレビューが沢山ありますよ〜

この技術を紹介するブログ記事も非常に人気があり、1日も経たないうちに数千件の「いいね！」を獲得しました。

これは NVIDIA の最新技術、つまりマルチ解像度ハッシュコーディングに基づくリアルタイム ニューラル グラフィックス プリミティブであることがわかりました。

キツネの NeRF モデルのトレーニングにはわずか 5 秒しかかかりません。

さらに、このテクノロジーは NeRF をトレーニングするだけでなく、他のタスクでも驚異的なトレーニング速度を実現します。

数桁の組み合わせ高速化が達成されました。

高品質のニューラル グラフィックス プリミティブを数秒でトレーニングし、数十ミリ秒で 1920 x 1080 の解像度のグラフィックスをレンダリングできます。

単一 GPU でのリアルタイム マルチタスク トレーニング

まずは結果を見てみましょう。

ラボで目が回りそう？5分間のiPhoneビデオトレーニングで360度リアルタイムレンダリング効果を体験～

実物写真34枚を使って3D画像を再現したいですね〜

NeRF に加えて、ニューラル グラフィックス プリミティブの実装が 3 つあります。

ギガピクセル画像

著者はまた、ネットワークは最初からトレーニングされており、瞬きすると見逃してしまう可能性があることを親切に思い出させてくれます。

完全に接続されたネットワークによってパラメータ化されたニューラル グラフ プリミティブのトレーニングと評価にはコストがかかります。

この論文では、コストを削減するために、汎用性の高い新しい入力エンコーディングを使用しています。

このエンコーディングにより、品質を犠牲にすることなく小規模なネットワークを使用できるようになり、浮動小数点数とメモリアクセスの数が大幅に削減されます。

具体的には、小さなニューラル ネットワークに、トレーニング可能な特徴ベクトルのマルチ解像度ハッシュ テーブルが追加されます。これらの特徴ベクトルの値は、確率的勾配降下法によって最適化されます。

つまり、このエンコーディングはタスクに依存しません。

研究チームは、ハッシュテーブルのサイズのみを変更し、すべてのタスクで同じ例とハイパーパラメータを使用したと述べています。

このプロジェクトは現在オープンソースになっており、興味のある方は以下のリンクをクリックしてください。

GitHub リンク:
https://github.com/NVlabs/instant-ngp
論文リンク:
https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf
プロジェクトリンク:
https://nvlabs.github.io/instant-ngp/