リアルで制御可能、スケーラブルな自動運転照明シミュレーションプラットフォームLightSimが新しくアップデートされました

最近、Waabi AI、トロント大学、ウォータールー大学、MITの研究者らが、NeurIPS 2023で新しい自動運転照明シミュレーションプラットフォームLightSimを提案しました。研究者らは、実データからペア照明トレーニングデータを生成する方法を提案し、データ欠損やモデル転送損失の問題を解決した。 LightSim は、Neural Radiance Fields (NeRF) と物理ベースのディープ ネットワークを使用して車両運転ビデオをレンダリングし、大規模な実データ上で動的シーンの照明シミュレーションを初めて実現します。

• プロジェクトウェブサイト: https://waabi.ai/lightsim
• 論文リンク: https://openreview.net/pdf?id=mcx8IGneYw

自動運転に照明シミュレーションが必要なのはなぜですか?

カメラシミュレーションはロボット工学において、特に自律走行車が屋外のシーンを認識する上で非常に重要です。しかし、既存のカメラ認識システムは、訓練されていない屋外の照明条件に直面すると、パフォーマンスが低下します。カメラシミュレーションを通じて屋外照明の変動に関する豊富なデータセットを生成することで、自動運転システムの堅牢性を向上させることができます。

一般的なカメラ シミュレーション方法は、通常、物理エンジンに基づいています。この方法では、3D モデルと照明条件を設定してシーンをレンダリングします。しかし、シミュレーション効果は多様性に欠け、現実的ではないことがよくあります。さらに、高品質の 3D モデルの数は限られており、物理的にレンダリングされた結果は現実世界のシーンと完全には一致しません。その結果、実際のデータに対するトレーニング済みモデルの一般化が不十分になります。

もう1つはデータ駆動型シミュレーション手法です。ニューラル レンダリングを使用して現実世界のデジタル ツインを再構築し、センサーによって観測されたデータを複製します。このアプローチにより、よりスケーラブルなシーン作成とリアリティの向上が可能になりますが、既存の手法ではシーンの照明が 3D モデルに焼き付けられることが多く、照明条件の変更や新しいオブジェクトの追加や削除など、デジタル ツインの編集が妨げられます。

NeurIPS 2023 での成果として、Waabi AI の研究者らは、物理エンジンとニューラル ネットワークに基づく照明シミュレーション システム「LightSim: Neural Lighting Simulation for Urban Scenes」を発表しました。

以前の作業とは異なり、LightSim は次のことも実現します。

1.リアル：初めて、大規模な屋外のダイナミックシーンの照明をシミュレートすることができ、影やオブジェクト間の照明効果などを正確にシミュレートできます。

2.制御可能: 動的な運転シナリオの編集(オブジェクトの追加と削除、カメラの位置とパラメータ、照明の変更、安全上重要なシナリオの生成など)をサポートし、よりリアルで一貫性のあるビデオを生成して、照明やエッジケースに対するシステムの堅牢性を向上させます。

3.スケーラブル: より多くのシナリオや異なるデータ セットに簡単に拡張できます。実際の制御可能なシミュレーション テストを再構築して実行するには、1 回のデータ収集 (シングル パス) のみが必要です。

シミュレーションシステムの構築

ステップ1: 現実世界の再照明可能なデジタルツインを構築する

デジタル世界で自動運転シナリオを再構築するために、LightSim はまず取得したデータから動的オブジェクトと静的シーンを分割します。このステップでは、UniSim を使用してシーンを再構築し、ネットワーク内のカメラ ビューの依存関係を削除します。次に、マーチング キューブを使用してジオメトリを取得し、さらに基本マテリアルを使用してメッシュに変換します。

LightSim は、マテリアルとジオメトリに加えて、屋外の日中のシーンにおける太陽と空の主な光源に基づいて屋外照明を推定し、ハイダイナミックレンジ環境マップ (HDR スカイドーム) を取得することもできます。 LightSim は、センサー データと抽出されたジオメトリを使用して、不完全なパノラマ画像を推定し、それを完成させて空の完全な 360° ビューを取得します。このパノラマ画像と GPS 情報を使用して、太陽の強度、方向、空の外観を正確に推定する HDR 環境マップが生成されます。

ステップ 2: 動的な都市シーンのニューラル照明シミュレーション

デジタルツインを取得したら、オブジェクトの追加や削除、車両の軌道の変更、照明の変更などの変更をさらに行い、拡張現実表現を生成できます。 LightSim は物理ベースのレンダリングを実行し、基本色、深度、法線、影など、変更されたシーンに関する照明関連のデータを生成します。この照明関連のデータとシーンのソースおよびターゲットの照明条件の推定値を使用して、LightSim ワークフローは次のようになります。

物理ベースでレンダリングされたイメージはシーン内の照明効果を非常にうまく再現しますが、ジオメトリの不完全さとマテリアル/照明の分解におけるエラーにより、レンダリングされた結果はぼやけ、非現実的な表面反射、境界アーティファクトなど、現実感に欠けることがよくあります。そのため、研究者はリアリズムを高めるためにニューラル遅延レンダリングを提案しました。彼らは、ソース画像と、レンダリング エンジンによって生成された照明関連データの事前計算済みバッファを受け取り、最終画像を生成する画像合成ネットワークを導入しました。同時に、この論文の方法は、照明コンテキストを強化するための環境マップをネットワークに提供し、デジタルツインを通じてペア画像を生成し、新しいペアシミュレーションと実際のデータトレーニングスキームを提供します。

シミュレーション機能のデモンストレーション

シーンの再照明

LightSim は、新しい照明条件下で同じシーンを時間的に一貫した方法でレンダリングできます。ビデオに示されているように、新しい太陽の位置と空の外観により、シーンの影と外観が変化します。

LightSim は、シーンをバッチで再照明し、推定された HDR 環境マップと実際の HDR 環境マップから、同じシーンの新しい時間的に一貫性のある 3D 対応の照明バリエーションを生成することができます。

シャドウ編集

LightSim の照明表現は編集可能で、太陽の方向を変更できるため、太陽光の方向に関連する照明の変化と影を更新できます。 LightSim は、HDR 環境マップを回転し、それを Neural Deferred Rendering モジュールに渡すことで、次のビデオを生成します。

LightSim では、一括シャドウ編集も実行できます。

照明を考慮した俳優の挿入

LightSim は、照明を変更するだけでなく、建築上の障害物などの通常とは異なるオブジェクトに対して照明を考慮した追加を行うこともできます。これらの追加されたオブジェクトは、オブジェクトの照明と陰影を更新し、オブジェクトを正確に遮蔽し、カメラ構成全体のスペースに適合させることができます。

シミュレーションの移行（nuScenes への一般化）

LightSim のニューラル遅延レンダリング ネットワークは複数の運転ビデオでトレーニングされているため、LightSim は新しいシナリオに一般化できます。次のビデオは、LightSim が nuScenes の運転シーンに一般化できることを示しています。 LightSim は、各シーンの照明を考慮したデジタル ツインを構築し、それを PandaSet で事前トレーニングされたニューラル遅延レンダリング モデルに適用します。 LightSim の移行は適切に実行され、シーンをかなり堅牢に再照明できます。

リアルで制御可能なカメラシミュレーション

上記のすべての機能を組み合わせることで、LightSim は制御可能で多様かつリアルなカメラ シミュレーションを可能にします。次のビデオでは、LightSim のシーン シミュレーション機能を紹介します。ビデオでは、白い車が SDV 車線に緊急車線変更し、新しい道路封鎖が発生し、白い車が完全に新しいシーンに入ります。新しいシーンでさまざまな照明条件下で LightSim によって生成された効果を以下に示します。

次のビデオでは、新しい道路障害物が挿入された後に新しい車両セットが追加される別の例が示されています。 LightSim を使用して構築されたシミュレートされた照明により、新しく追加された車両をシーンにシームレスに統合できます。

要約と展望

LightSim は、大規模な動的運転シナリオを処理するために設計された、照明を考慮したカメラ シミュレーション プラットフォームです。現実世界のデータに基づいて照明を考慮したデジタル ツインを構築し、それを変更して、さまざまなオブジェクト レイアウトと SDV パースペクティブを持つ新しいシーンを作成できます。 LightSim は、シーンの新しい照明条件をシミュレートして、多様でリアルかつ制御可能なカメラ シミュレーションを可能にし、時間的/空間的に一貫性のあるビデオを実現します。 LightSim では、リバース レンダリング、気象シミュレーションなどのテクノロジを組み合わせて、シミュレーション パフォーマンスをさらに向上させることもできる点に注目すべきです。