すべてがUniSimに: 統合自動運転シミュレーションプラットフォーム

最近、トロント大学、MIT、Waabi AIの研究者らがCVPR 2023の論文で新しい自動運転シミュレーションプラットフォームを提案しました。このプラットフォームは、Neural Radiance Fields（NeRF）を直接使用して、自動運転シナリオでカメラとレーダーのデータをレンダリングします。初めて、大規模な実データで高忠実度のフルスケールシミュレーションを実現し、認識、予測、計画を含む無人車両のエンドツーエンドのクローズドループテストを実現します。

なぜ自動運転センサーシミュレーションが必要なのでしょうか?

近年、自動運転技術が急速に発展し、無人運転車はほとんどの一般的なシナリオで優れた性能を発揮できるようになりました。しかし、現在のテクノロジーでは、安全な展開を確保することが依然として困難です。その理由は、現実の世界には安全性が極めて重要なシナリオが多く存在し、これらの境界が非常に重要だからです。シミュレーションテストは、研究者が低コストで多数の境界シナリオを生成し、既存の自動運転モデル​​を包括的にテストおよびトレーニングするのに役立つ効果的な手段となっています。無人車両はさまざまなセンサーを搭載して現実世界を認識するため、現実的でスケーラブルなセンサーシミュレーションは、シミュレーションシステム全体の重要な部分になります。

CVPR2023 のハイライト研究として、トロント大学、MIT、Waabi AI の研究者がニューラル ネットワーク ベースのカメラ/レーダー シミュレーション システムを実演しました。

• プロジェクトホームページ: https://waabi.ai/unisim/
• 論文アドレス: https://waabi.ai/wp-content/uploads/2023/05/UniSim-paper.pdf

これまでの研究とは異なり、UniSim は初めて次のことを同時に実現しました。

1. 高いリアリティ：現実世界（画像とLiDAR）を正確にシミュレートし、現実世界とシミュレーションのギャップを狭めることができます。

2. 閉ループシミュレーション: まれに発生する危険なシナリオを生成して自動運転車をテストし、自動運転車が環境と自由に相互作用できるようにします。

3. スケーラブル: 簡単により多くのシナリオに拡張できます。テストを再構築してシミュレートするには、1 回のデータ収集のみが必要です。

シミュレーションシステムの構築

UniSim はまず、収集した車、歩行者、道路、建物、交通標識などのデータから、デジタル世界での自動運転シーンを再構築します。次に、再構築されたシーンをシミュレーションに使用して、いくつかの珍しいキーシーンを生成します。

UniSim は主に近年普及している NeRF (Neural Radiance Field) 方式に基づいています。

まず、UniSim はシーンを静的な背景 (建物、道路、交通標識など)、動的なオブジェクト (歩行者や車など)、領域外のオブジェクト (空や非常に遠くの道路など) の 3 つの部分に分割します。著者らは複数の NeRF を使用して、静的な背景と各動的オブジェクトを個別にモデル化しました。より具体的には、著者らは Instant-NGP+SDF (符号付き距離関数) 表現​​を使用することを選択しました。

自動運転シナリオの課題（スパースデータ、複雑なシナリオ）に対応するため、UniSim はいくつかの改善を加えました。

1. 動的なオブジェクトは特定の角度からしか見えないことが多いため、著者らはネットワーク (ハイパーネット) を使用して各オブジェクトの特徴 (ハッシュ グリッド) を生成します。これにより、形状情報が共有され、より完全な車の形状が得られます。

2. レンダリング（ボリュームレンダリング）では、低解像度の特徴マップを取得し、CNN アップサンプリングを使用して高解像度の画像を生成します。これにより、レンダリング時間が短縮されるだけでなく (特徴マップの解像度が低いため)、生成される画像の品質も向上します (CNN が周囲のピクセルからの情報を推論できるため)。

シミュレーション機能のデモンストレーション

リプレイ（セルフリプレイ）

UniSim は、元のデータを正確に再構築 (リプレイ) できます。SDF (符号付き距離関数) を使用するため、法線/深度などのさまざまな幾何学的情報も再構築できます。

UniSim - 再構築結果

ダイナミックアクターの操作

UniSim は、シーンから車両を削除したり、車両のさまざまな動作を制御したり、他のシーンの車両を現在のシーンに挿入して、安全性が極めて重要なまれなシナリオを生成したりできます。

UniSim - 動的オブジェクト削除

動的オブジェクト制御

斬新な視点の統合

自動運転車は、左への車線変更、カメラ/LiDAR の位置の変更など、元のビューとは異なるデータを生成する可能性があります。

UniSim - SDV ビュー コントロール

閉ループシミュレーション

上記の機能を組み合わせることで、UniSim は閉ループ シミュレーション テストを実行できます。

まず、UniSim は車の挙動を制御することで、現在の車線に突然車が近づいてくるなど、まれに発生する危険なシナリオを作成できます。

次に、UniSim シミュレーションによって対応するデータが生成されます。

次に、自動運転システムを実行し、経路計画の結果を出力します。

経路計画の結果に基づいて、無人車両は次の指定された場所に移動し、シーン（無人車両と他の車両の位置）を更新します。

その後、シミュレーションを続行し、自動運転システムを実行し、仮想世界の状態を更新します...

このクローズドループテストを通じて、自動運転システムとシミュレーション環境が相互作用し、元のデータとはまったく異なるシナリオを作成できます。

閉ループテスト：逆走車両

閉ループテスト：車両の車線変更と割り込み

LiDARシミュレーション

高速1マイルノンストップシミュレーション

自動運転インジケーター

シミュレーションシステムの精度（リアリティ）を検証するには、視覚的にリアルであるだけでは不十分で、自動運転システムの観点からも検証する必要があります。

検出モデル

最初の表では、Real2Sim は実際のデータでトレーニングされ、シミュレーション システムでテストされたモデルを指し、Sim2Real はシミュレーション システムでトレーニングされ、実際のデータでテストされたモデルを指します。Lane Shift は、SDV 角度が元の軌道から逸脱する、UniSim によって生成された新しいシナリオを指します。シミュレーションデータでトレーニングされたモデルは実際のデータに非常に近いことがわかります。実際のデータを使用してシミュレートされたデータ上でトレーニングされたモデルのパフォーマンスも、実際のデータのパフォーマンスに非常に近くなります。

実際のデータとシミュレーションデータで検出モデルをトレーニング/テストした結果の比較

UniSim は、モデルのパフォーマンスを向上させるためのデータ拡張としても使用できます。ここでのシムとは、リプレイやレーンシフトも含めたシミュレーションデータによる学習を指します。より多くのシナリオ（バリエーション）を生成できるため、シミュレーションデータのみの学習でも実データによる学習と同じ結果を得ることができます。

シミュレーション システムによって生成されたデータは、モデルのパフォーマンスを向上させるためのデータ拡張として使用できます。

シミュレーションと現実世界の間のドメインギャップ

現実世界とのドメインギャップが最も小さいシミュレーション システムとはどのようなものでしょうか。シミュレーション システムで自動運転モデル​​のパフォーマンスが向上する（検出結果が向上する）ということは、シミュレーション システムがより現実的であることを意味しますか?そうではありません。より合理的な説明は、自動運転システムの指標が高ければ高いほど良いというのではなく、シミュレーションシステムにおける自動運転システムのパフォーマンスが現実世界でのパフォーマンスに近い場合、シミュレーションシステムが現実世界に近いということです。たとえば、現実世界のシナリオで自動運転システムがクラッシュ（検出に失敗するなど）したが、このシナリオをシミュレートしたときにシミュレーションシステムが物体を検出して正常に通過できた場合、著者らはシミュレーションシステムは完全に信頼できるものではないと考えています。以下の表では、著者はモデルの実際の結果をラベルとして使用し、シミュレーション プラットフォーム上のモデルの結果を予測として使用して、一貫性メトリックを計算しています。シミュレーションプラットフォーム上の自動運転システムと現実世界との間のパフォーマンスギャップを検証しました。具体的な設定や指標の定義については論文を参照してください。

現実世界とシミュレーションのギャップ

要約と展望

UniSim は、大規模な動的運転シナリオを処理し、移動する物体と静的な背景の表現を統一し、カメラと LiDAR シミュレーションを統一し、動的シーン制御とフリービュー レンダリングを統一できる統合センサー シミュレーション プラットフォームです。

これは、このようなレベルのリアリティを実現した初めてのクローズドループ シミュレーション プラットフォームです。 UniSim では、無人車両と環境が自由に相互作用でき、シミュレーション結果は現実世界に非常に近くなります。これにより、まれな重大なシナリオをテストできるようになり、自動運転の開発が促進されます。