BEV におけるデータセット間レーダーカメラ融合に関する実験的研究

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。

原題: 鳥瞰図におけるレーダーとカメラの融合に関するデータセット間実験的研究
論文リンク: https://arxiv.org/pdf/2309.15465.pdf
著者所属機関: オペル自動車株式会社ラインラント＝プファルツ工科大学カイザースラウテルン＝ランダウドイツ人工知能研究センター

論文のアイデア:

mmWave レーダーとカメラの融合システムは、補完的なセンサー情報を活用することで、先進運転支援システムや自動運転機能に非常に堅牢で信頼性の高い認識システムを提供できる可能性があります。カメラベースの物体検出における最近の進歩により、ミリ波レーダーカメラと鳥瞰図の特徴マップを融合する新たな可能性が生まれています。本稿では、新しい柔軟な融合ネットワークを提案し、nuScenes と View-of-Delft の 2 つのデータセットでそのパフォーマンスを評価します。私たちの実験では、カメラ部門では大規模で多様なトレーニングデータが必要であるのに対し、mmWave レーダー部門では高性能 mmWave レーダーからより多くのメリットが得られることがわかりました。この論文では転移学習を使用して、より小さなデータセットでのカメラのパフォーマンスを向上させます。さらに、私たちの結果は、mmWave レーダーとカメラの融合アプローチが、カメラのみおよび mmWave レーダーのみのベースラインを大幅に上回ることを示しています。

ネットワーク設計:

3D オブジェクト検出における最近の傾向は、画像の特徴を共通の鳥瞰図 (BEV) 表現に変換することです。これにより、複数のカメラ間の融合や距離センサーの使用に使用できる柔軟な融合アーキテクチャが提供されます。本研究では、もともとレーザーカメラ融合に使用されていた BEVFusion 法を拡張して、ミリ波レーダーカメラ融合を実行します。提案された融合方法は、選択された mmWave レーダーデータセットでトレーニングおよび評価されます。いくつかの実験で、各データセットの長所と短所について説明します。最後に、本論文では移行を適用してさらなる改善を実現します。

図 1 BEVFusion に基づく BEV ミリ波レーダーカメラ融合フローチャート。生成されたカメラ画像には、投影された mmWave レーダー検出と地上真実境界ボックスが含まれます。

この記事では、BEVFusion の融合アーキテクチャについて説明します。図1は、本論文におけるBEVにおけるミリ波レーダーとカメラの融合のネットワーク概要を示しています。融合は、BEV 内でカメラと mmWave レーダー機能が接続されたときに発生することに注意してください。以下、この記事では各ブロックの詳細について説明します。

A. カメラエンコーダーとカメラからBEVへのビュー変換

カメラエンコーダとビュー変換は[15]のアイデアを採用しており、任意のカメラの外部パラメータと内部パラメータの画像BEV特徴を抽出できる柔軟なフレームワークである。まず、tiny-Swin Transformer ネットワークを使用して各画像から特徴を抽出します。次に、[14]のLiftとSplatのステップを使用して、画像の特徴をBEV平面に変換します。このため、高密度深度予測の後にルールベースのブロックが続き、そこで特徴が疑似ポイントクラウドに変換され、ラスタライズされて BEV グリッドに蓄積されます。

B. レーダーピラー特徴エンコーダ

このブロックの目的は、mmWave レーダーポイントクラウドを、画像 BEV 機能と同じグリッド上の BEV 機能にエンコードすることです。この目的のために、本論文ではピラー特徴エンコーディング技術[16]を使用して、点群を無限に高いボクセル、いわゆるピラーにラスタライズします。

C. BEVエンコーダ

[5]と同様に、mmWaveレーダーとカメラのBEV機能はカスケード接続で融合されています。融合された特徴は、ジョイント畳み込み BEV エンコーダーによって処理され、ネットワークが空間的なずれを考慮し、異なるモダリティ間の相乗効果を活用できるようになります。

D. 検出ヘッド

この論文では、CenterPoint 検出ヘッドを使用して、各クラスのオブジェクト中心のヒートマップを予測します。さらに回帰ヘッドは、オブジェクトのサイズ、回転、高さ、および nuScenes の速度とクラス属性を予測します。ヒートマップはガウス焦点損失を使用してトレーニングされ、残りの検出ヘッドは L1 損失を使用してトレーニングされます。