人気の4D Radarオープンソースデータの概要

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。

4Dレーダーは自動運転の分野でますます注目を集めています。価格と機能の面で非常に競争力があり、関連する研究が徐々に開かれています。今日は、関連する科学研究をサポートするために、オープンソースの4Dレーダーデータをレビューします。

1アスティックス

データセットリンク: http://www.astyx.net

論文タイトル: ディープラーニングベースの 3D 物体検出のための自動車レーダーデータセット

Astyx データセットは、4D レーダー ポイント クラウドを含む最初の公開データセットであり、3D オブジェクト検出用のレーダー、LIDAR、カメラ データに基づくレーダー中心の自動車データセットを提案しています。主な焦点は、高解像度のレーダー データを研究コミュニティに提供し、レーダー センサー データを使用するアルゴリズムの研究を促進することです。この目的のために、物体検出用に半自動で生成され、手動で再定義された 3D グラウンド トゥルース データが提供されます。この論文では、このようなデータセットを生成する完全なプロセスについて説明し、対応する高解像度レーダーのいくつかの主要な機能を強調し、このデータセットに対するディープラーニングベースの 3D オブジェクト検出アルゴリズムの結果を示して、レベル 3 ～ 5 の自動運転アプリケーションでの使用法を実証します。

手動によるラベル付けは非常に面倒で時間がかかり、コストのかかる作業であり、大規模なデータセットには対応できないため、自動の事前ラベル付けと手動による再ラベル付けが非常に重要です。このタスクでは、[16]のディープラーニングベースの3Dオブジェクト検出の研究を使用し、低レベルセンサーデータに対してマルチセンサーフュージョンを実行します。手動で再定義する必要があるラベルの数を最小限に抑えるために、この 3D オブジェクト検出ネットワークは、推定スコアを近似値として使用して、不確実性サンプリングに基づくアクティブ ラーニング アプローチに組み込まれています (図 3 を参照)。このため、ネットワークの決定が最も不確かである自動的に事前ラベル付けされたデータの N フレームからデータが抽出され、次のトレーニングと事前ラベル付けのラウンドでネットワークの情報ゲインを最大化するために手動で微調整して修正されます。

現在無料で入手可能な最終的なデータセットは、約 3,000 個の非常に正確にラベル付けされた 3D オブジェクト注釈を含む 500 個の同期フレーム (レーダー、LIDAR、カメラ) で構成されています。ほとんどのオブジェクトは「車」クラスに属していますが、この論文では合計 7 つのクラス (バス、車、自転車、オートバイ、人、トレーラー、トラック) の実際のデータも少量提供されています。

gt データ アノテーションには、各オブジェクトの次のプロパティが含まれています。

• 3D 位置 (x、y、z)
• 3D 回転 (rx、y、rz)
• 3D サイズ (幅、長さ、高さ)
• クラス情報
• 不確実性（位置、サイズ）

データ形式はすべて非独自の標準画像およびポイント クラウド形式であり、3D オブジェクト検出ではテキスト形式が使用されます。 [7]で示唆されているように、本論文では、評価テストセットの過剰スケーリングを避けるためにテストデータを保持する必要が生じるため、オブジェクト検出アルゴリズムの標準化された評価とランク付けのための正式なベンチマークスイートは提供していない。これは興味深い疑問を提起します。なぜなら、著者らはこのデータに基づいて物体検出アルゴリズムも研究・開発しており、それが実際のデータに対して完全な制御を持つ唯一のアルゴリズムとなるからです。図 4 は LiDAR とレーダー センサーの点群密度分布を示し、図 5 はさまざまなカテゴリの地上真実オブジェクトの分布を示しています。地上真実データにおける車の例示的な向きと空間分布を図7に示します。

2ラジアル

データセットリンク: https://github.com/valeoai/RADIal

論文リンク: https://arxiv.org/pdf/2112.10646.pdf

レーダー センサーは、悪天候に対する堅牢性と速度測定能力により、20 年以上にわたって自動車業界に使用されてきました。自動車用レーダーは 1990 年代後半から生産されています。これらは、アダプティブ クルーズ コントロール、死角検出、自動緊急ブレーキ機能に最適な、最も安価なセンサーです。しかし、角度分解能が低いため、自動運転システムへの応用が困難です。実際、このようなシステムには高いレベルの安全性と堅牢性が求められ、通常は冗長メカニズムによって実現されます。複数のモダリティを融合することでセンシングは向上しますが、全体的な組み合わせが効果的になるのは、各センサーが適切かつ同等のパフォーマンスを達成した場合のみです。これらの要件を満たすために、高解像度 (HD) イメージング レーダーが登場しました。これらの新しいセンサーは、高密度の仮想アンテナ アレイを使用することで、方位角と仰角 (それぞれ水平および垂直の角度位置) で高い角度分解能を実現し、より高密度のポイント クラウドを生成します。最近の高解像度 (HD) イメージング レーダーの進歩により、角度解像度が 100 度未満にまで低下し、レーザー スキャンの性能に近づいています。しかし、高解像度レーダーによって提供されるデータの量と角度位置を推定するための計算コストは​​依然として課題となっています。本稿では、距離-方位-ドップラー 3D テンソルを計算するオーバーヘッドを排除し、距離-ドップラー スペクトルから角度を回復することを学習する新しい高解像度レーダー センシング モデル FFT-RadNet を提案します。 FFTRadNet は、車両を検出し、空き走行スペースをセグメント化するようにトレーニングされています。どちらのタスクでも、計算量とメモリの消費量を抑えながら、最先端のレーダーベースのモデルと競合します。さらに、さまざまな環境（市街地、高速道路、田舎道）で同期された自動車グレードのセンサー（カメラ、レーザー、HD レーダー）から 2 時間分の生データが収集され、注釈が付けられました。このユニークなデータセットは RADIAL と呼ばれ、「レーダー、ライダーなど」の略です。

RADIal には、GPS と車両の CAN トレースと連動した 3 つのセンサー (カメラ、レーザー スキャナー、HD レーダー) のセットが含まれており、25,000 個の同期サンプルを生の形式で記録します。 (a) カメラ画像、投影されたレーザー点群 (赤)、レーダー点群 (藍色)、車両注釈 (オレンジ色)、自由走行スペース注釈 (緑色)。 (b) 境界ボックス注釈付きレーダーパワースペクトル。 (c) 鳥瞰図での自由走行スペース注釈、車両注釈 (オレンジ色の境界ボックス)、レーダー点群注釈 (藍色)、レーザー点群注釈 (赤色)。 (d) レーダー点群とレーザー点群を重ね合わせた直交座標系の距離方位マップ。 (e) GPS 軌跡 (赤)、走行距離軌跡再構築 (緑色)。

下表に示すように、カメラを除くすべてのセンサーは車載グレードの認定センサーです。これに加えて、GPS 位置と車両の完全な CAN バス (走行距離計を含む) が提供されます。センサー信号は、信号の前処理なしに、生の形式で同時に記録されます。高解像度レーダーの場合、生の信号は ADC です。 ADC データからは、距離-方位-ドップラー テンソル、距離-方位および距離-ドップラー ビュー、またはポイント クラウドなど、従来のすべてのレーダー表現を生成できます。 RADIal には、約 1 ～ 4 分のシーケンスが 91 個含まれており、合計で 2 時間になります。これは約 25,000 の同期フレームに相当し、そのうち 8252 は 9550 台の車両でラベル付けされています (詳細については付録 A を参照)。車両の注釈は、画像平面内の 2D ボックスと、センサーまでの実際の距離およびドップラー値 (相対的な視線速度) で構成されます。 RD スペクトルの表現は人間の目には意味をなさないため、レーダー信号の注釈付けは困難です。

3Kレーダー

論文タイトル: K-Radar: さまざまな気象条件での自動運転のための 4D レーダー物体検出

データセットリンク: https://github.com/kaist-avelab/k-radar

可視光帯域（384～769テラヘルツ）を使用するライダーや赤外線帯域（361～331テラヘルツ）を使用するライダーとは異なり、レーダーは比較的長波長の無線周波数帯域（77～81GHz）を使用するため、悪天候でも安定した測定が可能になります。しかし、既存のカメラやライダーのデータセットと比較すると、既存のレーダー データセットには比較的少ないサンプルしか含まれていません。これにより、レーダー認識のための高度なデータ駆動型ディープラーニング技術の開発が妨げられる可能性があります。さらに、既存のレーダー データセットのほとんどは、ドップラー、距離、方位角の次元に沿った電力測定値を含む 3D レーダー テンソル (3DRT) データのみを提供します。標高情報がないため、3DRT からオブジェクトの 3D 境界ボックスを推定するのは困難です。この論文では、ドップラー、距離、方位、高度の各次元に沿ったパワー測定を含む 4D レーダー テンソル (4DRT) データの 35K フレームと、道路上の物体の注意深く注釈付けされた 3D 境界ボックス ラベルを含む、新しい大規模な物体検出データセットおよびベンチマークである KAIST レーダー (K-Radar) を紹介します。

K-Radar には、さまざまな道路構造 (市街地、郊外の道路、脇道、高速道路) での悪天候 (霧、雨、雪) などの困難な運転条件が含まれています。 4DRT に加えて、慎重に調整された高解像度 LiDAR、ステレオ カメラ、RTK-GPS による支援測定も利用できます。この論文では、4DRT に基づくオブジェクト検出のためのベースライン ニューラル ネットワーク (ベースライン NN) も提供し、高さ情報が 3D オブジェクト検出に非常に重要であることを示しています。ベースライン ニューラル ネットワークを LiDAR に基づく同様に構造化されたニューラル ネットワークと比較すると、4D レーダーは悪天候に対してより堅牢なセンサーであることが実証されています。

厳しい気象状況の映像のほとんどは、国内で最も年間降雪量が多い韓国の江原道で撮影された。一方、都市環境を描いたフレームは、主に韓国の大田市で収集されました。データ収集プロセスでは、K-Radar データセットを構成する 35,000 フレームのマルチモーダル センサー測定値が生成されます。収集されたデータは、付録 C に記載されている基準に従っていくつかのカテゴリに分類されました。さらに、データセットをトレーニング セットとテスト セットに分割して、各条件が両方のセットにバランスよく表示されるようにします。図 4 に示すように、自車両から縦方向の半径 120 メートル、横方向の半径 80 メートルの範囲内にある道路上の物体 (車、バス、トラック、歩行者、自転車、オートバイ) の 3D 境界ボックス ラベルが 93.3K あります。正の垂直軸上に表示されるオブジェクト、つまり自我キャリアの前にあるオブジェクトのみが注釈付けされることに注意してください。

図 5 は、K-Radar データセット内の電子航空機からのターゲット カテゴリの分布とターゲット距離を示しています。K-Radar を使用すると、さまざまな距離にあるオブジェクトの 3D ターゲット検出ネットワークのパフォーマンスを評価できます。

詳細なデータセット情報:

4TJ4DRadSet

論文タイトル: TJ4DRadSet: 自動運転のための 4D レーダー データセット

論文リンク: https://arxiv.org/abs/2204.13483

データセットリンク: https://github.com/TJRadarLab/TJ4DRadSet

次世代の高解像度自動車レーダー (4D レーダー) は、追加の高度測定とより高密度の点群を提供できるため、自動運転における 3D センシングに大きな可能性を秘めています。この論文では、自動運転研究用の 4D レーダー ポイントを含む TJ4DRadSet というデータセットを紹介します。データセットはさまざまな運転シナリオで収集され、44 の連続したシーケンスで合計 7757 の同期フレームが含まれ、3D 境界ボックスとトラック ID で適切に注釈が付けられています。 4D レーダー ベースの 3D オブジェクト検出ベースラインを含むデータセットを提供し、4D レーダー ポイント クラウドでのディープラーニング手法の有効性を実証します。

自律走行車には、信頼性が高く、低コストで、高解像度の認識モジュールが不可欠です。現在、認識モジュールは主にカメラ、LIDAR、自動車レーダーなどのセンサーを使用して、さまざまなモードで環境情報を取得します。カメラやライダーは雨、霧、まぶしさなどの悪条件の影響を受けやすく、悪条件が増すにつれて性能が大幅に低下することは否定できません。対照的に、自動車用レーダーは、その堅牢性とコスト効率の点で不可欠です。従来の自動車レーダーは方位角解像度が低いため、死角検出、衝突警告、その他の運転支援アプリケーションにのみ使用されます。新世代の 4D レーダーの登場により、従来の自動車レーダーの解像度の低さが補われ、高度な自動運転アプリケーションに非常に適した高度測定が可能になります。 4D レーダーの 4 つの次元は、範囲、方位、高度、ドップラー速度です。また、レーダー断面積 (RCS) や信号対雑音比 (SNR) などの他の低レベルの機能も提供します。

TJ4DRadSet データセットは、3D 注釈付きの 4D レーダー ポイント クラウドの連続シーケンスを含む自動運転データセットです。また、LIDAR、カメラ、GNSS のマルチモーダルな完全な情報も提供します。 TJ4DRadSet には、7757 フレーム、高品質の注釈付き 3D 境界ボックスと軌跡を含む 44 個のシーケンス ID を含む 40K フレームの同期データが含まれています。 3D 注釈システムは、共同のマルチセンサー注釈と複数回の手動検査を使用します。 TJ4DRadSet は、高架道路、複雑な交差点、一方通行道路、市街地道路など、さまざまな道路状況をカバーします。まぶしさや暗闇などの悪照明条件も含まれます。このデータセットは、高度な自動運転への応用を促進するための 4D レーダーベースの 3D 認識アルゴリズムの開発に適しています。

オリジナルリンク: https://mp.weixin.qq.com/s/PoXvQqByC0-dfXsnsShtNA