AmodalSynthDrive: 自動運転のための合成アモーダル知覚データセット

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。

• 論文リンク: https://arxiv.org/pdf/2309.06547.pdf
• データセットリンク: http://amodalsynthdrive.cs.uni-freiburg.de

まとめ

この論文では、自動運転のための合成アモーダル知覚データセットである AmodalSynthDrive を紹介します。部分的に遮蔽されていても物体の全体を問題なく推定できる人間とは異なり、現代のコンピューター ビジョン アルゴリズムでは、この点が依然として非常に困難です。自動運転にこのタイプのモダリティフリー知覚を活用することは、適切なデータセットが不足しているため、ほとんど未開拓のままです。これらのデータセットの生成は、主に、高額な注釈コストと、遮蔽された領域に正確に注釈を付ける際の注釈者の主観によって引き起こされる干渉を軽減する必要性によって影響を受けます。これらの制限に対処するために、本論文では、合成マルチタスク非モーダル知覚データセットである AmodalSynthDrive を紹介します。このデータセットには、さまざまな交通、天候、照明条件下での 100 万を超えるオブジェクト注釈を含む、150 の運転シーケンスのマルチビュー カメラ画像、3D 境界ボックス、LIDAR データ、オドメトリが含まれています。 AmodalSynthDrive は、空間理解を強化するためのアモーダル深度推定の導入など、さまざまなアモーダルシーン理解タスクをサポートします。課題を明らかにするために、各タスクのいくつかのベースラインを評価し、パブリック ベンチマーク サーバーをセットアップします。

主な貢献

この論文の貢献は次のように要約されます。

1) 本論文では、複数のデータソースを持つ市街地運転シナリオ向けの包括的な合成アモーダル知覚データセットである AmodalSynthDrive データセットを提案します。

2) アモーダル知覚タスクのベンチマーク、すなわちアモーダルセマンティックセグメンテーション、アモーダルインスタンスセグメンテーション、アモーダルパノプティックセグメンテーションを提案する。

3) 新しい非モーダル深度推定タスクは、空間理解の向上を促進することを目的としています。私たちは、いくつかのベースラインを通じてこの新しいタスクの実現可能性を実証します。

紙の図表

要約する

知覚は自動運転車にとって非常に重要なタスクですが、現在のアプローチでは、複雑な交通シナリオを解釈するために必要な非モーダル理解がまだ欠けています。この目的のために、本論文では、自動運転のためのマルチモーダル合成知覚データセットである AmodalSynthDrive を提案します。合成画像と LiDAR ポイント クラウドを使用して、基本的なアモーダル知覚タスクのグラウンド トゥルース注釈付きデータを含む包括的なデータセットを提供するとともに、アモーダル深度推定と呼ばれる空間理解を強化するための新しいタスクも導入します。この論文では、60,000 を超える個別の画像セットが提供されており、それぞれがアモーダルインスタンスセグメンテーション、アモーダルセマンティックセグメンテーション、アモーダルパノプティックセグメンテーション、オプティカルフロー、2D および 3D 境界ボックス、アモーダル深度、鳥瞰図に関連付けられています。 AmodalSynthDrive を通じて、私たちはある種のベースラインを提供しており、この研究が動的な都市環境におけるアモーダルシーン理解の新たな研究への道を開くと信じています。

オリジナルリンク: https://mp.weixin.qq.com/s/7cXqFbMoljcs6dQOLU3SAQ