爆発的なパフォーマンス！最新の MapEX: 既存のすべての SOTA を大幅に上回り、マップレスの認識が到来するか? ? ?

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。

序文と著者の個人的な理解

この記事を読んで、絵のない知覚の世界は終わったという幻想を抱いていませんか？ ? ?新しくリリースされた MapEX は、この記事のエッセンスを吸収して、皆さんと共有するのが待ちきれません。 MapEX の核となるのは、過去に保存された地図情報を使用して、現在のローカル高精度地図の構築を最適化することです。過去の地図には、単純な地図要素 (道路境界など) のみを含む地図、ノイズの多い地図 (各地図要素が 5 m オフセットされているなど)、古い地図 (現在のシーンに合わせることができるのは地図要素のごく一部だけなど) などがあります。明らかに、これらの歴史地図情報は、現在の高精度の地域地図の構築に役立ちますが、これはこの記事の核心、つまり、それをどのように使用するかということにもつながります。 ? ?具体的には、MapEX は MapTRv2 に基づいて構築されています。これらの履歴マップ情報は一連のクエリにエンコードされ、元のクエリと連結され、デコーダーによってさらに予測結果が出力されます。記事は相変わらず面白いですね〜

論文の概要

センサーからのオンライン高精度マップ (HDMap) 推定は、従来の手動 HDMap 取得に代わる低コストの代替手段を提供します。そのため、すでに HDMaps に依存している自動運転システムのコストが削減されることが期待されており、新しいシステムにも適用できる可能性があります。

この論文では、既存の地図を考慮してオンライン HDMap 推定を改善することを提案します。既存の地図には、主に 3 つの種類 (単純な地図、ノイズの多い地図、古い地図) が特定されました。また、既存の地図を感知するための新しいオンライン HDMap 構築フレームワークである MapEX も紹介します。 MapEX は、マップ要素をクエリとしてエンコードし、従来のクエリベースのマップ推定モデルのトレーニングに使用されるマッチング アルゴリズムを改善することでこれを実現します。

この論文は、nuScenes データセットにおける MapEX の大幅な改善を実証して締めくくっています。たとえば、MapEX (ノイズの多いマップの場合) では、MapTRv2 よりも 38%、現在の SOTA よりも 16% 検出が向上します。

要約すると、MapEX の主な貢献は次のとおりです。

• センサー データに基づいてオンライン HDMaps を推定する際には、既存のマップ情報を考慮します。
• 既存の地図が不完全である合理的なケースについて説明します。また、nuScenes データセット用にこれらのシーンの実際の実装とコードも提供しています。
• センサーからオンライン HDMap を推定する際にマップ情報を組み込むことができる、新しいクエリベースの HDMap 取得スキームである MapEX を紹介します。特に、MapEX では、既存のマップ情報と既存の (EX) クエリを組み合わせる新しい方法と、トレーニング中に予測を実際の結果に事前に関連付けることで、モデルがこの情報を活用することを学習できるようにする方法を導入しています。

オンラインローカル高精度地図構築のレビュー

ここでは、自動運転における HDMaps の概要を簡単に説明します。まず、軌道予測における HDMaps の応用について説明し、次にその取得について説明します。最後に、オンライン HDMap の構築自体について説明します。

軌道予測のための HDMaps : 自動運転には通常、車両が移動する世界に関する大量の情報が必要です。この情報は通常、豊富な HDMap に埋め込まれ、ニューラル ネットワークを変更するための入力として使用されます。 HDMaps は軌道予測のパフォーマンスに非常に重要であることが示されています。特に軌道予測では、一部の方法は HDMap の表現に明示的に基づいているため、HDMap へのアクセスが絶対に必要になります。

HDMap の取得と保守: 従来の HDMap は取得と保守にコストがかかります。予測に使用される HDMaps は、地図要素 (車線区分線、道路境界など) の簡略化されたバージョンであり、完全な HDMaps に含まれる複雑な情報の多くを提供しますが、それでも非常に正確な測定が必要です。そのため、多くの企業は、それほど厳格でない標準である中精細マップ (MDMaps) やナビゲーション マップ (Google マップ、SDMaps) に移行しています。重要なのは、数メートルの精度を持つ MDMap が既存の地図の良い例となり、オンライン HDMap 生成プロセスに貴重な情報を提供することです。マップ シナリオ 2a では、この状況の近似値を検討します。

センサーのオンライン HDMap 構築: そのため、オンライン HDMap 構築は、ライトマップ/マップレス知覚の中核となっています。一部の作業は仮想マップ要素、つまり車線の中心線の予測に焦点を当てていますが、一部の作業は、車線分離線、道路境界、横断歩道など、より視覚的に認識可能なマップ要素に焦点を当てています。後者のアプローチは、視覚的な要素がセンサーによってより簡単に検出されるため、過去 1 年間で急速に進歩しました。興味深いことに、これらのアプローチの最新版である Map-TRv2 では、実際の車線の中心線を検出するための補助設定が提供されています。これは、多数の追加のマップ要素 (信号機など) を含む、より複雑なスキームへの収束を示しています。

私たちの研究は、地図内の変化（交差点など）を検出することを目的とした、一般的に研究されている変化検出問題に似ています。 MapEX の目標は、既存の (潜在的に大きく異なる) マップを利用して正確なオンライン HDMap を生成することであり、これはオンライン HDMap 構築の現在の問題に対処します。したがって、マップ内の小さなエラーを修正するだけでなく、あらゆるバリエーション（歪んだ線、非常にノイズの多い要素など）に適応する、より表現力豊かなフレームワークも提案します。

どのような既存のマップを使用できますか?

私たちの主な提案は、既存の地図を活用することでオンライン HDMaps の構築に役立つということです。不完全なマップが発生する可能性のある状況は数多くあると私たちは主張します。

オンラインHDMap表現

私たちは、センサーによってオンラインで生成される HDMaps の標準形式を採用しています。HDMaps は、図 2a に示すように、それぞれ緑、黄、青という以前と同じ色の 3 種類のポリライン、道路境界、車線区分線、横断歩道で構成されていると考えています。

実際の HDMap ははるかに複雑であり、より洗練された表現が提案されていますが、この研究の目的は、既存の地図情報をどのように解釈できるかを調査することです。したがって、私たちは最も研究されているパラダイムを使用します。私たちの研究は、より多くのマップ要素、より細かいポリライン、またはラスター化されたターゲットを使用した予測に直接適用できます。

MapModEX: 不完全な地図のシミュレーション

標準マップの収集にはコストと時間がかかるため、既存の HDMap から不正確なマップを合成して生成します。

この目的のために、私たちは独立した地図修正ライブラリである MapModEX を開発しました。これは、nuScenes マップ ファイルとサンプル レコードを受け取り、各サンプルに対して、自車両の周囲の特定のパッチ内の歩道、境界、横断歩道のポリライン座標を出力します。重要なのは、MapModEX がこれらのポリラインを変更して、マップ要素の削除、追加、横断歩道の移動、ポイント座標へのノイズの追加、マップの移動、マップの回転、マップの歪みなど、さまざまな変更を反映する機能を提供していることです。 MapModEX はリリース後に利用可能になり、既存のマップをさらに再検索し、センサーのオンライン HDMap コレクションに組み込むことが容易になります。

以下に説明するように、MapModEX パッケージを使用して 3 つの難しいシナリオを実装し、各サンプルに対してシナリオ 2 と 3 の 10 種類のバリエーションを生成しました (シナリオ 1 では 1 つのバリエーションのみが許可されます)。トレーニング中のコストを削減し、利用可能なマップのバリエーションの数が限られている可能性がある現実世界を反映するために、変更されたマップの固定セットを使用することを選択します。

シナリオ 1: 境界のみが利用可能

最初のケースは、図 2b に示すように、粗い HDMap (中央分離帯と横断歩道なし) のみが利用できる場合です。道路の境界は、歩道の端などの 3D の物理的なランドマークに関連付けられることが多いですが、歩道や横断歩道は、見逃しやすい平面的なマークで表されることがよくあります。さらに、横断歩道や車線分離帯は、工事や道路の逸脱により廃止されたり、タイヤの跡で部分的に隠れたりすることもよくあります。

したがって、境界のみを含む HDMaps を使用するのが合理的です。これの利点は、道路の制約のみにラベルを付ける必要があるため、ラベル付けのコストを削減できることです。さらに、道路の境界のみを特定するには、それほど精密な機器や更新は必要ない可能性があります。実装 実用的な観点から見ると、シナリオ 1 の実装は簡単です。利用可能な HDMaps から中央分離帯と横断歩道を削除します。

シナリオ 2: ノイズの多いマップ

2 番目に考えられるケースは、図 2c に示すように、非常にノイズの多いマップしかない場合です。既存のHDMapの弱点は、高精度（数センチメートル程度）が求められることであり、その取得と維持に多大な負担がかかる[11]。実際、HDMaps と新しい MDMaps 標準の主な違いは、精度が低いことです (数センチメートル対数メートル)。

したがって、より安価な取得プロセスや MDMaps 標準の使用によって精度の低いマップが生成される可能性がある状況をシミュレートするために、ノイズの多い HDMaps を使用することを提案します。さらに興味深いのは、これらの精度の低い地図はセンサーデータから自動的に導き出されることです。 MapTRv2 のような方法は非常に優れたパフォーマンスを達成していますが、まだ完全に正確ではありません。非常に柔軟な検索しきい値を使用しても、予測の精度は 80% を大きく下回ります。

実装: 精度が不足する可能性のあるさまざまな条件を反映するために、これらのノイズの多い HDMaps の 2 つの実装を提案します。最初のシナリオ 2a では、マップ要素の位置ごとに標準偏差 1 メートルのガウス分布からのノイズを追加するオフセット ノイズ設定を提案します。これにより、すべてのマップ要素 (区切り線、境界線、横断歩道) に均一な変換が適用されます。このような設定は、人間の注釈者がノイズの多いデータから不正確な注釈を素早く提供できる状況によく近似するはずです。数メートル以内の精度という MDMaps 標準を反映するために、標準偏差として 1 メートルを選択しました。

次に、難しいポイントごとのノイズ シナリオ 2b を使用してアプローチをテストします。各グラウンド トゥルース ポイント (1 つのマップ要素は 20 個のポイントで構成されることに注意してください) に対して、標準偏差が 5 メートルのガウス分布からノイズをサンプリングし、ポイントの座標に追加します。これは、地図が自動的に取得されるか、非常に不正確な位置が提供される状況に対して、最悪の場合の近似値を提供します。

シナリオ3: マップが大幅に変更された

最後に検討するケースは、過去に正確だった古い地図にアクセスできる場合です (図 2d を参照)。横断歩道などのペイントされた標示が時々ずれてしまうことはよくあります。さらに、市は、新たな魅力によって増加する交通量に対応するために、問題のある交差点を大幅に改造したり、エリアを改修したりしました。

したがって、HDMap を使用することは興味深いことです。HDMap は、それ自体は有効ですが、実際の HDMap とは大幅に異なります。 HDMaps はコストを抑えるために保守担当者によって数年に一度しか更新されていませんでしたが、これらのマップはもっと頻繁に表示されるようになりました。この場合、既存のマップは世界についての情報を提供しますが、一時的な変更や最近の変更を反映していない可能性があります。

実装: シナリオ 3a の既存の HDMap に大幅な変更を加えることで、これに近似します。地図上の横断歩道と車線区分線の 50% を削除し、いくつかの横断歩道 (残りの横断歩道の半分) を追加し、最後に地図に小さな歪みを適用しました。

ただし、地球地図の大部分は時間の経過とともに変化しないことに注意することが重要です。シナリオ 3b ではこれを考慮し、乱れたバージョンではなく真の HDMap を考慮するようにランダムに選択 (確率 p = 0.5) した場合の影響を調べます。

MapEX: 既存のマップを活用する

この目的のために、オンライン HDMap 構築のための新しいフレームワークである MapEX (図 3 を参照) を提案します。これは、標準的なクエリベースのオンライン HDMap 構築パラダイムに従い、マップ クエリ エンコーディング モジュールと予測およびグラウンド トゥルースのための事前アトリビューション スキームという 2 つの主要モジュールを通じて既存のマップ情報を処理します。この論文では、MapTRv2 に基づいてベースラインを構築します。

概要

クエリベースのコアは、図 3 の灰色の要素で示されています。まず、センサー入力 (カメラまたは LIDAR) を取得し、それをセンサー機能として鳥瞰図 (BEV) 表現にエンコードします。 DETR のような検出スキームを使用してマップ要素 (最大 N) を検出し、マップ自体を取得します。これは、N×L 個の学習済みクエリ トークン (N は検出された要素の最大数、L は要素に対して予測されるポイントの数) を、BEV 機能とのクロス アテンションを使用してセンサー情報をクエリ トークンに供給する Transformer デコーダーに渡すことによって実現されます。デコードされたクエリは、線形レイヤーを介してクラス予測（追加の背景クラスを含む）とともにマップ要素座標に変換され、L 個のクエリ グループが L 個のマップ要素ポイント（この論文では L = 20）を表すようになります。トレーニングは、ハンガリーアルゴリズムのいくつかのバリエーションを使用して、予測されたマップ要素を実際のマップ要素と照合することによって行われます。マッチングが完了すると、回帰損失 (座標の場合) と分類損失 (要素カテゴリの場合) を使用して、予測されたマップ要素を対応する真実とマッチングするようにモデルが最適化されます。

しかし、このフレームワークでは既存のマップを解釈できないため、2 つの主要レベルで新しいモジュールを導入する必要があります。クエリ レベルでは、マップ要素を学習不可能な EX クエリとしてエンコードします。一致レベルでは、クエリを、それが表す GT マップ要素の先頭に追加します。

完全な MapEX フレームワーク (図 3 を参照) は、既存のマップ要素を学習不可能なマップ クエリに変換し、学習可能なクエリを追加して、特定の数のクエリ N×L に到達します。この完全なクエリ セットは、Transformer デコーダーに渡され、通常どおり線形レイヤーを介して予測に変換されます。トレーニング中、アトリビューション モデルはいくつかの予測を GT と事前に照合し、残りはハンガリー マッチングを使用して通常どおり照合します。テスト時に、デコードされた非バックグラウンド クエリによって HDMap 表現が生成されます。

マップを EX クエリに変換する

現在のオンライン HDMap 構築フレームワークには、既存のマップ情報を解釈するメカニズムがありません。したがって、既存のマップを標準のクエリベースのオンライン HDMap 構築フレームワークで理解できる形式に変換できる新しいスキームを設計する必要があります。図 4 に示すように、MapEX を使用して既存のマップ要素をデコーダーの EX クエリとしてエンコードするシンプルなアプローチを提案します。

特定のマップ要素に対して、等間隔に配置された L 個のポイントを抽出します。ここで、L は任意のマップ要素の予測を求めるポイントの数です。各ポイントについて、最初の 2 次元でマップ座標 (x、y) をエンコードし、次の 3 次元でマップ要素クラス (セパレーター、交差点、または境界) を 1 回エンコードする EX クエリを作成します。 EX クエリの残りの部分は、デコーダー アーキテクチャで使用される標準クエリ サイズに達するようにゼロで埋められます。

このクエリ設計は非常にシンプルですが、関心のある情報 (ポイント座標と要素クラス) を直接エンコードし、学習したクエリとの競合を最小限に抑える (豊富なゼロパディングによる) という重要な利点があります。

L 個のクエリのセット (既存のマップ内のマップ要素用) を取得したら、標準の学習可能クエリのプールから L 個のカテゴリ学習可能クエリのセットを取得 () できます。生成された N×L クエリは、私たちのアプローチに従ってデコーダーに送られます。MapTR では、N×L クエリは独立したクエリとして扱われますが、MapTRv2 では、同じマップ要素のクエリをグループ化する、より効率的な分離されたアテンション スキームが使用されます。クエリからマップ要素を予測した後、それらをテスト時に直接使用したり、トレーニングされたグラウンドトゥルースと照合したりできます。

マップ要素の所有権

EX クエリは既存のマップ情報を解釈する方法を導入しますが、モデルがこれらのクエリを正しく使用して対応する要素を推定することを保証するものはありません。実際、単独で使用した場合、ネットワークは完全に正確な EX クエリを識別することさえできません。したがって、図 3 に示すように、トレーニングで従来のハンガリーマッチングを使用する前に、予測要素と GT 要素の事前帰属を導入します。

簡単に言うと、変更されたマップ内の各マップ要素と、それらがどの GT マップ要素に対応しているかを追跡します。マップ要素が変更、オフセット、または歪んでいない場合は、実際のマップ内の元のマップ要素に関連付けることができます。モデルが有用な情報のみを使用するように学習するように、変更されたマップ要素と実際のマップ要素間の平均ポイント単位の変位スコアが次の値である場合にのみマッチングを継続します。

GT と事前に予測されたマップ要素間の対応関係が与えられれば、一致する要素のプールから事前に属性付けされたマップ要素を削除できます。次に、慣例どおり、ハンガリー アルゴリズムのいくつかのバリエーションを使用して、残りのマップ要素 (予測と GT) を一致させます。したがって、ハンガリーのマッチング手順では、存在しない追加されたマップ要素に対応する EX クエリを識別し、実際のマップには存在しない (削除または強い摂動により) いくつかの実際のマップ要素に適合する標準学習クエリを見つけるだけで済みます。

ハンガリーアルゴリズムが処理しなければならない要素の数を減らすことは重要である。なぜなら、最も効率的な変種でさえ3次複雑度を持つからである（） [8]。予測されるマップは小さく (30m×60m)、予測されるマップ要素は 3 種類だけなので、これは現在のほとんどのオンライン HDMap 取得方法の大きな弱点ではありません。ただし、オンライン マップ生成のさらなる開発により、予測マップがより大きく、より完全になるにつれて、増加するマップ要素に対応する必要が生じます。

実験結果

設定: オンライン HDMap 推定の標準評価データセットである nuScenes データセットで MapEX フレームワークを評価します。私たちは MapTRv2 フレームワークと公式コード ベースに基づいています。一般的な慣例に従い、異なる取得しきい値（0.5 m、1.0 m、および 1.5 m の面取り距離）での 3 つのマップ要素タイプ（区切り線、境界、交差点）の平均精度と、3 つのカテゴリの mAP を報告します。

各実験では、3 つの固定ランダム シードを使用して 3 つの実験が実行されました。重要なのは、特定のシードとマップ シーンの組み合わせに対して、検証中に提供される既存のマップ データが固定され、比較が容易になることです。一貫性を保つために、標準偏差がその精度を超える場合でも、小数点第 1 位までの精度で結果を平均 ± SD として報告します。

MapEX パフォーマンス

表 2 では、関連する手法の比較と MapEX のパフォーマンスを示します。車線分離線や横断歩道のないマップ (S1)、ノイズのあるマップ (オフセット マップ要素の場合は S2a、ポイントごとの強いノイズの場合は S2b)、および変動の大きいマップ (これらのマップのみを含む S3a、混合グラウンド トゥルース マップを含む S3b) です。 MapEX のパフォーマンスを、同等のセットアップ (カメラ入力、CNN バックボーン) 上の既存のオンライン HDMaps と、現在の最先端技術 (大幅に多くのリソースを使用) と徹底的に比較します。

まず、表 2 から、検討するシナリオに関係なく、既存のマップ情報の種類に関係なく、MapEX は同等の設定で既存の文献よりも大幅に優れたパフォーマンスを発揮することが明らかです。 1 つのケースを除いて、既存のマップ情報により、MapEX は、広範な深度推定データセットで事前トレーニングされた大規模な ViT バックボーンを使用して 4 倍のエポックでトレーニングされた現在の最先端の MapTRv2 モデルよりも優れたパフォーマンスを発揮します。マップ要素の位置が不正確な、かなり保守的な S2a シーンでも、mAP スコアが 11.4 (つまり 16%) 向上します。

すべてのシナリオにおいて、4 つのメトリックすべてにおいて、ベース MapTRv2 モデルに対して一貫した改善が見られます。当然のことながら、シナリオ 3b (半分の時間で正確な既存マップを使用) は、大幅に最高の全体的なパフォーマンスをもたらし、完全に正確な既存マップを識別して活用する強力な能力を示しています。シナリオ 2a (オフセット マップ要素を使用) とシナリオ 3a (「古い」マップ要素を使用) はどちらも、3 種類のマップ要素すべてで良好なパフォーマンスを示し、全体的に非常に優れたパフォーマンスを発揮します。道路境界のみが使用可能なシナリオ 1 では、(予想どおり) 非常に強力な境界取得により、mAP が大幅に向上しています。非常に難しいシナリオ 2b でも、各マップ要素ポイントに標準偏差 5 メートルのガウス ノイズを適用すると、ベース モデルよりも大幅に向上し、特に区切り線と境界の取得パフォーマンスが優れています。

MapEX によってもたらされた改善

私たちは現在、既存の地図情報が MapEX にもたらす改善に特に注力しています。参考までに、MapEX の利点を、他の追加情報ソースによってもたらされる利点 (グローバルに学習された特徴マップを使用した Neural Map Prior と、地理的にローカライズされた SDMaps を使用した P-MapNet) と比較します。重要なのは、MapModEX はこれらの方法よりも強力なベース モデルに依存していることです。これにより、ベースモデルを改善することが難しくなりますが、高いスコアを達成することも容易になります。不公平な優位性を避けるため、表 3 に絶対スコアを示します。

表 3 から、MapEX の既存のマップのいずれかのタイプを使用すると、他の追加情報ソース (より複雑な P-MapNet 設定を含む) よりも全体的な mAP ゲインが大きくなることがわかります。車線分離帯と道路境界線の両方において、モデルの検出性能が大幅に向上していることがわかります。軽い例としてはシナリオ 1 (道路の境界のみアクセス可能) があります。このモデルでは境界上のマップ情報は正常に保持されますが、事前情報が利用できない 2 つのマップ要素に対してのみ、以前の方法と同等の改善が提供されます。横断歩道では、シナリオ 1 と 2b (各マップ ポイントに非常に破壊的なノイズを適用する) では最先端の技術に匹敵する改善しか得られないため、既存のマップからより正確な情報を取得する必要があるようです。シナリオ 2a (要素が変更された) とシナリオ 3a (地図が「古い」) では、横断歩道の検出スコアが高くなりました。これは、おそらく、これら 2 つのシナリオにはより正確な横断歩道情報が含まれていたためです。

アブレーション実験

MapEX入力の貢献

表 4 は、さまざまな種類の入力 (既存のマップ、マップ要素の対応、センサー入力) が MapEX にどのように影響するかを示しています。既存のマップのパフォーマンスが大幅に向上しました。

EXクエリコードについて

表 5 は、学習された EX クエリのパフォーマンスが、単純な学習不可能な EX クエリよりもはるかに劣っていることを示しています。興味深いことに、学習可能な EX クエリを学習不可能な値で初期化すると、複雑さの増加を正当化できないほど小さな改善しか得られない可能性があります。

真実の帰属について

既存のマップ情報を最大限に活用するには、マップ要素のプロパティを事前に決定することが重要であるため、MapEX で行われるようにマップ要素をフィルタリングするのではなく、対応するすべてのマップ要素のプロパティを事前に決定したくなるかもしれません。表 6 は、既存のマップ要素が大きく異なる場合に、対応関係を破棄すると、無差別な帰属よりもパフォーマンスが向上することを示しています。本質的には、これは、既存のマップ要素が実際の値と大きく異なる場合、MapEX では EX クエリではなく学習可能なクエリを使用する方がよいことを示唆しています。

話し合う

この論文では、既存のマップを活用してオンライン HDMap の構築を改善することを提案します。これを調査するために、著者らは、既存の（単純な、ノイズの多い、または古い）地図が利用可能な 3 つの実際のシナリオを概説し、これらの地図を活用するための新しい MapEX フレームワークを紹介します。現在のフレームワークには既存のマップを考慮するメカニズムがないため、マップ要素を EX クエリにエンコードするモジュールと、モデルがこれらのクエリを活用することを保証するモジュールの 2 つの新しいモジュールを開発します。

実験結果から、既存のマップはオンライン HDMap 構築にとって重要な情報を表し、MapEX は状況に関係なく同等の方法を大幅に改善することが実証されています。実際、mAP（ランダムに移動するマップ要素を含むシナリオ 2a）に関しては、基本 MapTRv2 モデルと比較して 38% の改善、現在の最先端モデルと比較して 16% の改善を達成しています。

この研究が、既存の情報を解釈するための新しいオンライン HDMap 構築方法につながることを期待しています。既存の地図は、良くも悪くも、広く入手可能です。これらを無視することは、信頼できるオンライン HDMap ビルドの検索において重要なツールを放棄することになります。

オリジナルリンク: https://mp.weixin.qq.com/s/FMosLZ2VJVRyeCOzKl-GLw