知能運転における「知覚重視・マッピング軽視」の技術動向と長期的にサポートできるビジネスシナリオを考える

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。

序文

2023年にインテリジェント運転分野でホットな話題となっているのは、「重知覚、軽地図」ソリューションであり、「マップレス」ソリューションとも呼ばれています（マップレスとは、オフラインの高精度地図に依存しないことを意味します）。このソリューションは、従来のオフラインマッピングとオンラインの高精度測位技術の需要を減らし、私を含む多くのSLAM技術実践者が「一掃される」ことを心配しており、長期的にはインテリジェント運転の技術発展にSLAM技術が依然として必要かどうか疑問に思っています。この記事はこの問題に関する調査と考察です。

まずはインテリジェント運転システムの枠組みから始めましょう

インテリジェント運転システムは、計画と制御、マップ位置決め、リアルタイム認識の 3 つのコア モジュールに分かれています。認識は、車両周囲の動的および静的情報をリアルタイムで提供し、計画と制御の行動決定と実行アクションの推論のためにローカル環境の制約をリアルタイムで提供します。車両がローカル空間内で自律的に移動することしかできず、オンライン認識能力が十分に強力であると仮定すると、マップ測位モジュールは必要ありません。ただし、インテリジェント運転システムの現在の標準的な技術スタックでは、測位とマッピングは非常に重要なリンクです。計画と制御におけるマップポジショニングの必要性を理解することは、マップではなく知覚を重視する SLAM テクノロジの要件の「変化」と「不変化」を分析する鍵となります。

インテリジェントドライビングシステムフレームワーク[1]

第二に、地図と位置合わせの必要性

計画と制御の古典的なサブモジュール分割によれば、それは本質的に、人間の運転の行動プロセス全体に類似したバイオニック システムとして理解できます。典型的な運転行動は次のとおりです。

1. 朝、車で出勤します。車に乗って最初にすることは、車載音声アシスタントを呼び出して、xxx​​ 社までのナビゲーションを依頼することです。音声アシスタントは車載 Gaode マップを呼び出し、選択できる 1 つ以上のナビゲーション ルートを提供します。 （グローバルパスプランニング）
2. ナビゲーションルートに沿って会社に向かっているとき、音声アシスタントが前方の交差点で左折する必要があることを通知します。前方の一番左の車線のみが左折を許可しており、左側に車が前方にいることがわかります。同時に、前方の交差点の信号は赤です。事前に左車線に変更し、スロットルを制御して、前の車と一定の距離を保つことにしました。交差点で事前にブレーキをかけ、信号を待つことにしました。左折の青信号が点灯すると、左折できることがわかります。ここでは、車線変更、車の追従、左折が、計画と制御における行動決定として定義されています。
3. 上記の車線変更では、無意識のうちに左車線前方のあるおおよその位置に向かって進み、そのおおよその位置と自車との距離と方向に応じて、スロットルと左ハンドルの角度を継続的に調整して、車線変更の判断を完了します。スムーズな切り替えトラックを描きます。このプロセスでは、私たちの脳は実際に車両の現在の位置から左側の目標位置までの局所的な軌道を想像し、車両の位置を継続的かつ動的に調整して、この局所的な軌道に沿って目標地点に向かって走行できるようにします。制御と規制において、局所軌道の追跡問題は、局所計画または動作計画モジュールとして定義されます。ローカル プランニング モジュールは、スロットルやステアリングなどの一連の必要な制御指示を提供し、モーション コントローラーは、必要なスロットルおよびステアリング指示を実行する役割を担います。

規制および制御システムの枠組み[1]

上記プロセスの自動運転を実現するためには、計画・制御モジュールにマップ測位が必要です。このうち、グローバル パス プランニングでは、開始点 (グローバル ポジショニング モジュールによって提供) から終了点 (SD マップで指定) までのグローバル パス プランニングを実現するために、わずかに低仕様の SD マップ (つまり、Amap などのモバイル ナビゲーション レベルのマップ) とメートル レベルの精度のグローバル ポジショニングのみが必要です。行動決定および地域計画モジュールでは、道路トポロジ、停止線、道路の曲率など、地域環境のより豊富で正確な道路情報が必要です。認識能力が十分に強い場合、この情報はオンラインで直接提供できます。ただし、初期段階で認識能力が限られている場合は、追加の高精度機器を介してオフラインで環境データを収集し、この情報をオフラインで計算して保存することによって提供されます。つまり、オフライン高精度マップ（HDMap）です。

規制管理にオフラインの高精度地図を使用するようになったことで、高精度の地図測位、つまりベクター地図測位の需要が生まれました。高精度の地図は、さまざまな道路要素で構成された仮想世界を構築し、規制と制御は実際にはこの仮想世界における意思決定と制御です。ベクターマップポジショニングは、仮想マップの世界と現実世界との間のマッピングを実現し、マップ上の規制されたアクションの結果が現実世界に一つずつ対応するようにします。具体的には、ベクター マップ ポジショニングは、車線や街灯柱などの知覚によって提供される単一フレームのセマンティック ベクトル (現実世界) を、GNSS 統合ナビゲーションによって提供される初期測位値、およびオフライン高精度マップ内の対応するセマンティック ベクトルと一致させます。このことから、オフラインの高精度マップとベクトル測位は一対の鍵と鍵穴のようなもので、どちらも意味を成すためには互いの存在に依存していることがわかります。

各サブモジュールのマップと配置要件を規制する[1]

三感光マップの技術動向

高精度地図の欠点

上記の分析から、オフラインの高精度マップは、リアルタイム認識機能の不足を補う方法であることがわかります。オフラインの高精度地図の主な問題は、鮮度の変化によって生じるメンテナンスコストです。道路構造が変化すると、高精度の地図を継続的に更新する必要があります。現在、インテリジェント運転では、一般的にシーンを高速道路、市街地、低速の3つのカテゴリに分類しています。高速道路はインテリジェント運転の実現の第一のシナリオであり、その総走行距離は比較的限られており（中国の高速道路の総走行距離は30万キロ以上[5]）、道路はよく整備されており、道路変更の割合は比較的小さい。1社または2社の地図ベンダーを通じてすべてのビジネス関係者にオフラインの高精度地図を提供することで、更新およびメンテナンスコストは基本的に制御可能です。

しかし、高速道路でのインテリジェント運転の実現に伴い、都市部でのインテリジェント運転に皆の注目が集まり、鮮度と収集コストの問題が顕著になり、高速道路のシナリオで高度なインテリジェント運転を実現するためにオフラインの高精度マップに頼るという解決策は基本的に実現不可能になりました。まず、都市部の道路の総距離は高速道路に比べて桁違いに長く（中国の都市部の道路の総距離は1,000万キロメートル以上[5]）、道路情報は頻繁に変更されます。センサーや知覚能力の向上に伴い、リアルタイム知覚によって道路情報を生成する「重知覚、軽地図」ソリューションは、高精度地図を回避して高度なインテリジェント運転を実現するために企業が追求する手段となっている。

地図ベンダーや一部の自動車会社が、運用車両コレクションを通じてオフラインの高精度地図を更新および拡張するために使用している方法には、マッピング機能と単一マシン機能の間に断絶を引き起こし、さまざまなコストを分散するという大規模な自動車製造の利点を制限するという明らかな問題があります。マッピングとポジショニングを単一のマシンの機能の一部として統合することが、将来のロボット機能の研究開発のトレンドです。「重認識、軽マッピング」は、このトレンドに沿っています。マッピング機能は、クラウドソーシング マッピング、または特殊なシナリオに適した単一マシン、単一使用の車両側マッピングによって、単一マシン機能の一部にすることができます。クラウドソーシング マッピングは、低コストで高精度のマップ更新を実現できるだけでなく、OEM のクローズドループ データの利点を最大限に活用できるシナリオの 1 つでもあります。これは、認識機能がすべての都市シナリオ (複雑または不規則な道路トポロジなど) をカバーできず、従来の運用収集コストが高すぎて負担できない場合に、中心的な役割を果たします。クラウドソーシングマッピングの核心サポートはデータクロージャです。データクロージャ機能は、マッピングアルゴリズム自体よりもクラウドソーシングマッピングにとってより重要な基本機能です。同時に、さまざまな新型車モデルのハイエンドインテリジェント運転ハードウェアの現在の標準構成により、クラウドソーシングマッピングはもはや米抜きの空想ではなくなりました。クラウドソーシングマッピングにより、すべての車がデータソースになります。この観点から見ると、自動車会社、特に新車会社は、都市部でのハイエンドインテリジェント運転の真の主役です。時折、世界は変わったと公言する以外に、地図ベンダーができることはあまりなくなるだろう。

NIO NT2ハイエンドインテリジェントドライビングハードウェア

上記の問題に加え、高精度地図は海外で販売する際にも大きな問題に直面します。法規制の制約により、海外で制作された高精度地図にしか対応できなかったり、アフリカの一部の国のように、短期間で高精度地図が入手できなくなり、インテリジェント運転機能が使えなくなる可能性があります。そのため、テスラは長い間、オフラインの高精度マップに依存しないソリューションを採用することを決意してきました。ムスクはすごい。

リアルタイムのローカルマップ生成

地図よりも知覚を重視する基本的なロジックは、簡単に言えば、知覚機能がカバーするシナリオでオフラインの高精度地図をロードするのではなく、規制制御に必要な高精度の道路要素をオンライン知覚機能を通じて生成する方法を変更し、それによって鮮度とスケールの問題を回避することです。ローカル環境マップ（LocalMap）をオンラインで構築することで、リアルタイム認識による高精度な地図要素を提供する機能を実現します。インテリジェント運転の全体的なアーキテクチャは、規制と制御の観点からは根本的な変化を遂げていません。行動決定とローカル計画モジュールに必要な道路要素の精度と仕様は大きく変わっておらず、オフライン読み込みからリアルタイム生成へと進化しただけです。

ここで、LocalMap には 2 つの技術的ソリューションがあります。1 つは、単一フレームの認識結果と道路トポロジー推論の従来のオンライン ローカル セマンティック ベクトル マッピングです。テクノロジ スタックは依然として従来の SLAM マッピング メソッドに依存しています。 1つは、エンドツーエンドでローカルマップを直接生成することです。この点では、清華大学の趙星教授が非常に優れた先駆的な研究を行っています[8]。

リアルタイム認識ではカバーできない複雑なシナリオについては、クラウドソーシングを通じてオフラインの高精度マップを構築します。マップのスケールで言えば、全国のすべての都市部の高精度マップを構築するよりもはるかに少ない距離です。複雑な都市シーンのオフライン高精度マップは、インテリジェント運転システムの認識機能の不足を補うだけでなく、オフライン認識トレーニングの真の価値の注釈データとしても機能し、さらにフィードバックされて認識モデルの機能が強化され、データ駆動型認識機能の閉ループ反復が実現されます。

上記は、「重い知覚、軽いマップ」ソリューションについての私の理解です。市場には、DJIの「メモリ運転」、Ideal Autoの「都市通勤NOA」、Xiaopengの「AI運転」など、いくつかの「メモリ運転」製品機能もあります。比較的知名度が高い理想的な「通勤者用NOA」を例にとると、ディープラーニングの特徴事前分布を使用して従来の地図要素を置き換えていますが[10]、本質的には依然としてオフライン地図です。この種の地図は、オフライン高精度地図の標準化と解釈可能性を失っており、従来のオフライン高精度地図の欠陥を根本的に回避できていません。筆者は、これはグラフィック機能やコンピューティング能力が不足している現状では一時的な商業プロモーション形式に過ぎず、長く続くものではないと考えています。

理想の車のNMP事前マップ[10]

4. SLAMはビジネスに長期的な需要がある

以上の分析から、筆者は3種類のビジネスがあると考えています。知覚を重視し、地図を軽視する技術トレンド下でも、古典的なSLAM技術に対する長期的な需要は依然としてあるでしょう。

従来のSLAM方式に対する長期的な需要があるインテリジェント運転のビジネス

シナリオ 1: 複数のセンサーのオフラインおよびオンライン校正

複数のセンサーの内部および外部パラメータのキャリブレーションは、ロボットやスマートハードウェア、さらにはインテリジェント運転にとって常に必要とされています。主に、工場出荷前のオフラインキャリブレーションと工場出荷後のオンラインキャリブレーションに分けられます。複数のセンサーの内部および外部パラメータのキャリブレーションは、マッピングとポジショニングのミラー問題と見なすことができます。これらは同様の観測方程式を共有しますが、定義された状態量はミラーリングされます。マッピングとポジショニングは、内部および外部パラメータが既知であると仮定して各瞬間の姿勢を推定しますが、内部および外部パラメータのキャリブレーションは、姿勢が既知であると仮定してシステムの内部および外部パラメータを推定します。

工場オフラインキャリブレーションでは、高精度の補助機器の助けを借りて、より高い精度で工場パラメータを取得できます。しかし、車両が工場を出た後には、衝突による構造変形やセンサーの老朽化により、車両の内部および外部パラメータが動的に変化し、工場パラメータが適用できなくなります。そのため、車両の内部および外部パラメータをリアルタイムまたは半リアルタイムで推定するオンラインキャリブレーションシステムが必要です。

オフラインキャリブレーション[11]

オンラインキャリブレーションとオフラインキャリブレーションの最大の違いは、基準となる高精度の姿勢真値推定システムが存在せず、代わりに車両側の位置測定および認識システムの中間結果を使用して観測制約を構築し、パラメータ推定を実現することです。

多くの古典的な SLAM 論文では、内部および外部パラメータを状態ベクトルのサブ状態の 1 つとして取り、姿勢などの他の状態と共同で最適化することによって、オンライン キャリブレーションが実装されています。しかし、実際のエンジニアリング システムでは、これは適切なアプローチではありません。理由は次のとおりです。

1. まず、内部および外部パラメータの推定は、通常、強力な観測制約と動作励起に依存しており、これは多くの場合、大きな計算能力の要求を意味します。これは、位置決めなどのリアルタイム状態推定システムにおける低遅延の要求に反します。さらに、車両は2次元平面内を一定速度で移動することが多いため、システムの一部の状態は励起不足で観測不可能な状態になり、内部および外部パラメータのオンライン推定が収束できなくなります。
2. 内部パラメータと外部パラメータは時間変動が少なく、毎日または毎週更新することで基本的にニーズを満たします。測位システムが数十ミリ秒レベルで状態推定を実行するときに、このような時間変動の少ないパラメータを推定および更新できるようにすると、計算能力が無駄になります。
3. 内部および外部パラメータの推定は非リアルタイム要件であり、車両が駐車中またはアイドル状態のときに開始できるため、計算能力のタイムシェアリング再利用が実現します。 1 つは、オンライン キャリブレーション要求が常に測位システムの計算能力の 0.3 コアを占有するようにすることであり、もう 1 つは、車両がアイドル状態のときにオンライン キャリブレーション システムがシステムの計算能力の 1 コアを占有するようにすることです。明らかに、後者の方がより高精度の結果を達成しやすいです。

前述のように、オンライン キャリブレーションを実行するより合理的な方法は、それを独立した非リアルタイムまたは半リアルタイム モジュールにして、良好な動作励起条件下で位置決めシステムと認識システムのデータ フラグメントを継続的に収集し、車両がアイドル状態のときに大規模なジョイント最適化を実行して、内部および外部パラメータの推定の精度を確保することです。

オンライン校正[11]

シナリオ 2: 低速、非 GNSS シナリオでの測位とマッピング

GNSS を使用しない低速シナリオは主に地下駐車場環境を指し、高速道路や都市環境と比較していくつかの特殊性があります。前述のマップフリーソリューションを振り返ってみると、グローバルな経路計画のためのメートルレベルのグローバル測位と SD マップの必要性は変わりません。しかし、地下駐車場では、全地球測位を提供する GNSS がないため、グローバルな経路計画のための全地球測位機能を提供する別の代替手段が必要です。現在主流の代替手段は、SLAM によって測位マップを作成し、マップ測位を使用して全地球測位を提供することです。一方、公共ショッピングモールの外には地下駐車場が多数存在し、地図ベンダーはSDマップを提供できないため、クラウドソーシングを通じてSDマップを構築する必要があります。これらは、イメージベンダーが先行者利益を持たない領域ですが、OEM はそれを実行でき、より優れた方法で実行できます。

以下のビデオは、Huawei が Avita で開始した AVP バレット パーキング機能を示しています。1 回限りの単一車両使用の車両側マッピングにより、地下の入り口から所有者の駐車スペースまでのベクター マップが作成されます。地図を作成した後は、指定された駐車スペースまたは途中の駐車スペースまで車両を自動運転することができます。製品体験の面では、基本的にユーザーが喜んでお金を払えるレベルに達しています。これは非常に興味深いことです。AVP シナリオでは、インテリジェント運転と SLAM 技術に大きな可能性があることが証明されました。

以下は、低速 GNSS フリーのシナリオ向けに私がまとめた測位およびマッピング技術スタックです。車両側とクラウド側の 2 つの部分に分かれています。これは、従来の SLAM テクノロジー スタックが機能する非常に典型的なシナリオです。具体的な技術ソリューションの実装には、2 つの大きな違いがあります。1 つは、単一の車両に対して単一車両マッピングを使用するか、複数の車両からのクラウドソーシングに対してクラウドベースの集約を使用するかです。もう 1 つは、測位ソリューションでベクター マップ測位を使用するか、従来の幾何学的特徴に基づく特徴マップ測位を使用するかです。ここで私の考えをいくつか共有したいと思います。

低速GNSSフリーシーンマッピングおよび測位技術スタック

まず、地図形式についてですが、単発車両側地図構築の形式で、Huaweiや一部のメモリパーキング製品も同様の方式を採用しています。この方式の利点は、見た通りの結果が得られ、駐車場のローカルマップを比較的早く入手できることです。欠点は、車両間で共有される地図情報を十分に活用できないことです。この方式は、長期間固定された駐車スペースがあるコミュニティ駐車場に適しています。複数車両からのクラウドソーシング集約による地図形式は、車両側の単一ジオメトリとベクトルマッピング結果を基に、複数車両の地図結果をクラウド上に集約することで実現します。より完全な地図を生成でき、品質保証も優れているという利点を持つクラウドソーシングマッピング方式です。欠点は、データのクローズドループ機能に依存し、リンクが長く、地図では「見た通りの地図」を実現できないことです。ショッピングモールやオフィスの地下駐車場など、固定の駐車スペースはないが、範囲が広い公共駐車場に適しています。同時に、マッピング ソリューションでは、データの再利用の問題も考慮する必要があります。上記の両方の方法には実行可能なパスがあります。前者は、車両側に元のマッピング データのコピーを保存し、マッピング アルゴリズムが更新されたときに新しいマップを再「トレーニング」して更新することができます。後者は、より元の形式でデータを返すことによって実現できます。

測位ソリューションに関して言えば、ベクターマップ測位は現在主流の測位ソリューションです。その利点は、マップのスケールが小さく、コンピューティング電力の消費が少ないことです。欠点は、知覚に依存していることです。新旧の駐車場の内部環境は大きく異なり、知覚には一般化の問題があり、一部の駐車場では測位の精度が低下します。もう一つの方法は、SLAM で幾何学的特徴マップを選択することです。これはさらに、視覚的幾何学的特徴に基づくマップとレーザー幾何学的特徴に基づくマップに分けられます。幾何学的特徴は知覚的一般化への依存を取り除きますが、幾何学的特徴に基づくマップが占める規模と計算能力は、ベクトル位置付けよりも大幅に高くなるというのが主流の見解です。さらに、どちらも普遍性の問題があります。視覚的な特徴マップはレンズモデルに依存するため、カメラレンズが古くなったりモデルが変わったりすると、特徴マッチング効果が低下し、レンズの歪みに大きな違いが生じます。レーザー機能マップは、車両にレーザー レーダーが搭載されていることを前提としており、マップ形式はレーザー レーダーが搭載されていない車両では再利用が困難です。採用する具体的な方法は個人の好みの問題です。著者は、LIDAR のない車両でレーザー特徴マップを再利用するという問題がうまく解決されれば、レーザー特徴マップに基づく測位方法は、一般化と安定性の点でベクトル測位よりも優れ、計算能力とマップの規模はベクトル測位と同等のレベルになる可能性があると考えています。

地下駐車場、特に大型駐車場や多階建て駐車場では、SLAM マッピングと測位に大きな課題があります。地下駐車場には GNSS 信号がないため、マッピングは相対的な走行距離計とループマッチングの影響に大きく依存します。また、GNSS のグローバル制約がないため、マッピングの軌跡が局所的に歪み、ローカル環境が歪んでしまいます。相対的な走行距離計の精度とドリフトが限られている場合、初期値と視野角の偏差が大きい場合のループ閉鎖機能への依存度が高くなります。同時に、立体駐車場においては、複数の層の高さの一貫性も非常に大きな課題となります。また、地下は屋外よりも視界の遮りが激しいため、内部の道路を完全に横断することはできず、地図の一部が欠けてしまうという問題もあります。

地下室マップの局所的な欠落部分や品質低下は、システム設計で対処する必要がある問題であり、地下室の位置決めに課題をもたらします。しかし、地下駐車場での測位の課題は、これをはるかに超えています。地下駐車場内にはGNSS信号がないため、現在生産ラインにあるほとんどの製品は、まず屋外で始動し、GNSS複合ナビゲーションの助けを借りて初期測位値を取得する必要があります。地下駐車場内での測位の初期化、および測位が失敗した場合の初期化は、車両側の限られた計算能力で良好な結果を得るのは非常に困難な作業です。立体駐車場の場合、立体測位の高さの安定性の問題もあり、これが測位の安定性に影響を与える重要な要素です。ドリフトが大きいと、マップマッチング効果が急激に低下し、フロアマッチングが不正確になります。

また、一部の地図ベンダーは地下駐車場の地図も提供しようとしているが、高精度の高速道路地図とは異なり、屋内駐車場の地図は測位レイヤーが完全に統一されておらず、各社で測位方法が異なり、また各自動車メーカーのセンサーソリューションに依存しているため、統一が難しいのが現状だ。さらに、自動車メーカーにはクラウドソーシングの利点があり、駐車場のシナリオでの位置特定とマッピングのタスクは、短期的には依然として主に自社開発されるだろうと考えています。

駐車場マップは百度モバイルマップより提供

シナリオ3: 4DGT知覚ラベル付け

4DGTは、Tesla AI Day 2021で初めて提案された新しい知覚データ注釈付け方法です。2D画像に直接注釈を付ける従来の方法とは異なり、SLAM技術に基づく3次元再構成法を使用して2D知覚セマンティクスの正確な3Dモデルを構築し、その3Dモデルを画像に投影することで、低コストで高効率な注釈付けを実現します。 4DGT は位置認識を提供し、真の価値のあるトレーニング データを提供します。これは、SLAM 測位およびマッピング テクノロジーのアプリケーションにとって非常に優れたビジネス シナリオです。同時に、4DGT技術はさまざまな知覚タスク向けにいくつかの新しい開発も行っています。詳細については、Horizo​​n RoboticsのSui Weiによる最近のレポート[14]を参照してください。関連する技術スタックと詳細についてはすでに詳細に紹介されているため、ここでは繰り返しません。

4D GTパイプライン[13,14]

最後の選択：勝てないなら仲間になる

技術的な手段は常に更新され、反復されていますが、ロボットが 3D の世界を理解できるようにするという目標は変わりません。変化を歓迎する姿勢を維持することで、よりオープンな考え方が身につきます。業界では、従来の SLAM テクノロジの継続的な研究に加えて、占有ネットワーク、3D オブジェクト検出、NeRF など、Learning 3D テクノロジに基づくいくつかの新しい方向性も生まれています。これらの方向性は、ソリッド ステート推定などの従来の SLAM テクノロジの基盤に大きく依存しており、SLAM 実践者が活用できる技術的な方向性です。

3D学習の技術的方向性 [15,16,17,18]

インテリジェントドライビングを超えて: 汎用ロボット

嬉しいことに、2023年は一般的なロボット産業において新たなチャンスが生まれる年でもあります。一般的なロボットの潜在的な応用シナリオでは、基盤となるチップやセンサーからソフトウェアレベルの認識、地図の位置決め、計画制御まで、インテリジェント運転の技術スタックのほとんどを移行できます。これにより、関連するインテリジェント運転の実践者に、より多くの選択肢と将来への大きな可能性がもたらされます。

テスラのオプティマスロボットは、テスラの電気自動車と同じ占有ネットワークを使用しています[19]

オリジナルリンク: https://mp.weixin.qq.com/s/gJEtzZ7wo73Kki43idnrUw