自動運転のための LiDAR とビジョンフュージョン認識の理解

2022年は、インテリジェント運転がL2からL3/L4に飛躍する絶好のチャンスです。ますます多くの自動車メーカーが、より高レベルのインテリジェント運転の量産を計画し始めており、インテリジェント自動車の時代が静かに到来しています。

LiDARハードウェア技術の向上、自動車グレードの量産化、コスト削減、ハイレベルのインテリジェント運転機能により、乗用車分野でのLiDARの量産と搭載が促進され、今年はLiDARを搭載したモデルが多数出荷される予定で、2022年は「LiDAR車載元年」とも呼ばれています。

01 LiDARセンサーと画像センサー

LiDAR は、物体の 3 次元位置を正確に取得するために使用されるセンサーです。本質的には、レーザー検出と測距です。目標輪郭測定や一般的な障害物検知において優れた性能を持ち、L4自動運転の中核構成となりつつあります。

しかし、LIDAR の測距範囲 (一般的に約 200 メートル、メーカーによって量産モデルが異なるため表示が異なります) により、認識範囲は画像センサーの認識範囲よりもはるかに狭くなります。

点群の角度分解能（通常 0.1° または 0.2°）は比較的小さいため、点群の分解能は画像センサーの分解能よりもはるかに小さくなります。遠距離でセンシングする場合、対象物体に投影される点は非常にまばらになるか、画像を形成できないこともあります。ポイント クラウド ターゲット検出の場合、アルゴリズムが実際に使用できるポイント クラウドの有効距離は約 100 メートルのみです。

画像センサーは、高フレームレートと高解像度で複雑な周囲情報を取得でき、安価です。異なる FOV と解像度を持つ複数のセンサーを展開して、さまざまな距離と範囲での視覚認識を行うことができ、解像度は最大 2K ～ 4K です。

しかし、画像センサーは、奥行き知覚が不十分で測距精度が低い受動センサーであるため、特に過酷な環境では、知覚タスクを完了することが非常に困難になります。

強い光、夜間の低照度、雨、雪、霧などの天候や照明環境に直面すると、インテリジェント運転ではセンサー アルゴリズムに非常に高い要求が課せられます。 LIDAR は周囲の光に敏感ではありませんが、その測距範囲は冠水した道路やガラスの壁などによって大きく影響を受けます。

LIDAR と画像センサーにはそれぞれ長所と短所があることがわかります。ほとんどの高レベルインテリジェント運転乗用車は、互いの利点を補完し、冗長性を統合するために、さまざまなセンサーを統合することを選択しています。

このような融合認識ソリューションは、高度な自動運転の重要な技術の 1 つにもなっています。

02 ディープラーニングに基づく点群と画像の融合認識

点群と画像の融合は、マルチセンサー融合（MSF）の技術分野に属します。従来のランダム方式とディープラーニング方式があります。融合システムにおける情報処理の抽象度に応じて、主に3つのレベルに分けられます。

データレイヤーの融合（早期融合）

まず、センサーの観測データを融合し、融合したデータから特徴を抽出して認識します。 3D ターゲット検出では、PointPainting (CVPR20) がこのアプローチを採用しています。PointPainting メソッドは、まず画像に対してセマンティック セグメンテーションを実行し、ポイント対画像ピクセル マトリックスを介してセグメント化された特徴をポイント クラウドにマッピングします。次に、「ペイントされたポイント」のポイント クラウドが 3D ポイント クラウド検出器に送信され、ターゲット ボックスが回帰されます。

フィーチャーレイヤーの融合（ディープフュージョン）

まず、各センサーから提供される観測データから自然なデータ特徴を抽出し、これらの特徴を融合して認識します。ディープラーニングベースの融合法では、ポイントクラウドブランチと画像ブランチの両方に特徴抽出器を使用し、画像ブランチとポイントクラウドブランチのネットワークをフォワードフィードバック階層の意味レベルで融合して、マルチスケール情報のセマンティック融合を実現します。

ディープラーニングに基づく特徴レイヤー融合法では、複数のセンサー間の時空間同期に対する要件が非常に高く、同期が不十分だと特徴融合の効果に直接影響が出てしまいます。同時に、スケールと視点の違いにより、LiDAR と画像の特徴融合で 1+1>2 の効果を達成することは困難です。

後期核融合

最初の 2 つと比較すると、これは最も複雑でない融合方法です。これは、データ レイヤーまたはフィーチャ レイヤーでの融合ではなく、ターゲット レベルの融合です。異なるセンサー ネットワーク構造は互いに影響を及ぼさず、独立してトレーニングおよび組み合わせることができます。

決定層に融合された 2 種類のセンサーと検出器は互いに独立しているため、センサーが故障してもセンサー冗長処理を実行でき、エンジニアリングの堅牢性が向上します。

LiDAR と視覚融合認識技術の継続的な反復、および知識シナリオと事例の継続的な蓄積により、より多くのフルスタック融合コンピューティング ソリューションが登場し、より安全で信頼性の高い自動運転の未来がもたらされるでしょう。