先進的な自動運転システムの3つの新しい認識機能の分析

[[439322]]

自動車の知能化と電動化の急速な発展に伴い、自動運転センサー構成の需要は増加し続けています。現在のセンサーは、より多くのエッジシナリオに適応するために、検出範囲、検出精度、検出機能の点で継続的に最適化される傾向があります。より高度なセンサーを使用することで、どのような利点がもたらされ、どのような問題が解決されるのでしょうか。車体周囲のセンサーの構成と選択をどのように最適化するかが、私たちが直面しなければならない課題です。

高度自動運転システムのセンサーは、現行の自動運転システムと同じであり、ミリ波レーダー、カメラ、ライダー、超音波レーダーなどのセンサーで構成されています。ただし、ミリ波レーダー、カメラ、LIDAR の選択には、さらにいくつかの手順があります。まずミリ波レーダーは4D高精度ミリ波レーダーを採用しており、解像度の面で質的な飛躍を遂げています。第二に、カメラは高解像度カメラを使用しており、解像度が大幅に向上したため、より小さなターゲットの検出が容易になりました。最後に、ライダーは、オリジナルの機械式ライダーから MEMS、さらにはフラッシュ ライダーへと移行しています。

この記事では、上記 3 種類のセンサーの変革によって自動運転システムの検出能力がどのように向上するかを詳しく説明します。

4Dミリ波レーダーの利点

これまで発生した自動運転事故（テスラの大型トラックの衝突事故であれ、NIOの主力高速作業車両であれ）から、高速自動運転で最も事故が起きやすいのは、センサーによる静止目標の認識であることは容易に想像できる。現在、運転支援システムのアーキテクチャでは、検出にミリ波レーダーを融合したカメラを使用することが多く、静止したターゲットの認識は主にカメラの視覚検出に依存しています。視覚認識の対象はモジュールまたはアルゴリズムによってトレーニングする必要があり、データモデルはすべての種類のターゲットデータをカバーできず、認識プロセスで一般的に使用される画像セグメンテーションでは静止したターゲットが背景領域として除外されるため、視覚検出でターゲットを効果的に認識することは困難です。

現時点では、多くの場合、静止したターゲットの検出には従来のミリ波レーダーが頼りにされています。しかし、現在のミリ波レーダーには高さを測定する機能がないため、検出プロセス中に前方の静止物体が地上にあるか空中にあるかを判断することが難しく、ブレーキシナリオを精緻化できません。次のような状況では誤検出が発生しやすく、AEBの誤ブレーキやブレーキの踏み忘れにつながります。

高度な自動運転システムは4Dミリ波レーダーを採用しており、その原理は、元々の距離、方向、速度に基づいて、目標の高次元データ分析を追加し、「3D+速度」の4次元での情報認識を実現できます。主な知覚パラメータは次のように表現されます。

4Dミリ波レーダーは、上記の検出能力に加え、「イメージングレーダー」とも呼ばれます。ここでのイメージングの概念は、超高解像度を持ち、ターゲットの輪郭、カテゴリ、動作を効果的に分析できることを意味します。これは、4D ミリ波レーダー システムが、より小さな物体や部分的に隠れた物体を識別し、静止した物体や横方向に移動する障害物を検出するなど、より複雑な道路状況に適応できることを意味します。

具体的には、4Dレーダーによってターゲット情報の検出能力がどのように向上し、自動運転システムの制御能力が強化されるのでしょうか。

1. 4Dレーダー高解像度点群

まず、イメージングレーダーは、高速走行や車線変更時に、より正確な路端情報とより精密な補助位置情報を提供できます。特に混雑した状況では、静止したターゲットの検出精度が高く、追突などの安全事故を効果的に回避できます。

これはどうやって行うのですか?多くのエンジニアは、解像度の向上により、ポイントクラウドマッチング学習アルゴリズムでディープラーニングをより有効に活用できるようになると考えていますが、私はそうは思いません。なぜなら、ディープラーニングがどれだけ強力であっても、ミリ波レーダーのような疎な画像に遭遇すると、基本的に無力だからです。静止したターゲットを検出できる主な理由は、高さ情報を効果的に検出できることです。 4Dミリ波レーダーには仰角アンテナチャンネルが追加されました。通常、チャンネル数の増加により、レーダーチップの計算能力が倍増します。

2. AIディープラーニングによるターゲット認識

第二に、自動運転で最も難しいシナリオの 1 つは、歩行者を認識する能力です。現在の認識はカメラに頼ることが多いですが、イメージング レーダーの高解像度機能を使用すれば、歩行者の認識に優れた補助効果をもたらすことができるでしょうか。答えはイエスです。このプロセスは、主に歩行者の腕の振りと車輪の回転の微細運動特性を組み合わせ、高解像度の時間周波数解析方法を使用してターゲットのマイクロドップラー情報を抽出し、機械学習などのターゲット分類方法を使用して VRU ターゲットのマイクロドップラー識別を実行します。

3. ミリ波レーダーによる高精度測位

周知のとおり、高精度測位システムの検出プロセスでは、雨、雪、霧などの環境要因の影響を受けず、環境構造に依存した高密度のミリ波レーダー点群情報を確立するために、対応するセンサーが必要です。これらの要素はミリ波レーダー自体が持つ機能です。したがって、ここでは RSLAM と呼ぶミリ波レーダー自体を使用して、簡単な測位とマッピングを実行できます。システム自体にライダーや高解像度カメラが搭載されている場合は、ミリ波レーダーのマッピング機能がこれら 2 つの補助センサーとして機能します。

4. ハードウェア処理能力

4Dレーダーイメージングの主なコンポーネントには、3Dレーダーよりも多くのトランシーバーアンテナが含まれており、最も重要なのはデュアルボード処理チップです。1つはRFトランシーバー（主にPCBボードに搭載された複数のトランシーバーアンテナ）、SRAMデータ取得、USBタイプのデータストリームに使用され、もう1つはデータ処理（ポイントクラウドベースのディープラーニングを含む）とBT / Wi-Fi接続に使用されます。そのため、多くのミリ波レーダーサプライヤーは、通常、チップカスケードを使用するか、ソフトウェアを通じて新しい仮想送信アンテナを作成して、送信機による環境オブジェクトのポイントクラウド情報の収集率を高めます。一般的に、カスケードチップの数が増えるにつれて、高解像度画像レーダーの点群密度と精度はますます高くなります。レーダーの人工知能（AI）におけるディープラーニングの応用は、視覚分類効果に近い、より優れた事前条件（点群クラスタリングなど）をもたらします。

高解像度カメラは質的な飛躍をもたらすことができるか？

車両のE/Eアーキテクチャの進化の傾向に伴い、センサーECUも分散型から集中型へと進化し始めています。コンピューティングパワーは、以前のように各サブECUが担うのではなく、中央処理装置によって集中的に処理されます。このプロセスにおけるコンピュータービジョンと画像処理は、中央ドメインコントローラーによって統合され、カメラは「画像取得」のための純粋なセンサーとしてのみ使用されます。

自動運転のレベルが上がるにつれて、カメラに対する要求はますます高くなってきており、それは主にカメラの解像度に反映されており、当初は基本的なパノラマ駐車を実現するための30万画素でしたが、半自動駐車を実現するための100万画素以上になり、その後、基本的な運転中心制御を実現するための現在の200万画素になっています。また、自動運転レベルでの認識能力のさらなる向上の必要性と市場の需要促進により、将来の高レベル自動運転車両では、より遠くにあるターゲットを識別・監視するために、8メガピクセルの高解像度ピクセルカメラを使用する予定です。

基本機能の観点から見ると、8メガピクセルカメラへのアップグレードにおける最大の課題は、認識コンピューティング能力の大幅な向上です。たとえば、Horizo​​n の現在の 8 メガピクセル カメラの処理デモ実験では、アルゴリズムの処理に J3 が使用されていますが、これは小さな馬が大きな荷馬車を引くのと同じで、結果として高解像度の画像を切り取る必要があります。切り取られた画像の解像度を下げた後、セマンティックセグメンテーションやオブジェクトレベルのマッチングなどの対応する処理を実行できます。そのため、高解像度の車載カメラには、高解像度カメラに匹敵するアルゴリズムとテスト機能が必要です。

業界で一般的に関心を集めているのは、8メガピクセルのカメラと計算能力、アルゴリズム、データとの関係です。これらには以下が含まれます:

1. 従来の低解像度カメラを高解像度カメラ（8メガピクセルなど）に置き換える場合、チップの計算能力はどの程度必要になり、ドメイン コントローラー全体の発熱と消費電力はどの程度改善されますか。

まず、カメラの計算能力に対する要求は、カメラ自体のパフォーマンスパラメータ（ビット、フレームレート、解像度など）に関係するだけでなく、自動運転の実際のアプリケーションシナリオや認識アルゴリズムモデルにも関係します。

TOPS=関数(カメラの固有パラメータ、ユースケース、パーセプトロンアルゴリズム)

たとえば、前の例に基づいて、同じ解像度のカメラをベースに、そのアプリケーション シナリオが車両、歩行者、車線、速度制限標識、およびその他の種類のターゲットの識別に限定されている場合、そのアルゴリズム マッチング ライブラリ内のモデルは単純であるため、コンピューティング能力に対するマッチング要件は比較的軽量です。アプリケーション シナリオで、システムがより多くのターゲット (落石、未知の障害物、信号、道路標識などの珍しいまたは異種のターゲットを含む) を識別し、より長い距離 (一部の小動物、小さな障害物などを含む) を検出し、より高い認識精度 (より明確な方向の位置決め、より正確な距離と速度など) を持つことが求められる場合、そのようなアプリケーション シナリオに必要な計算能力は間違いなくより高次のものになります。

2. 新しい高解像度カメラでは、元のアルゴリズム構造の大幅な更新が必要ですか?

実際、高解像度カメラを使用した後、アルゴリズムを完全に書き直す必要はありません。収集された元のデータは、ディープラーニングモデルの初期アーキテクチャパラメータとして使用でき、新しく収集された高解像度画像データは、ディープラーニングモデルのアーキテクチャパラメータを更新および最適化するためのデータソースとして使用できます。

上記の記述に関しては、その低解像度カメラターゲット検出アルゴリズムが AI ニューラルネットワークトレーニングアルゴリズムに適用されているのか、それとも単なる単純なパターン認識アルゴリズムなのかを十分に検討する必要があります。なぜなら、L1 や L2 などの単純な運転支援機能の場合、カメラの検出機能は、単純な車線や標準的な車両などの単純な検出ソリューションを満たすだけでよい場合が多いからです。このような検出プロセスでは、AI アルゴリズムのトレーニングやニューラル ネットワークの高速化はまったく必要ありませんが、ARM コアの構築に似た論理操作を通じて要件を満たすことができます (このようにして、SOC 内の CPU リソースで要件を満たすことができます)。したがって、アルゴリズムの複雑さ、アルゴリズム戦略、アルゴリズム構築のモデルパラメータを考慮すると、高解像度カメラは低解像度カメラのアルゴリズムを完全に再利用することはできません。また、ハードウェアリソースの面では、高解像度のカメラデータを処理するために必要なSOCは、より高度なSOCであることが多いです。AIコンピューティングユニットが大幅に改善されただけでなく、論理コンピューティングパワーも新しいレベルに向上しました。その結果、元の低レベルの運転支援システムによってトレーニングされたアルゴリズムは、新しいSOCにうまく適応できなくなります。そのため、対応する AI アルゴリズム モデルを改善する必要が生じることがよくあります。また、同じサプライヤーの一連のチップを使用する場合にも、同様の状況が発生する可能性があります。たとえば、現在、Horizo​​n の J3 を使用してアルゴリズムのトレーニングを行って生産されている製品は、J5 にアップグレードすると、現在のアルゴリズムの複雑さが大幅に改善される可能性があります。

3. カメラセンサーをアップグレードした後、低レベルの自動運転システムアーキテクチャによって収集されたデータを、高レベルの自動運転に直接適用できますか？

自動運転アルゴリズムの構築と反復はすべてデータによって行われ、特に認識モジュールと予測モジュールはデータによって駆動され、多くの場合、プロセスで適切なデータのクローズドループを実現する必要があります。

自動運転のアルゴリズム モジュール、特に認識モジュールと予測モジュールは基本的にデータ駆動型であり、アルゴリズムの反復におけるデータの重要性を示しています。ここで注目すべきは、多くのインテリジェント運転アルゴリズム企業が初期段階でデータ収集を通じてアルゴリズムのトレーニングパラメータを取得しているのに対し、低レベルのインテリジェント運転システムのデータ収集では、解像度、検出距離、誤検出、検出漏れなどの点で高レベルの自動運転に劣る低レベルのセンサーを使用することが多いということです。したがって、高解像度カメラ検出では、以前に収集されたデータを通じて低ピクセルカメラの基本的なパフォーマンスの一部を継承することに加えて、シーンモデリングを通じて部分的なシーンの再構築も実現できます。さらに、一部の極端なシナリオでは、データを収集してアルゴリズムを再トレーニングするために高解像度カメラが必要になり、それによって検出効果が無限に向上し、データのクローズドループが実現します。

4. 高解像度カメラは前面のみに設置されていますか（フロントビューカメラ）、それとも車全体に配置されていますか（サイドビューカメラとリアビューカメラ）。

高度な自動運転システムでは、前方視界は解決すべきシナリオが最も多く、長距離の小さなターゲット認識や近距離のターゲットの割り込み認識など、ターゲット認識タスクが最も複雑です。これらは両方とも、カメラのビーム角度と解像度に対して高い要件があります。サイドビューカメラとリアビューカメラの場合、シーン認識の要件は比較的単純です。両方のカメラの主な要件は、基本的に自動車線変更シナリオでの側面と後方のターゲットの検出にあります。したがって、コストと効率の観点から、一般的な解像度のカメラは、側面図/背面図のシーンの要件を満たすことができます。サラウンドビューカメラは、通常、中低速時に広い視野角で近距離の車線や駐車時の車両ターゲットを検出します。したがって、中解像度および低解像度のカメラを使用することで、ターゲット検出の要件を満たすこともできます。同様に、スマートコックピットのカメラについても、通常使用されるのはドライバーの存在認識、顔認識、感情認識などの機能であり、基本的には中程度のカメラ解像度で十分です。

もちろん、上記のカメラ機能構成については、実際のシナリオをシミュレートし、アルゴリズムを反復することで、ある程度の最適値を見つけることができます。たとえば、応答曲面法は最適値を見つけるために使用されます。

5. 同じ検出要件の場合、カメラの解像度が高いほど良いのでしょうか?

実際、高解像度カメラは検出範囲が長く、検出結果が鮮明で、ダイナミック レンジ (HDR) が広く、LED フリッカー除去 (LFM) が優れています。しかし、低光量下での知覚効果は比較的劣ります。これは、同じ条件下では、カメラの解像度が高くなるほど単一のピクセルサイズが小さくなり、低照度下での光電変換効率が低下し、光量が不十分な場合のカメラのパフォーマンスに影響を与えるためです。

さらに、帯域幅、データ量などの面で高解像度カメラの需要も急増しており、周囲の関連コンポーネントやネットワークに対する容量要件が高まっています。したがって、自動運転システムでは、カメラソリューションを選択する際に、解像度と検出性能の間でトレードオフを行う必要があります。

LiDARの利点を活用して自動運転のニーズを真に満たす方法

どちらもレーダーですが、ミリ波レーダーの金属反射性能は人体よりもはるかに高いため、自転車や歩行者などの反射物体の場合、検知車両と検知車両間の距離が1.5メートルの場合、通常の3送信機と4受信機のシングルチップ3Dミリ波レーダーでは、自転車の1点しか検知できず、まったく検知できないこともあります。ミリ波レーダーで画像化しても、歩行者や円錐などの物体は小さな点に過ぎず、通常のレーダーでは検出できません。この観点から、ミリ波レーダーによるイメージングを LiDAR によるイメージングと比較することはできないことは明らかです。次世代の自動運転システムに LiDAR を使用すると、システムの検出機能が大幅に向上するというのは疑いのない事実です。この点における利点は主に、車両の割り込み、車両後方の突起物の検出、道路上の異物など、現在の自動運転システムでは解決できない多くのエッジシナリオを解決できる高品質の検出機能に反映されています。

では、LiDAR に関して人々は何を気にしているのでしょうか?

実際、OEM にとってもサプライヤーにとっても、LIDAR に求められるのは、パフォーマンス (測距機能、精度、視野、解像度、リフレッシュ フレーム レート、ボリューム、消費電力、その他のパラメータを含む)、信頼性 (動作の安定性、一貫性、自動車規格への準拠)、およびコスト (設計コスト、材料コスト、製造コスト) だけです。

1. 検出距離と精度：

LIDAR の最も重要な部分はトランシーバー モジュールとスキャン モジュールであることはわかっています。レーザーの送受信効率が高く、信号処理能力が強力であればあるほど、測距能力は強くなります。ライダーの実際の使用では、測距能力は測定対象物の反射率にも関係します。反射率が高いほど、反射光が多く受信され、測距距離が長くなり、測定距離の精度が高くなります。したがって、測距能力は、レーザーの送信電力、送信帯域、検出器の検出感度など、主にトランシーバー モジュールによって決まります。定格検出距離と精度について話すときは、特定の反射率で検出されたターゲットの距離についても話す必要があります。

2. 検出範囲

検出範囲は主に視野、解像度、リフレッシュフレームレートによって定義されます。視野角は主にライダーから放射されるレーザー点の方向に関連し、解像度は放射点の周波数に関連します。放出点周波数は、ライダーが 1 秒あたりに完了して取得する検出点の総数を指し、カメラの総ピクセルの概念に似ています。したがって、同じ検出シナリオでは、レーザースポット周波数が高くなるほど、LIDAR がターゲットを認識する能力は向上します。

放射点周波数を使用して記述すると、レーザーリフレッシュレートと視野角の不均一性によって生じる極端な解像度を効果的に解決できます。

レーザーレーダースキャンは2次元スキャンを使用して実行されることがわかっています。つまり、水平走査と垂直走査を含み、したがって、送信点周波数については、入力水平走査点と垂直走査点によって包括的に記述できます。

前述のように、レーザーポイント周波数を上げたい場合はリフレッシュレートを大幅に上げることができますが、逆に解像度も急速に低下します。したがって、放射点の頻度を上げる唯一の方法は、放射内部パラメータによって決まるライダー自体の放射性能を向上させることです。この一般化された内部パラメータは、実際には、レーザーレーダー本体がレーザーの性能要件、総消費電力、寿命、およびレーザーチップの総合的な信号処理機能を考慮する必要があることを意味します。

3. 消費電力

LIDAR 内の電子モジュールは、1 秒間に何百万回も光を送受信する必要があり、各送受信は複雑なアナログおよびデジタル回路で処理され、3D ポイント クラウド信号に変換される必要があります。したがって、電子モジュールには多数の電源出力が必要です。一方で、LiDARの検出能力は検出面が清潔で不純物がないかどうかに大きく左右されるため、LiDARにはセルフクリーニング機能が求められることが多く、このプロセスにも非常に高い電源能力が求められます。

4. 機能安全

LiDARの信頼性は主にそのトランシーバーモジュールとスキャンモジュールに依存します。一般的には905nmサプライヤーが使用され、そのトランシーバーモジュールの電子部品は自動車規制に比較的簡単に合格できます。たとえば、BoschのLiDARは全体的なASILB安全レベルを達成でき、人間の目のレーザー保護が必要な状況ではASIL Cに到達できます。対照的に、1550nm トランシーバー モジュールをベースにしたデバイスはまだ比較的初期段階にあり、自動車規制の通過には大きな課題が伴います。

5. コスト

最後に、LiDAR が最も懸念している核心的な問題、つまりコストの問題に戻る必要があります。これは、LiDAR の設置率を制限する重要な要因でもあります。レーザーレーダーのスキャンモジュールは、その信頼性と安定性に大きく影響します。トランシーバー モジュールはパフォーマンス指標に大きな影響を与えます。したがって、LiDAR は機能と性能を維持する観点から、対応するトランシーバー モジュールの性能を継続的に最適化し、コストを増やすことなく全体的な性能を向上させる必要があります。

まとめ

自動運転システムの先進センサーのアップグレードの観点から、高解像度カメラ、高品質ライダー、イメージングミリ波レーダーなどを搭載し、現在の自動運転システムが遭遇する可能性のあるさまざまなエッジシナリオ問題の解決に重点を置きます。その中で、4Dミリ波レーダーにアップグレードした後、アルゴリズムはミリ波レーダーの感知結果をより考慮できるようになり、道路上の静止障害物をより高い確率で識別できるようになりました。高解像度の利点と相まって、ターゲットの輪郭、カテゴリ、動作をより効果的に分析し、どのような状況でブレーキをかけなければならないか（ブレーキの踏み忘れを回避するため）を知ることができます。視覚認識の課題は、対象となる障害物を事前にトレーニングする必要があり、モデルライブラリですべての種類を列挙することはできないため、多くの静的障害物が「網をすり抜けてしまう」ことです。また、モデルライブラリがあっても、ニューラルネットワークが前方の障害物を正しく識別できるかどうかも課題です。そのため、前方に障害物があるにもかかわらず、自動運転車がそれに衝突してしまうことが多々あります。高解像度カメラはある程度いくつかの問題を解決できますが、カメラを選択する際には特定の原則に注意を払う必要もあります。また、LiDARの原理から、LiDARは送受信された点群を通じてさまざまな形状の物体を自然にフィットさせることができます。しかし、LiDARの使用には、コスト、性能、消費電力など、さまざまな角度から設置の実現可能性を考慮する必要もあります。