インテリジェント運転認識システムのテスト技術を説明する記事

導入

近年、人工知能とそのソフトウェア・ハードウェア技術の進歩により、自動運転は急速に発展しています。自動運転システムは、民生用車両支援運転、自動物流ロボット、ドローンなどの分野で応用されています。知覚コンポーネントは自動運転システムの中核であり、車両が内部および外部の交通環境情報を分析して理解できるようにします。しかし、他のソフトウェア システムと同様に、自動運転認識システムもソフトウェアの欠陥に悩まされています。さらに、自動運転システムは安全性が極めて重要なシナリオで動作するため、ソフトウェアの欠陥が壊滅的な結果につながる可能性があります。近年、自動運転システムの欠陥により死傷者を伴う事故が多発しています。自動運転システムのテスト技術は、学界や産業界から広く注目を集めています。企業や研究機関は、仮想シミュレーションテスト、実際の道路テスト、仮想現実を組み合わせたテストなど、一連の技術と環境を提案しています。しかし、自動運転システムの入力データの種類の特殊性と動作環境の多様性により、このようなテスト技術の実装には過剰なリソースの消費が必要となり、大きなリスクを伴います。本稿では、自動運転認識システムのテスト方法の現在の研究と応用状況を簡単に分析します。

1. 自動運転認識システムテスト

自動運転認識システムの品質保証はますます重要になっています。認識システムは、車両が道路状況を自動的に分析して理解できるようにする必要があります。その構造は非常に複雑であり、テスト対象のシステムの信頼性と安全性は、多くの交通シナリオで十分にテストされる必要があります。現在、自動運転の知覚テストは主に3つのカテゴリーに分かれています。テスト方法に関係なく、従来のテストとは異なる重要な特徴、つまりテスト データへの強い依存を示します。

最初のタイプのテストは、主にソフトウェア エンジニアリング理論と形式手法に基づいており、認識システムによって実装されたモデル構造メカニズムをエントリ ポイントとして採用しています。このテスト方法は、自動運転の知覚の動作メカニズムとシステム特性に関する高度な理解に基づいています。この偏った認識システム ロジック テストの目的は、システム開発の初期段階で認識モジュールの設計上の欠陥を発見し、システムの初期の反復でモデル アルゴリズムの有効性を確認することです。研究者らは、自動運転アルゴリズムモデルの特性に基づいて、一連のテストデータ生成、テスト検証指標、テスト評価方法および技術を提案した。

2 番目のタイプのテスト仮想シミュレーション方法では、コンピューターを使用して実際の交通システムを抽象化し、事前に設定された仮想環境でのシステム テストや認識コンポーネントの独立したテストなどのテスト タスクを完了します。仮想シミュレーションテストの有効性は、仮想環境のリアリティ、テストデータの品質、および具体的なテスト実行技術に依存します。シミュレーション環境の構築方法、データ品質評価、テスト検証技術の有効性を十分に考慮する必要があります。自動運転環境認識およびシーン分析モデルは、トレーニングとテスト検証のために大規模で有効な交通シーン データに依存します。交通シーンとそのデータ構築・生成技術については、国内外の研究者が幅広く研究を行ってきました。仮想テストシーンデータは、データ変異、シミュレーションエンジン生成、ゲームモデルレンダリングなどの方法を使用して構築され、高品質のテストデータが得られます。生成されたさまざまなテストデータは、自動運転モデル​​やデータの拡張と強化に使用されます。テストシナリオとデータ生成が重要な技術です。テスト ケースは、テスト サンプルの状態空間をカバーするのに十分な内容である必要があります。これらの境界ケースにおけるシステムの意思決定出力モデルの安全性をテストするには、極端な交通条件下でテストサンプルを生成する必要があります。仮想テストでは、多くの場合、既存のテスト理論とテクノロジを組み合わせて、テスト結果を評価および検証するための効果的な方法を構築します。

3 番目のカテゴリは、事前設定された閉鎖シーンのテストや実際の道路状況のテストなど、自動運転認識システムを搭載した実際の車両の路上テストです。このタイプのテストの利点は、実際の環境でテストすることで結果の妥当性を完全に保証できることです。しかし、このタイプの方法には、多様なテストシナリオに対応することが難しい、関連する交通シナリオデータサンプルを取得することが難しい、実際の道路データの手動ラベル付けのコストが高く品質が一定でない、テスト走行距離の要件が長すぎる、データ収集サイクルが長すぎるなどの問題があります。危険なシナリオでの手動運転は安全上のリスクを伴い、テスト担当者が現実世界でこれらの問題を解決するのは困難です。同時に、交通現場データは、データソースが単一であることやデータの多様性が不十分であることなどの問題を抱えており、ソフトウェア工学における自動運転研究者のテストおよび検証の要件を満たすには不十分です。それでも、従来の自動車テストに欠かせない部分である路上テストは、自動運転の知覚テストにおいて極めて重要です。

テストの種類の観点から見ると、知覚システムテストには、車両開発ライフサイクルごとに異なるテスト内容があります。自動運転テストは、モデルインザループ (MiL) テスト、ソフトウェアインザループ (SiL) テスト、ハードウェアインザループ (HiL) テスト、車両インザループ (ViL) テストなどに分けられます。この記事では、自動運転認識システムテストの SiL および HiL 関連部分に焦点を当てます。 HiL には、カメラ、LIDAR、人間とコンピュータの相互作用認識モジュールなどの認識ハードウェア デバイスが含まれます。 SiL は、実際のハードウェアによって生成されたデータをソフトウェア シミュレーションによって置き換えます。両方のテストの目的は、自動運転システムの機能性、性能、堅牢性、信頼性を検証することです。特定のテスト対象については、各認識システム開発段階で異なるタイプのテストと異なるテスト技術が組み合わされ、対応する検証要件が完了します。現在、自動運転の認識情報は、主に画像（カメラ）、点群（LIDAR）、融合認識システムなど、いくつかの主要なタイプのデータの分析から得られます。この論文では、主にこれら 3 種類のデータの知覚テストを分析します。

2. 自動運転画像システム試験

複数の種類のカメラで収集された画像は、自動運転の認識にとって最も重要な入力データの 1 つです。画像データは車両の前方、周囲、後方、側面の環境情報を提供することができ、自動運転システムが道路測距、ターゲット認識と追跡、自動車線変更分析などの機能を実現するのに役立ちます。画像データには、RGB 画像、セマンティック画像、深度画像など、さまざまな形式があります。これらの画像形式には、それぞれ独自の保存特性があります。たとえば、RGB 画像には豊富な色情報があり、被写界深度画像にはより多くのシーン深度情報が含まれ、セマンティック画像はピクセル分類に基づいて取得されるため、ターゲット検出や追跡タスクに適しています。

画像ベースの自動運転認識システムのテストでは、トレーニングとテスト検証のために大規模な有効な交通シーン画像に依存します。しかし、実際の道路データを手動でラベル付けするコストは高く、データ収集サイクルは長すぎ、危険なシナリオでの手動運転に関する法律や規制は不完全であり、ラベル付けの品質はさまざまです。同時に、交通現場データは、データソースが単一であることやデータの多様性が不十分であることなどの要因の影響を受け、自動運転研究のテストおよび検証の要件を満たすには不十分です。

国内外の研究者は、交通シーンデータの構築と生成技術について広範な研究を行っており、データ変異、敵対的生成ネットワーク、シミュレーションエンジン生成、ゲームモデルレンダリングなどの方法を使用して仮想テストシーンデータを構築し、高品質のテストデータを取得し、生成されたさまざまなテストデータを自動運転モデル​​とデータ強化に使用しています。効果的な方法は、ハードコードされた画像変換を使用してテスト画像を生成することです。さまざまな数学的変換と画像処理技術を使用して元の画像を変更し、さまざまな環境条件下での自動運転システムの潜在的な誤った動作をテストできます。

Zhang らは、画像スタイル転送のための生成的敵対的ネットワークベースの方法を使用して、特定の環境条件下での車両運転シナリオをシミュレートしました。いくつかの研究では、物理シミュレーション モデル内の 3D モデルから構築された交通シーンを 2D 画像にレンダリングして認識システムへの入力として使用し、仮想環境で自動運転テストを実行しています。テスト画像は、低次元画像の部分空間内の変更可能なコンテンツをサンプリングし、画像合成を行うことで合成的に生成することもできます。直接画像を変化させる場合と比較して、合成シーンはより豊富になり、画像摂動操作はより自由になります。 Fremont らは、自動運転分野に特化したプログラミング言語である Scenic を使用してテスト シナリオを事前に設計し、ゲーム エンジン インターフェイスを使用して特定の交通シーン画像を生成し、ターゲット検出モデルでレンダリングされた画像を使用してトレーニングと検証を行いました。

Peiらは、差分テストの考え方を使用して、自動運転ステアリングモデルの矛盾した出力を検出し、また、ニューロンカバレッジ、つまり、事前に設定された活性化しきい値を超えるニューラルネットワーク内のニューロンの割合を使用して、テストサンプルの有効性を測定することを提案しました。ニューラル カバレッジに基づいて、研究者は、ニューロン境界カバレッジ、強力なニューロン カバレッジ、階層的ニューロン カバレッジなど、多くの新しいテスト カバレッジの概念も提案しています。また、ヒューリスティック検索技術を使用して対象のテストケースを見つけることも効果的な方法ですが、検索をガイドするテスト評価指標を設計することが最大の難しさです。自動運転画像システムのテストでは、通常、特殊な運転シナリオ用のラベル付きデータが不足しているなどの問題に直面します。私たちのチームは、ソフトウェアテストの分野における適応型ランダムテストのアイデアに触発され、自動運転認識システムにおけるディープニューラルネットワークテストデータのラベル付けの人的資源コストが高いという問題を解決するために、適応型ディープニューラルネットワークテストケース選択方法ATSを提案しました。

3. 自動運転LiDARシステムのテスト

自動運転システムにおける重要なセンサーであるLIDARは、センサー送信機と対象物体間の伝搬距離を測定し、対象物体の表面での反射スペクトルの反射エネルギー、振幅、周波数、位相を分析することができます。収集した点群データは、運転シーンにおけるさまざまな物体の3次元スケールや反射強度情報を正確に描写し、データ形式や精度におけるカメラの欠点を補うことができます。 LiDAR は、自動運転におけるターゲット検出、位置決め、マッピングなどのタスクで重要な役割を果たしており、視覚だけでは置き換えることができません。

典型的な複雑なインテリジェントソフトウェアシステムとして、自動運転は、LIDARで捕捉した周囲の環境情報を入力として受け取り、知覚モジュール内の人工知能モデルを通じて判断し、システムの計画と制御を経てさまざまな運転タスクを完了します。人工知能モデルの高度な複雑性により、自動運転システムは認識能力を獲得していますが、既存の従来のテスト技術は、ポイントクラウドデータの手動収集と注釈に依存しており、コストがかかり非効率的です。一方、点群データは無秩序で、明らかな色情報が欠けており、気象要因によって乱れやすく、信号が減衰しやすいため、点群データの多様性はテストプロセスにおいて特に重要になります。

LIDARベースの自動運転システムのテストはまだ初期段階にあります。実際の路上テストとシミュレーションテストはどちらも、コストが高い、テスト効率が低い、テストの適切性を確保できないなどの問題があります。変更可能なテストシナリオ、大規模で複雑なソフトウェアシステム、膨大なテストコストなど、自動運転システムが直面する問題を考慮すると、ドメイン知識を組み合わせてテストデータ生成技術を提案できることは、自動運転システムの保護にとって非常に重要です。

レーダー点群データの生成に関しては、Sallab らはサイクル整合型生成敵対ネットワークを構築してレーダー点群データをモデル化し、シミュレートされたデータに対して特徴分析を実行して新しい点群データを生成しました。 Yueらは、自動運転シナリオ向けのポイントクラウドデータ生成フレームワークを提案しました。このフレームワークは、ラベル付けされたオブジェクトに基づいてゲームシーン内のポイントクラウドデータを正確に変異させることで、新しいデータを取得します。彼らは、この方法で得られた変異データを使用して、自動運転システムのポイントクラウドデータ処理モジュールを再トレーニングし、精度を大幅に向上させました。

私たちのチームは、LiDAR 自動テスト ツール LiRTest を設計および実装しました。これは主に自律走行車のターゲット検出システムの自動テストに使用され、システムの堅牢性を向上させるためにさらに再トレーニングすることができます。 LiRTest は、まずドメイン専門家によって物理モデルと幾何学モデルを設計し、次にモデルに基づいて変換演算子を構築します。開発者は、実世界のデータからポイント クラウド シードを選択し、ポイント クラウド処理ユニットを使用してそれらを識別および処理し、変換演算子に基づく突然変異アルゴリズムを実装して、自動運転 3D オブジェクト検出モデルの堅牢性を評価するためのテスト データを生成します。最後に、LiRTest はテスト レポートを取得し、オペレータの設計に関するフィードバックを提供することで、品質を反復的に向上させます。

自動運転システムは典型的な情報物理融合システムであり、その動作状態はユーザーの入力情報とソフトウェアシステムの内部状態によって決定されるだけでなく、物理環境の影響も受けます。複数の環境要因の影響を受ける点群データを生成する問題に焦点を当てた研究は少数ありますが、点群データ自体の特性上、生成されたデータの信頼性は路上試験データと同等にすることは困難です。そのため、追加のリソース消費を大幅に増やすことなく、複数の実際の環境要因を記述できる点群データを自動的に生成する方法は、解決する必要がある重要な問題です。

自動運転ソフトウェアの一般的なソフトウェア アーキテクチャでは、人工知能モデルが運転の決定とシステムの動作に非常に重要な影響を及ぼします。影響を受ける機能には、物体認識、経路計画、動作予測などがあります。ポイントクラウド データ処理に最も一般的に使用される人工知能モデルは、ディープ ニューラル ネットワークを使用して実装されるオブジェクト検出モデルです。この技術は特定のタスクでは高い精度を達成できますが、その結果の説明可能性が欠如しているため、ユーザーや開発者は動作を分析および確認することができず、テスト技術の開発やテストの妥当性の評価に大きな困難をもたらします。これらは、LIDAR モデル テスターが将来直面する必要がある課題です。

4. 自動運転融合認識システムテスト

自動運転システムは通常、環境情報を感知するためのさまざまなセンサーを搭載しており、さまざまな自動運転タスクを完了するためのさまざまなソフトウェアとアルゴリズムが搭載されています。センサーによって物理的特性が異なり、その応用シナリオも異なります。融合認識技術は、複数のセンサーの連携により、単一センサーの環境適応性の低さを補い、さまざまな環境条件下での自動運転システムの正常な動作を確保することができます。

情報を記録する方法が異なるため、異なるタイプのセンサー間には強い補完性があります。カメラの設置コストが低く、収集された画像データは高解像度で、色や質感などの視覚情報が豊富です。ただし、カメラは環境に敏感であり、夜間や強い日光など光が変化すると信頼できなくなる可能性があります。一方、LiDAR は光の変化の影響を受けにくく、昼夜を問わず正確な 3 次元認識機能を提供します。しかし、LIDAR は高価であり、収集された点群データには色情報がないため、形状がはっきりしないターゲットを識別することは困難です。各データモダリティの利点をどのように活用し、より深い意味情報を掘り出すかが、融合知覚技術における重要な課題となっています。

研究者たちはさまざまなデータ融合方法を提案してきました。ディープラーニングに基づくLIDARとカメラの融合認識技術は、その高い精度により主要な研究方向となっています。 Feng らは、融合方法を早期融合、中期融合、後期融合の 3 つのタイプに簡単にまとめました。初期融合では、元のデータまたは前処理されたデータのみが融合され、中期融合では、各ブランチによって抽出されたデータ機能が相互融合され、後期融合では、各ブランチの最終出力結果のみが融合されます。ディープラーニングベースの融合認識技術は既存のベンチマークデータセットで大きな可能性を示していますが、このようなインテリジェントモデルは、複雑な環境の現実のシナリオでは依然として不正確で予期しない極端な動作を示し、致命的な損失につながる可能性があります。自動運転システムの安全性を確保するには、このような融合認識モデルを徹底的にテストする必要があります。

現在、融合知覚テスト技術はまだ初期段階にあり、テスト入力領域が巨大であることとデータ収集コストが高いことが主な問題です。そのため、自動テストデータ生成技術が広く注目を集めています。 Wang らは、幾何学的一貫性ルールに従って仮想オブジェクトを画像やポイント クラウドに挿入し、テスト データセットを生成するクロスモーダル データ拡張アルゴリズムを提案しました。 Zhangらは、マルチモーダル変換フローを使用して点群と画像ピクセル間の正しいマッピングを維持するマルチモーダルデータ拡張方法を提案し、さらにこれに基づいたマルチモーダルカットアンドペースト拡張方法を提案しました。

私たちのチームは、実際のシーンの複雑な環境がセンサーに与える影響を考慮して、マルチモーダル融合認識システム向けのデータ拡張技術を設計しました。この方法では、ドメインの専門家が各モーダル データに対して現実的なセマンティクスを持つ一連の変異ルールを開発し、実際のシナリオでセンサーに干渉するさまざまな要因をシミュレートするテスト データを自動的に生成して、ソフトウェア開発者が限られたリソース内で融合認識システムをテストおよび評価できるようにします。この方法で使用される突然変異演算子には、信号ノイズ演算子、信号アライメント演算子、信号損失演算子の 3 つのカテゴリがあり、実際のシナリオでさまざまな種類の干渉をシミュレートします。ノイズ演算子とは、センサー データ収集プロセス中に環境要因によって収集されたデータに発生するノイズを指します。例えば、画像データの場合、スポットやぼかしなどの演算子を使用して、カメラが強い光に遭遇して揺れる状況をシミュレートします。アライメント演算子は、時間的ミスアライメントや空間的ミスアライメントを含む、マルチモーダル データのモーダル ミスアライメントの状況をシミュレートします。前者の場合、1 つの信号がランダムに遅延され、送信の混雑または遅延をシミュレートします。後者の場合、各センサーのキャリブレーション パラメータをわずかに調整して、車両移動中の車両の揺れによるセンサー位置のわずかな変化をシミュレートします。信号損失演算子はセンサーの障害をシミュレートします。具体的には、ランダムに 1 つの信号を破棄した後、融合アルゴリズムが時間内に応答できるか、または正常に動作するかを観察します。

つまり、マルチセンサー融合認識技術は、自動運転の発展において避けられないトレンドです。複雑な実環境でシステムが正常に動作することを保証するには、完全なテストが前提条件です。限られたリソース内でどのように完全なテストを行うかは、依然として緊急に解決する必要がある問題です。

結論は

自動運転認識テストは自動運転ソフトウェア開発プロセスと密接に統合されており、さまざまな種類のインループテストが徐々に自動運転の品質保証に不可欠な部分になります。産業用アプリケーションでは、実際のドライブテストが依然として重要です。しかし、コストが高い、効率が不十分、安全上のリスクが大きいなどの問題があり、自動運転インテリジェント認知システムのテストと検証のニーズを満たすにはほど遠い状況です。形式手法やシミュレーション仮想テストなどの複数の研究分野の急速な発展により、テストを改善するための効果的な方法が提供されました。研究者は、インテリジェント運転に適したモデルテスト指標とテクノロジーを研究し、仮想シミュレーションテスト方法をサポートしています。このチームは、自動運転認識テストデータの生成、評価、最適化の研究に専念しており、画像ベース、ポイントクラウドデータ、認識融合テストの 3 つの側面で詳細な研究に重点を置き、高品質の自動運転認識システムを確保しています。​