自動運転におけるディープラーニングベースの予測と計画の融合手法のレビュー

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。

ディープラーニングベースの自動運転システムにおける予測と計画の統合の再考: レビュー

オリジナルリンク: https://arxiv.org/pdf/2308.05731.pdf

免責事項: この記事は学習目的のみに提供されています。より詳しい情報については、元の論文を読むことをお勧めします。中国語の全文は次のとおりです。

まとめ

モジュール式の自動運転システムは通常、予測と計画を一連の独立したタスクとして処理します。これは周囲の交通が自車両に与える影響を説明しますが、自車両の行動に対する交通参加者の反応を予測することはできません。最近の研究では、安全で効率的かつ快適な運転を実現するには、予測と計画を相互依存的に統合する必要があることがわかっています。このような統合システムを実装するためのさまざまなモデルの包括的な概要と理論的理解が不足しています。モデル構造や設計などのさまざまな要素と相関関係から動作まで、ディープラーニングに基づく予測、計画、予測と計画の融合のアルゴリズムモデルを体系的にレビューします。さらに、さまざまなアンサンブルアプローチの意味、利点、限界についても説明します。研究のギャップを指摘し、関連する将来の課題を説明し、研究分野の動向に焦点を当てることで、有望な将来の研究の方向性を特定します。

キーワード: 自動運転、動作予測、動作計画、ディープラーニング

1 はじめに

自動運転 (AD) は通常、走行の安全性、効率性、快適性を確保するために、認識、予測、計画、制御のサブタスクに分割されます。従来のモジュール システム (図 1 を参照) では、予測と計画を別々のタスクとして扱います。ただし、この順序では一貫した反応が得られず、交通シーンにおける車両と周囲の交通参加者との継続的な相互作用を表すことができません。したがって、予測と計画を独立した順次実行問題として扱うべきではありません。理想的には、関係するすべての車両が互いの状況を認識し、将来の動きを選択し、常に複雑な相互作用を可能にします。この共同モデリングは、交通参加者が互いの行動に継続的に反応し、相互の「what-if シナリオ」を作成して人間のような安全で快適な運転を実現する方法を反映できます。私たちはこのアプローチを統合予測および計画 (IPP) と呼んでいます。

1.1 研究範囲

この記事では、予測と計画を同じモジュールに統合する方法について説明します。ディープラーニングベースのソリューションは、データを活用して高次元空間でより適切なソリューションを見つけることができ、最近いくつかの分野で大きな進歩を遂げています。この論文では、主にディープラーニングベースの手法に焦点を当てます。私たちの研究は、交通参加者間の直接的または間接的な相互作用を伴うシナリオに焦点を当てています。さらに、車両に比べて動的制約が弱く、十分に研究されている歩行者の動きの予測は除外しています。

1.2 本論文の構成

予測と計画の融合を検討する前に、本稿ではまず、ディープラーニングに基づく予測タスクと計画タスクをそれぞれ確認します。この記事は次のように構成されています。

• まず、ディープラーニング ベースの予測、計画、および IPP スキームの SOTA メソッドとベンチマークを確認します。
• モデル構造やシステム設計から動作に至るまで、予測と計画を統合した分類方法を提案します。
• 私たちは、セキュリティと堅牢性の観点から、これらのカテゴリのつながりと影響を調査および分析します。
• 私たちはこれらの SOTA 研究の違いを調査し、将来に向けてより有望なアプローチと方向性を指摘します。

2. 自動運転システム

この章では、必要な用語を紹介し、予測と計画を簡潔に定義します。

2.1 構造

モジュール式サブシステムを図 1a に示します。モジュール間のインターフェースは、解釈可能性を高めるために人工的に設計されています。すべてのインターフェースが微分化可能である場合、モジュール式メソッドをエンドツーエンドでトレーニングすることもできます。

エンドツーエンドのソリューションでは、単一のニューラル ネットワーク モデルを使用します。このアプローチでは、モジュール インターフェイス間で情報が失われることはありません。欠点は、解釈可能性に欠け、サンプル効率が低いことです。

解釈可能なエンドツーエンドのソリューションは、上記の 2 つのソリューションの欠点を軽減します。これらのモデルは補助タスクを追加しますが、これらのタスクは次のレイヤーに伝播されず、中間の隠れ層に直接接続されます。

2.2 タスク定義

このセクションには主にいくつかのキャラクターの説明と表現の説明が含まれていますが、ここでは示しません。元の論文を読んでください。後で使用されるキャラクターについては、使用時に簡単に説明します。

3つの予測

自動運転において、予測とは、運転シナリオがどのように展開し、それが後続の計画モジュールにどのように影響するかを理解することです。 3.1 では、さまざまなシナリオにおける個別の相互作用と全体的な相互作用の表現について説明し、3.2 では、相互作用をモデル化し、記述的特徴を抽出するために設計されているニューラル ネットワークについて説明します。セクション 3.3 では、抽出された特徴を軌道予測にマッピングする方法と、マルチモーダル性をどのようにモデル化するかについて説明します。

3.1 シーン表現

シーンを表現するということは、利用可能なすべての情報から関連するサブセットを抽出し、それを後続の処理手順で利用できる形式に変換することを意味します。自動運転車両の軌道予測の文脈では、交通参加者の状態 X (上向きのバー付き) とマップ I はどちらも非常に重要な情報表現です。ディープラーニングベースの方法では、図 2 に示すように、ラスタ化とスパース表現という 2 つの重要な表現方法があります。

ラスタライズでは、多くの場合複数のチャネルを持つ固定ピクセルの密なグリッド構造を使用して表現します。詳細については参考文献[54]-[61]を参照。 DESIRE[8]は、BEVマップを使用して車両のマルチセンサー入力情報を融合する初期のラスター化手法である。 BEV マッピングにより、さまざまなセンシング モダリティを組み合わせて、すべての車両に共通の座標系を確立できます。

スパース表現では、ADの決定は利用可能なすべてのシーン情報ではなく、いくつかの重要なオブジェクトに依存します[76]。したがって、スパース表現の考え方は、シーン表現から冗長で無関係な情報を削除することです。グラフは予測に最も一般的に使用されるスパース表現であり、ベクトル表現と線表現に分類することもできます。トラフィックグラフでは、ノードはコード化されたオブジェクトを表し、エッジはそれらの間の関係をモデル化します[63]。非表示のノード機能には、オブジェクト タイプとコンテキスト情報が含まれます。

いくつかのアプローチでは、シーンのさまざまな側面をエンコードすることで、ラスタライゼーションとスパース表現[39]、[95]を組み合わせています。さらに、いくつかの研究では、異なるスパース性を持つボクセル表現を使用しています[96]、[97]。 MultiPath[59]とMultiPath++[37]は、入力表現に主な違いがある類似のモデルであるため、比較に適しています。彼らの結果は、ラスタライズからスパース性に移行するとパフォーマンスが向上する可能性があることを示しています。図 3 に示すように、この分野全体の発展はこの傾向を裏付けています。タイムラインは時系列に並べられており、効果的な予測方法を理論的に説明し、過去数年間のスパース表現への移行を示しています。

座標系：視点を固定したグローバル座標系はシーン全体に対して非常に効率的である[6]、[44]、[98]、[99]。

表現の観点から見ると、異なるディープラーニングソリューションには異なる処理方法があります。グリッド表現は CNN カテゴリ モデルに適しており、スパース表現は GNN タイプ モデル、アテンション メカニズム、トランスフォーマーに適しています。

3.2 インタラクションモデリング

交通シナリオでは、個人間の相互作用をモデル化することが予測の重要な部分です。他の交通エンティティとの相互作用により衝突が回避され、交通の流れがスムーズになり、運転可能なエリアがさらに制限されます。

RNNでは、DESIRE[8]や[39]などの初期の予測モデルでは、RNNとプーリングやアテンションなどの集約演算子を組み合わせています。

2D 畳み込みを使用してカーネル間の接続を暗黙的にキャプチャする CNN は、シーケンス処理に基づく方法よりも空間的な相互作用を重視します。

GNN と注意メカニズムは、グラフ畳み込み演算子またはソフト注意メカニズムを通じて複数の個人間の情報を集約し、個人間の相互作用を表現します。

トランスフォーマーは、ここ数年で予測に大きな影響を与えてきました。車両の位置の追跡は時間によって変化するため、予測タスクの入力には空間情報と時間情報の両方が含まれ、相互作用モデリングには車両の空間相互作用と時間的ダイナミクスを理解する必要があります。特にトランスフォーマー構造の出現以来、空間と時間を設計によってどのように扱うかを決めるのは簡単です。空間データと時間データは異なる次元の入力テンソルに保存することができ、その後、注意メカニズムを単一の次元内または異なる次元間で実行できます。

図 3 は、シーン表現におけるさまざまなインタラクション モデルの進化を示しています。CNN モデルと RNN モデルは、グリッド シーン表現の初期の作業でより一般的ですが、GNN モデル、アテンション メカニズム、トランスフォーマー モデルは、スパース表現でより一般的に使用されています。

3.3 軌道デコード

予測の最終ステップは、軌道を生成することです。ディープラーニングベースの方法では、キャプチャされた潜在的な特徴をデコードすることによってこれを実現します。私たちは、軌跡デコードの 2 つの側面、つまりデコード規則とマルチモーダル モデリングに焦点を当てています。

デコード規則は、図 4 に示すように、ワンショット、ツーショット、n ショットの 3 つのカテゴリに分類されます。将来の軌道ポイントを直接予測する方が一般的です。

ワンショット法はさらに、軌跡回帰デコードとアンカー軌跡分類に分けられます。軌跡回帰では、ニューラル ネットワークを直接使用して、隠し層の特徴を軌跡 (通常は MLP) にデコードします。特に、トランスフォーマーベースの構造は、図 3 に示すように、軌道回帰を直接実行します。アンカー ポイント トラジェクトリ分類では、事前に設定されたアンカー ポイント トラジェクトリを分類の事前知識として使用します。アンカーの軌道を決定することで、予測の実現可能性が確保され、より強力な運動学的制約を課すことが可能になります。ただし、まれな軌道がアンカーに含まれない可能性があり、この方法は柔軟性に欠けます。

2 ショット法には、エンドポイントと初期軌道および改善戦略の完全な方法が含まれており、n ショット法は初期軌道法または自己回帰プログラムのいずれかです。

マルチモーダル: 観測された SV の意図は不明であり、その将来の動作は本質的に不確実かつマルチモーダルです。 2 つの手法を区別することができ、Ppred は離散的な軌跡のセットを使用して推定するか、連続分布を使用して表すことができます。離散軌道は、中間記述サンプリングまたはモデル設計中に取得できます。継続的な配布。離散軌道セットとは異なり、計画のコスト関数として連続分布を直接使用すると有益な場合があります。

3.4 ベースライン

テストベースラインは比較的シンプルで理解しやすく、トレーニングとテストには多くのデータセットが使用されます。評価は、テスト セット内の各瞬間の SV の予測軌道と実際の軌道を比較することによって実行されます。マルチモーダルな SV オブジェクトの不確実な意図を説明するために、評価ベースラインでは勝者総取りの評価戦略を採用しています。この戦略では、モデルが 6 や 10 などのいくつかの固定された軌道出力を予測し、オプションの確率を含めて最良のものを評価します。

4 計画

計画タスクは、観測値 XEV と XSV および追加コンテキスト I とオプションの YSV (水平バー付きの Y) に基づいて、車両の安全で快適かつスポーティな軌道 YEV を見つけることです。この章では、セクション4.1と4.2で入力表現と出力表現X EV 、X SV 、Iを包括的に確認します。セクション 4.3 では、既存の作業を分類し、セクション 4.4 で既存の共通パラダイムについて説明する前に、ターゲット状態について説明します。最後に、既存のベンチマークを紹介します。

4.1 入力式

入力表現を、科学技術の歴史の中間記述と隠れ層の特徴に分割します。解釈可能な中間表現は、モジュール広告によく使用されます (セクション 2.1 を参照)。隠れ層の特徴に関しては、直接センサーマッピングによるE2E自動運転（図1参照）[9]、[126]、[181]の場合、PS入力XEV、XSV、Iは潜在的特徴によって表されます。学習された隠し層の中間表現を使用する利点は、異なるモジュール間のインターフェースを手動で設計する必要がないことです。隠れ層の特徴表現の主な欠点は、解釈可能性が欠如していることです。障害が発生した場合、システムのどの部分がエラーの原因であるかを評価することは非常に困難です。これにより、純粋な E2E システムのチューニングとデバッグが特に困難になります。解釈可能なエンドツーエンドシステムは、追加の中間表現を生成することでこれを補おうとします[70]。モジュール型テクノロジー スタックとは対照的に、これらのアプローチでは解釈可能な中間出力は使用されません。これらは追加の教師ありモデルのイントロスペクションにのみ使用されます。図 3 のタイムラインは、解釈可能な入力表現が隠れ層の入力機能に比べてますます普及していることを示しています。

4.2 出力表現

計画モジュールの出力は、一連の将来の状態または制御アクションです。将来の状態には、2D 位置と計画された軌道の方向が含まれ、下流のコントローラーに渡されます。軌跡表現は解釈性に優れています。さらに、現在の占有率と予測占有率の特徴や BEVmap と同じ直交空間にあり、衝突や交通規制などの問題を簡単に検出できます。ただし、実際の運転性能は下流のコントローラにも依存します。将来の制御アクションは計画の別の出力表現であり、E2E 自動運転ではこのアプローチが採用されることが多いです。この方法は、アクションのサイズに直接関係するため、動きの実現可能性と快適性が向上します。しかし、結果として生じる動作は、制御対象車両の個々の動力学モデルに依存する[34]、[183]​​。したがって、他の車両に一般化する能力は非常に限られています。図 3 は、エンドツーエンドの自動運転の計画の進化を示しています。軌道出力は近年ますます普及しています。

4.3 目標調整

自動運転の目標は目的地まで安全に運転することであるため、目標指向は計画アルゴリズムの適応性を決定する主な要素となります。ナビゲーション システムの車線レベルのルート情報をプランナーに入力できます。マップの車線情報を通じて、スパースなターゲット情報のセットが取得されます。この情報セットに沿って、各ステップで最も近い位置情報がプランナーに提供されます。相対情報は、GPS ナビゲーション システムから簡単に取得できます。ターゲット情報を計画アルゴリズムに取り込む方法については、主に入力機能、個別のサブモジュール、ルーティング コスト、ルート アテンションの 4 つのカテゴリを定義します。

入力機能は、ターゲット情報をシンプルかつ直接的に組み込むため、さまざまな実装方法で広く使用されてきました。マップ情報がルート上またはルート外としてマークされている場合、この情報はグリッド マップ内の個別のセマンティック情報として使用できます。

個別のサブモジュールは、特定のコマンド間のサブモジュールとして、高レベルのコマンドにのみ使用されます。

手作業で作成されたルーティング コストは、手動で作成されたルールを通じて計画された軌道を再最適化します。

ルートアテンション。計画モデルが事前に設定されたルートに集中するように強制します。

図 3 は、初期のモデルでは目的を通して計画モジュールをトレーニングしなかったが、後にサブモジュールと入力機能が支配的になり、最近のモデルでは定期的な注意が導入されたことを示しています。

4.4 計画アルゴリズム

式5を思い出して、計画を観測された入力X EV 、X SV 、Iから推定されたY EV への関数fとして定義します。次に、計画関数fに注目します。期待値ジェネレーターに基づいて、損失関数の最適化、劣化、ハイブリッド計画という 3 つの計画パラダイムを区別します。

4.5 テストベンチマーク

計画評価方法には、オープンループ評価とクローズドループシミュレーションがあります。オープンループシミュレーションは予測タスクに似ており、コントローラーの出力をエキスパートプランと比較します。ただし、最近の研究では、オープンループ評価は実際の運転パフォーマンスとほとんど相関がないことがわかっています。クローズドループ シミュレーションでは、プランナーを使用して車両を制御するため、現実世界に近いものになります。 Carla と nuPlan のデータセットはどちらも SV の運転パターンに基づいています。

5. 予測と計画の融合ソリューション

次に、PS のどの設計上の決定が行動インタラクション シナリオに影響を与えるかに焦点を当てます。特に、PS が SV (周囲の車両) の予想される動作要因をどのように考慮するかを検討します。特に、SVの将来の予期せぬ行動下でのPSの計画を分析し、SVがEVに与える影響を分析します。図 6 は、予測コンポーネントと計画コンポーネントがさまざまな方法で PS を構築する様子を示しています。次に、現在の研究の分類法の紹介（5.1）から始め、続いてモジュール型核融合システムの設計上の選択から生じる相互作用的な動作の重要性（5.2）について議論し、セクション5.3ではモジュール型核融合システムにおける安全性と偶発性の概念について説明します。これらのカテゴリーの可能な組み合わせについては 5.4 で説明し、図 5 に示します。

5.1 融合戦略

この章では主に図 6 の 3 つの戦略について説明します。

モノリシック E2E 、統合されたエンドツーエンドの戦略は単一のプランナーで構成されるため、SV の将来の動作とそれらの間の相互作用、および SV と EV 間の関係は明示的にモデル化されません。このようなアプローチは、専門家の運転判断をよりよく再現できますが、データ要件が高く、主な欠点はブラックボックス性であり、モデルのイントロスペクションと安全性の検証が非常に困難になります。

解釈可能な E2E、説明可能なエンドツーエンドの計画フレームワークは、予測を補助的な学習タスクとして扱います。明示的なモデル出力として、予測タスクは計画タスクと一緒にトレーニングされます。一般的に、2 つのタスクはバックボーン エンコーディング機能を共有し、出力ヘッドはそれらを個別にデコードして、対応する出力表現を生成します。単一のエンドツーエンドの計画と比較すると、明示的な予測により解釈可能性が向上し、内省が容易になります。ただし、どちらの PS 設計も、計画タスクを実行するために潜在空間内の暗黙的な予測に依存しており、安全性の保証は提供されません。したがって、私たちはその規範的効果の追加的な監督が、結果として生じる運転パフォーマンス（衝突率）の増加につながると考えています[65]。

手動統合、手動融合方式とは、異なるタスクが異なるサブモジュールを使用し、2 つのタスク間の相互作用が専門知識に基づいて手動で設計されることを意味します。広く採用されている方法は、予測モジュールの出力が計画モジュールに渡される順次融合法です。この設計では EV の計画が SV に与える影響を反映できないため、他の研究ではまずモジュール プランナーを推論して候補計画を生成します。予測はこれらの候補に基づいて条件付けられ、候補の中からEVを選択するための計画に使用されます[130]、[240]。

次に、PRECOG [69]、PiP [130]、[241]、DSDNet [72]、P3 [70]、LookOut [73]、MP3 [74]、SafetyNet [80]、UniAD [132]、FusionADなどの一連の研究のソリューションを紹介します。他の融合原理と比較すると、手動融合ではより多くのエンジニアリング作業が必要になりますが、事前の知識を有意義な方法で組み込むことで、融合スキームの安全性を制限します。一般的に、手作りのPSはエンドツーエンドのシステムよりも高い解釈可能性とより安全なソリューションを提供します[81]、[247]。図 3 のタイムラインは、初期の作業がモノリシックな E2E 設計における暗黙的な予測に大きく依存していたことを示しています。 ChauffeurNet[61]やPRECOG[69]を皮切りに、明示的な予測がより一般的になってきました。最近、エンドツーエンドの微分可能なモジュールコンポーネントの手動統合が広く注目を集めています[132]、[182]。

5.2 車両と他の主体との関係

前のセクションでは、システム アーキテクチャの観点から統合と収束の原則を確認しました。以下では、人工統合のカテゴリー、つまり、自身の車両と他の個人との間の期待される個人間関係をさまざまな観点から分析します。これは、車が周囲のエージェントの観察と予想される動作に基づいて運転の決定を下す必要がある、高度にインタラクティブなシナリオで特に重要です。しかし、[5]が指摘しているように、車も他人の行動に影響を与えることを認識する必要がある。

例えば、図 7 の例では、自動車の計画が SV の動作に影響を及ぼす可能性があり、交差点に近づくと速度が上昇し、SV が減速して EV に道を譲るなどです。 [5] ロボット主導の計画、人間主導の計画、共同主導の計画、共同計画の4つのカテゴリーが紹介されています。この場合、人間は周囲の交通であり、ロボットは自動運転車です。以下では、これらのカテゴリについて簡単に説明し、既存の作業について説明します。

ロボットリーダー計画は、現在の状態に基づいて EV 計画を推測し、この状態に基づいて環境全体について予測を行います。これは攻撃的な運転行動につながる可能性があります。たとえば、FIG7 の例では、EV は、急速前進の計画に従うと、観測された SV が衝突を防ぐために譲歩すると推論します。

人間のリーダー計画は、SV の予測された動作に基づくロボット リーダー計画とは逆です。 EV計画がSVに与える影響をモデル化していないため、自信のない行動につながる可能性がある[5]。保護されていない右折の例では (図 7 を参照)、EV は予測された SV の動作の両方に影響を与えることを認識せずに、適切なソリューションを見つけようとします。したがって、計画が遅くなる傾向があります。

共同計画は、自分自身を含む車両の相互作用を認識するシステムを表します。車両計画は、すべてのエージェントのグローバル最適化を通じて得られます。したがって、最適解が存在するという仮定の下で、IPPシステムは決定論的に共同目的を近似する[248]。たとえば、図 7 の EV が SV に近づく前に押し込まれる場合、これは合理的なグローバル目標に関して最適である可能性があります。それでも、SV がそれに応じて動作し、加速しないという保証はありません。したがって、[5]はこれがどのように致命的なエラーにつながるかを示しました。

共同リーダー計画は、SVの潜在的な将来の行動の影響と潜在的な自己軌道に対する反応をモデル化します[5]、[249]、[250]。共同計画カテゴリとは対照的に、周囲の個体の行動は決定論的であるとは見なされません。したがって、EV は、緊急時対応計画を策定することによって、計画段階でこの不確実性を考慮する必要があります。つまり、複数の将来の結果に備え、それに応じて対応できる必要があります。この動作は受動的随伴性と呼ばれます。

図 3 は、どちらのパラダイムでも明確な傾向が見られなかったことを示しています。これは、4 つの理論的概念のどれが他の概念よりも優れているか、またそれをシステム アーキテクチャの設計にどのように実装するかが明確ではないことを示唆しています。これは、包括的な経験的ベンチマークの欠如に関係している可能性があります。

5.3 安全と緊急対応能力

上で説明した自己と他者の個人関係のカテゴリーは、複数の潜在的な将来のシナリオを考慮することが、安全性と緊急時の計画にとって重要であることを強調しています。以下では、これを計画関数 f = h(g(X EV, X SV,I)) の一部として定義するコスト関数コンポーネント h に組み込む方法について説明します (セクション 4.4 を参照)。安全性と不測の事態に関する既存のアプローチを、エッジ予測計画、最悪ケース計画、不測の事態計画の 3 つのグループに分類します。これらは、図 7 に簡単にまとめられています。

限界予測による計画では、複数の将来のシナリオを明示的に区別できない IPP システムについて説明します。これは、予測された Y SV が将来の結果 Y (j) SV と比較して限界化されることを意味します。図 7 に示すように、コスト関数では、発生の可能性は低いが危険なシナリオ (衝突など) と、発生する可能性が非常に高い低コストのシナリオを比較検討する必要があります。これは安全にとって極めて重要であり、特に起こりそうにないが危険な出来事に対しては、計画者は注意を払う必要があります。

最悪のケースの計画とは、IPPシステムが複数の将来の結果Y(j)SVがあることを認識していることを意味します。このカテゴリでは、すべてのシナリオが同等に関連していると見なされます。つまり、確率能力P(Y(j)SV)は考慮されません。代わりに、各提案は最悪のシナリオに基づいて評価されます。このモデルは衝突回避に重点を置いており、図 7 に示すように、過度に慎重な動作につながる可能性があります。このような計画者は、状況が実際にどのように展開するかに応じて再計画が必要になることを認識していません。

緊急時対応計画は IPP システムにとって最も重要な要件です。さまざまな将来のシナリオ Y (j) SV とその確率 P(Y (j) SV) を考慮することで、シナリオの未知の将来の展開に備えます。結果として得られる計画により、最悪のリスクを回避しながら、望ましい進捗を達成できます。コスト関数ベースの計画パラダイムとハイブリッド計画パラダイムはどちらもこれらの特性を共有しています。

5.4 可能な組み合わせ

前のセクションでは、分類予測と計画の統合に対する3つのアプローチ、すなわち（1）統合原則、（2）安全性と偶発性、（3）自己と他者の関係について説明しました。以下では、これら 3 つの次元の可能な組み合わせについて説明します。図5に概要を示します。私たちの重要な洞察は、私たちが説明するカテゴリが、さまざまなレベルでの IPP アプローチ間の違いを捉えているということです。統合の原則は高レベルのシステム アーキテクチャに重点を置いていますが、自己とエージェントの関係は主に、このアーキテクチャが示すインタラクティブな動作に基づいています。安全性と不測の事態に対する考慮は、代替オプションの具体的な設計上の選択であるコスト関数に基づいています。以下では、これらのカテゴリー間のつながりに焦点を当てます。以下の分類は、結果として生じる動作ではなく、アーキテクチャに基づいていることを強調することが重要です。評価中に、モデルは複数のカテゴリのプロパティを示す可能性があります。したがって、モデルが実際に期待される動作を示すかどうかを判断するには、インタラクティブなシナリオでのベンチマークが不可欠です (セクション 4.5 を参照)。

ロボットリーダーパラダイムは、3 つのコスト関数すべてと組み合わせることができると主張します。まず潜在的な自己計画を識別し、次に各計画に基づいて SV の将来の動作を予測する単純なロボット優位性モデルを考えてみましょう。最終的な自動車ソリューションの選択は、これら 3 つのカテゴリのそれぞれに属するコスト関数に基づいて行うことができます。しかし、既存の研究では特殊なコスト関数が使用されており、第5.3節、[95]、[129]、[130]、[240]で概説した構造には従っていません。ロボット主体のアーキテクチャと対応するコスト関数を体系的に組み合わせることが、将来の研究の有望な方向性になる可能性があることを強調したいと思います。特に、コンティンジェンシーまたは最悪の場合のコスト関数は、EV の利益のために SV が潜在的に非合理的な方法で反応することに依存するロボット リーダー計画に関連する固有の問題を軽減できます。

6つの課題

ディープラーニングベースの予測と計画、および ADS への統合の概要に基づいて、今後の研究には、大規模テスト、システム設計、包括的なベンチマーク、トレーニング方法という 4 つの主要な課題があると考えています。

大規模なテスト、自動運転システムを実際のアプリケーションに導入する前に、その有効性を検証するための大規模なテストが必要です。ここでシミュレーションが必要になります。潜在的な運転シナリオのロングテール分布をカバーするには、まれではあるが潜在的に重要なシナリオを生成および取得するための効果的な方法を採用する必要があります。特に、敵対的堅牢性を評価することは、分布シフトおよび分布境界外に関する一般化の限界を特定するのに役立ちます。

システム設計では、感知、予測、計画、制御で構成される従来の厳密に順次的なシステムを採用することが依然として一般的な選択肢です。調査の結果、このアプローチは運転システムに課せられた要件を満たしていないことが判明しました。代替アプローチでは、潜在的な自己計画の規制予測を可能にする方法で予測と計画を統合します。それでも、どの統合アーキテクチャが最も効果的であるかは不明です。特に、説明可能なエンドツーエンドのシステムの人気が高まっている分野では、予測と計画をどのように組み合わせるかが不明確です。

包括的なベンチマークテスト。予測と計画の統合のさまざまな側面について議論しました。しかし、それらの長所と短所を再現し分析する包括的な経験的ベンチマークは存在しません。このような概要は、さまざまな自己と他者の個人的関係と安全性/偶発性パラダイムの影響をよりよく理解するのに役立ちます。これには、周囲の車両に対する現実的なドライバー モデルと表現力豊かなインタラクティブ インジケーターを備えた、現実的で高度にインタラクティブなシナリオでのシミュレーションが必要です。

トレーニング方法、学習ベースの方法を自動運転などの安全性が重要な領域に適用する場合、堅牢性が最も重要です。電気自動車の前での衝突のような安全性が重要なシナリオ[256]は、トレーニングデータではほとんど発生しません。しかし、自動運転車の安全な動作を確保するには、システムがこれらの状況にも適応できることが重要です。強力な一般化を確保し、安全性を保証することは、未解決の課題です。

7 結論

本稿では、さまざまなタスク技術アプローチの包括的な概要に基づいて、自動運転システムにおける予測と計画の融合統合手法を調査および分析します。統合予測と計画の取り組みを比較し、安全性と行動への影響を強調するために、さまざまなカテゴリを説明、提案、分析します。最後に、見つかったギャップに基づいて、将来の研究の方向性が指摘されています。