この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。 0 前に書く最近、多くの友人が軌道予測の基礎について相談に来られました。今日は、軌道予測の定義、出力形式、よく使われる関連用語、よく使われる軌道予測方法論、軌道予測の評価方法について皆さんに共有します。全ての内容は日々のノートとして出力されます。時間があるときにまとめて勉強するのがおすすめです!すべての参考文献は下部にリストされています。 上記内容はすべて「軌道予測理論実践&論文読解講座」の内容で、ダブルイレブン期間中は20%割引実施中! 1 問題の説明1.1 軌道予測入力1.1.1 道路シーン(地図)情報道路の位置、横断歩道の位置、車線の方向 1.1.2 周辺車両情報現状、歴史的軌跡 1.1.3 対象車両情報現在の状況と歴史的軌跡: 1.2 軌道予測出力1.2.1 対象車両の今後の軌道と分布将来のf瞬間における目標車両(1〜N)の軌道と軌道分布: 1.2.2 出力タイプ単峰性軌道、多峰性軌道 1.3 関連用語軌道: 時間の経過に伴う物体または実体の動き。オブジェクトが通過する一連の位置または状態を表します。 2 従来の軌道予測方法2.1 物理学に基づく方法2.1.1 物理モデル1) 物理的動作は通常、動的モデル(形式が複雑)または運動学的モデル(形式が単純で、より一般的に使用されている)を使用して記述されます。 2.1.2 干渉/不確実性の処理方法 1: カルマン フィルター (KF)、フィルタリング後の軌跡を取得します - 参照 39。 2.1.3 利点と欠点の分析利点: 強力な解釈可能性、安定したパフォーマンス、シンプルな運動計算。 2.2 サンプリングベースの方法:2種類の可能な車両状態の分布を生成します。複数の軌道セグメントまたは粒子状態を生成します。利点: システムノイズと不確実性に強い欠点: シナリオが限られている 2.3 確率モデル確率論を使用して将来の軌道の可能性をモデル化および推定し、予測された軌道の確率分布または信頼度尺度を提供します。 2.3.1 ガウス混合モデル(GMM)軌道の分布を複数のガウス分布の組み合わせとして表す(参考文献46~49、18、62(GMM-HMM))。 2.3.2 ガウス過程(GP)軌跡は、時間軸に沿ってGPから取得されたサンプルであると考えられます(参考文献50~54、63)。 2.3.3 隠れマルコフモデル(HMM)観測シーケンスは交通参加者の過去の状態から構成され、最も可能性の高い将来の観測シーケンスはこれらの過去の観測に基づいて推定されます(参考文献55、56、17、64、65)。 2.3.4 動的ベイジアンネットワーク(DBN)時系列を組み合わせ、ベイジアンネットワークフレームワークを利用することで、参考文献57〜61、19では軌道予測のための操作ベースのアプローチが提供されました。 3 ディープラーニングに基づく予測手法3.1 タイミングネットワーク:3.1.1 リカレントニューラルネットワーク (RNN)参考文献 20、97、66 3.1.2 時間畳み込みニューラルネットワーク(TCN) - あまり使用されていない参考文献 77-81, 105-108 3.1.3 注意メカニズム(AM)参考文献: 82-96, 119-122 3.1.4 トランスフォーマー注意メカニズムに基づくと、参考文献24、109-118、123-127 3.2 ビジョンベースモデル2つの視点:鳥瞰図(BEV)視点と自車両/カメラ視点 3.2.1 畳み込みニューラルネットワーク (CNN)それらのほとんどはBEVを入力として使用し、軌道シーケンスを構造化グリッド入力として扱うことで軌道予測を適応させます(129〜135、144〜149を参照)。 3.2.2 グラフニューラルネットワーク (GNN)参考文献 157-158 3.2.2.1 グラフ畳み込みネットワーク (GCN)畳み込み演算を従来の画像データ処理からグラフデータ処理に拡張する重要なアイデアは、ネットワーク内のノード機能とその隣接ノードから相互作用を考慮した機能を抽出できるマッピング関数を作成することです。 3.2.2.2 グラフアテンションネットワーク (GAT)静的正規化畳み込みプロセスの代わりにアテンションメカニズムを使用する(参考文献150-156、166) 3.2.2.3 その他のグラフニューラルネットワークCNN/GNN/GCNの拡張 3.2.3 CNNとRNNの組み合わせRNNクラスは時間情報を処理し、CNNクラスは空間情報を処理します。21-22、168-171、178を参照してください。 3.2.4 生成モデル3.2.4.1 生成的敵対ネットワーク (GAN)ジェネレーターは過去の軌道データを入力として受け取り、将来の軌道を生成します。一方、ディスクリミネーターは生成された軌道に対してリアリズム評価を実行します。ジェネレーターは、生成された軌跡が本物であると識別器に信じ込ませることで、生成された軌跡の信憑性を向上させるようにトレーニングされます。 3.2.4.2 変分オートエンコーダ(VAE)オートエンコーダ (AE) は、エンコーダを使用してデータを圧縮し、デコーダを使用してデコードして、再構築された出力を生成します。変分オートエンコーダ (VAE) は、空間全体にわたって生成する機能を備えており、オートエンコーダにおける非正規化潜在空間の問題を解決します。 VAE の目標は、再構築損失と類似性損失の両方を最小限に抑えることです。 4つの強化学習ベースの手法4.1 逆強化学習(IRL)主なアイデアは、エージェントの観察されたサービス行動を説明する報酬関数を学習し、報酬関数を推論することで最適な運転戦略を学習することです。参考文献187-188、190-196、201、206 長所: IRL は、より深い洞察とより柔軟な軌道予測を提供できる可能性があります。短所: 最適なポリシーは曖昧になる可能性があり、直接的な報酬関数がほとんどまたはまったくないためトレーニングが困難です。専門家の経験の必要性とその品質および計算の複雑さに関連する課題は、実際のアプリケーションでは慎重に考慮する必要があります。 4.2 深層逆強化学習(深層IRL)ディープニューラルネットワークを用いた専門家のデモンストレーションからの報酬関数の学習、参考文献189、197-198、200、207-208 4.3 模倣学習(IL)目標は、コスト関数を必要とせずに専門家の観察に基づいて意思決定基準を迅速に決定することです209,215 長所: 人間の運転行動をシミュレートし、現実的な予測を生成できる 短所: 専門家の経験に依存する 5 研修と評価5.1 データセット5.1.1 NGSIM - リファレンス 223NGSIM (次世代シミュレーション) データセットは、米国 FHWA が収集した米国の高速道路運転データです。一定期間における US101 や I-80 などの道路上のすべての車両の運転状況が含まれています。データはカメラによって取得され、トラックポイントレコードに処理されます。 URL: 次世代シミュレーション (NGSIM) 車両軌道とサポートデータ | 運輸省 - データ ポータル 5.1.2 highD - 参照 221ドイツのアーヘン工科大学の自動車工学研究所が公開した HighD データセットは、ドイツの高速道路における大規模な自然車両軌跡データです。このデータは、ドイツのケルン近郊の 6 か所から収集されました。場所によって車線数や速度制限が異なり、記録されたデータには自動車とトラックが含まれています。このデータセットには、6 か所の 11.5 時間の測定と 110,000 台の車両が含まれており、総走行距離は 45,000 km、車線変更の完全な記録は 5,600 件です。最先端のコンピューター ビジョン アルゴリズムを使用することで、位置決め誤差は通常 10 センチメートル未満になります。ドライバーモデルのパラメータ化、自動運転、交通パターン分析などのタスクに適しています。 5.1.3 キッティ - 参照 222 KITTI データセットは、ドイツのカールスルーエ工科大学とトヨタ・リサーチ・インスティテュート・オブ・アメリカが共同で作成しました。現在、自動運転シナリオ向けのコンピューター ビジョン アルゴリズム評価データセットとしては世界最大規模です。このデータセットは、車両環境におけるステレオ、オプティカルフロー、視覚オドメトリ、3D オブジェクト検出、3D トラッキングなどのコンピューター ビジョン テクノロジのパフォーマンスを評価するために使用されます。 KITTI には、市街地、田舎、高速道路などのシーンで収集された実際の画像データが含まれています。各画像には、最大 15 台の車両と 30 人の歩行者、およびさまざまな程度の遮蔽と切り捨てが含まれます。 3D オブジェクト検出データセットは、7481 枚のトレーニング画像と、対応するポイント クラウド データを含む 7518 枚のテスト画像で構成され、合計 80256 個のラベル付きオブジェクトが含まれます。 5.1.4 Lyft - 参照 217 Lyft L5 自動運転データセットは、Lyft が提供する L5 レベルの自動運転データセットです。現在、トレーニング セットのみがダウンロード可能です。データセットには、オブジェクトの存在と動きを検出できる高品質のセマンティック マップが含まれています。このデータセットには、4,000 を超える道路、197 の横断歩道、60 の一時停止標識、54 の駐車場の地図情報が含まれています。このデータセットの形式は nuScenes です。データは 2 つの異なるバージョンの車を通じて収集されます。両方のタイプの実験車には 7 台のカメラと 3 台の LiDARS が搭載されていますが、カメラのモデルと LiDARS のタイプは異なります。このデータセットは幅広い応用が期待されており、将来の自動運転を促進するでしょう。 5.1.5 Waymo - 参考文献 218 Waymoオープンデータセットは、Waymo自動運転車がさまざまな条件下で収集した高解像度のセンサーデータで構成されています。KITTI、NuScenesなどのデータセットとの比較データは次のとおりです。センサー構成とデータセットサイズが大幅に改善されています。 Waymo データセットのセンサーには 5 つの LIDAR と 5 つのカメラが含まれており、LIDAR とカメラの同期効果も優れています。さらに重要なのは、Waymo データセットには、合計 16.7 時間の運転記録が 3,000 件含まれており、セグメントあたりの平均長さは約 20 秒であることです。データセット全体には合計 600,000 フレームが含まれており、約 2,500 万個の 3D 境界ボックスと 2,200 万個の 2D 境界ボックスが含まれています。さらに、Waymo Open Dataset はデータセットの多様性においても大きな改善を実現しました。データセットは、さまざまな気象条件、昼夜のさまざまな時間帯、市内中心部と郊外のさまざまな場所、歩行者や自転車などのさまざまな道路オブジェクトなどをカバーしています。 5.1.6 nuScenes - リファレンス 216 nuScenes データは、さまざまな都市の 1,000 のシーンから収集されます。収集車両には、6 台のカメラ (CAM)、1 台のレーザー レーダー (LIDAR)、5 台のミリ波レーダー (RADAR)、IMU、GPS などの包括的なセンサーが搭載されています。 5.1.7 アルゴバース - 参考文献 219トレーニングと検証用に、それぞれ 5 秒間の 324,557 シーンの軌跡データが含まれています。各シーンには、10 Hz でサンプリングされた各追跡オブジェクトの 2D 鳥瞰図の重心が含まれています。このデータは、交差点での車両、左折または右折する車両、車線変更する車両など、道路の最も困難なセクションを見つけるための一連の自動運転テスト車両の 1,000 時間を超える運転データから取得されます。 5.1.8 アポロスケープ - 参考文献 159 Baidu が提供する ApolloScape データセットには、高解像度画像とピクセルごとの注釈が付いた RGB ビデオ、セマンティック セグメンテーションを備えた測定レベルの高密度 3D ポイント、ステレオ ビデオ、パノラマ画像が含まれています。シーン解析データセットは、高度な自動運転研究のための一連のツールとデータセットを提供する ApolloScape の一部です。シーン解析は、画像内の各ピクセルまたはポイント クラウド内の各ポイントにクラス (セマンティック) ラベルを割り当てることを目的としています。これは、2D/3D シーンの最も包括的な分析の 1 つです。 5.2 共通評価指標5.2.1 平均絶対誤差(MAE)5.2.2 二乗平均平方根誤差(RMSE)5.2.3 平均変位誤差(ADE)5.2.4 最終変位誤差(FDE)5.2.5 最小平均変位誤差(minADE)5.2.6 最小最終変位誤差(minFDE)5.2.7 負の対数尤度(NLL)5.2.8 平均変位誤差の加重合計(WSADE)5.2.9 最終変位誤差の加重合計(WSFDE)5.3 方法の比較ディープラーニング手法と強化学習手法 6 研究課題と今後の方向性6.1 課題1) 不確実性: 交通参加者の将来の軌道は本質的に不確実であり、100% の精度で予測することは不可能です。この不確実性には、センサー測定のノイズ、予測できない環境の変化、他の交通参加者の意図の不明など、さまざまな要因が影響する可能性があります。 2) 複雑なダイナミクス: 交通参加者の動きは、重力、摩擦、空気力などのさまざまな物理法則の影響を受ける可能性があります。これらのダイナミクスは非常に複雑かつ非線形であるため、正確にモデル化することが困難です。 3) センサーのカバー範囲が限られている: 自動運転車は、カメラ、LIDAR、レーダーなどの一連のセンサーを利用して周囲の環境を認識します。ただし、これらのセンサーの範囲は限られており、遮蔽物、気象条件、その他の要因の影響を受ける可能性があり、他の交通エージェントの動きを正確に追跡することが困難になる可能性があります。 4) データが限られている: 場合によっては、軌道予測に使用できるデータが限られていたり不完全であったりすることがあります。これは、センサーが故障した場合、または履歴データが欠落または破損している場合に発生する可能性があります。 5) 長期予測: 初期予測の小さな誤差が積み重なって実際の軌道から大きく外れてしまう可能性があるため、長期間 (3 秒以上) にわたる軌道を予測することは困難です。 6) 複雑な道路環境: 自動運転車は、交差点、ラウンドアバウト、混雑した市街地など、複雑で動的な道路環境で動作します。このような環境での軌道を予測するには、他の車両、歩行者、自転車など、複数の交通参加者間の複雑な相互作用を処理できるモデルが必要です。 7) マルチモーダル出力: 自動運転では、エージェントの動作はマルチモーダル性を示し、単一の過去の軌跡が複数の潜在的な将来の軌跡を持つ可能性があります。 8) データがまばらでノイズが多い: 特に建物やその他の構造物によってセンサーと追跡対象物の間の視線が遮られる場合、センサーからのデータはまばらでノイズが多くなる可能性があります。これにより、他のトラフィック エージェントの動きを時間の経過とともに正確にモデル化することが難しくなる可能性があります。 9) マルチエージェントインタラクション: 多くの現実世界のシナリオでは、複数のエージェントが相互に相互作用し、それらの軌道は相互に依存しています。エージェントの軌道を予測することは、他のエージェントの行動に依存する可能性がある 10) 異種環境: 異種環境とは、さまざまな種類の車両、歩行者、自転車、さまざまな道路の種類、およびそれらの間の複雑な相互作用など、さまざまな要素が含まれる環境です。このような環境で軌道を効果的に予測するには、予測モデルでさまざまな種類のエージェントを考慮し、コンテキスト情報を組み込み、センサー データを融合し、複数のエージェント間の相互作用をモデル化し、不確実性を推定し、適応性を実現する必要があります。 6.2 今後の方向性1) コンテキストと意図の組み込み: 現在の軌道予測方法の限界は、他の車両の動きの背後にあるコンテキストや意図を考慮せずに、その動きのみに焦点を当てていることです。今後の研究では、道路のレイアウト、交通ルール、他のドライバーの意図などのコンテキスト情報を組み込んで軌道予測の精度を向上させる方法を探る可能性があります。 2) 複数のセンサーの統合: 自律走行車は、周囲の環境を認識するために一連のセンサーに依存しています。今後の研究では、複数のセンサーからのデータを統合して軌道予測の精度を向上させる方法を探求することができます。これには、カメラ、ライダー、レーダー、その他のセンサーからのデータを融合するための新しいアルゴリズムの開発や、音響センサーや熱センサーなどの新しいセンサー方式の検討が含まれる可能性があります。 3) 不確実性のモデリング: 軌道予測には不確実性が伴うため、将来の研究では予測された軌道を通じて不確実性をモデル化して伝播する方法を探ることができます。これには、ベイズニューラルネットワークなどの新しい確率モデルの開発や、不確実性の定量化と伝播のための新しい手法の探索が含まれる場合があります。 4) 人間を考慮した軌道予測:自動運転車が走行する環境には、他の車両だけでなく、歩行者や自転車も含まれます。今後の研究では、人間の行動を認識し、混雑した都市環境における歩行者や自転車の動きを正確に予測できる軌道予測方法を開発する方法を探求する可能性があります。 5) リアルタイム実装とハードウェア アクセラレーション: 自律走行車はリアルタイム環境で動作し、軌道予測アルゴリズムはデータを処理してリアルタイムで予測を生成できる必要があります。今後の研究では、軌道予測アルゴリズムを最適化してリアルタイムのパフォーマンスを実現する方法や、効率的なコンピューティングのための新しいハードウェア アーキテクチャの開発などが検討される可能性があります。 6) 安全性と堅牢性の確保: 自動運転システムでは、安全性が最も重要です。今後の研究では、安全性と堅牢性を重視した軌道予測手法の開発を目指すべきである。これには、まれなまたは異常なイベントを処理するための技術の調査、困難な気象条件での予測精度の向上、軌道予測アルゴリズムの倫理的側面の考慮が含まれます。 7) 相対軌道予測: 相対軌道予測とは、自車両または座標系に対する周囲の物体またはエージェントの将来の動きまたは経路を予測するタスクを指します。今後の研究では、自車両に対する他の車両、歩行者、自転車の相対的な変位、速度、軌道を推定することに重点を置く必要があります。 8) ランダム障害物を考慮した軌道予測: このアプローチは、周囲の環境における予期しないまたはランダムな障害物の存在を考慮しながら、車両の将来の軌道を予測することを指します。これらの障害物には、道路間の動物や物体、突然の歩行者の到着、道路間の不確実な障害物を引き起こす交通事故などがあります。今後の研究では、まれなイベントを予測モデルに組み込み、これらのまれなイベントに関連するデータを収集して分析し、より包括的で堅牢な予測モデルを開発することに重点を置く必要があります。 9) 厳しい気象条件: 大雨、雪、霧、視界不良などの悪天候は、センサーのパフォーマンスに影響を与え、軌道予測に重要なデータの可用性を制限する可能性があります。今後の研究では、センサー融合、適応フィルタリング、確率モデル、機械学習などの技術を組み合わせて、悪天候下での軌道予測の信頼性と精度を向上させる必要があります。 10) 車車間 (V2V) 通信と車車間 (V2X) 通信戦略: V2V 通信は、車両間で直接情報を交換することを指します。 V2X 通信は V2V を超えて、インフラストラクチャ、歩行者、自転車、交通管理システムなどの他のエンティティとの通信も含むように拡張されます。位置、速度、加速度、意図などのリアルタイムデータを共有することで、車両は相互に連携して協力し、軌道予測のパフォーマンスを向上させることができます。 |
>>: 世界初公開! 70以上のオープンソースデータセットをまとめ、自動運転のためのオープンソースデータシステムについて考察する
大晦日、家族が集まる夜。 1月28日、オンライン春節祝賀会(略称オンライン春節祝賀会)が予定通り開催...
ネオは、自分が住んでいる世界が現実ではなく、綿密に設計されたシミュレーションであることを発見します。...
会話型 AI ベンダーの Gnani は、会話型 AI ボットが今後 2 ~ 3 年で劇的に改善され...
[51CTO.com クイック翻訳] ガートナーの調査によると、約 37% の組織が何らかの形で人工...
[[258931]]今日の科学技術分野における最も最先端のトピックとして、人工知能は3年連続で政府活...
COVID-19の流行が世界中の人々の生命と日常生活を脅かし続けている中、人々はこの病気の予防と治療...
2018 年後半には、自動運転とインテリジェント コネクテッド ビークルの市場が活況を呈しました。昨...
Insilico Medicine は、人工知能を使用して特発性肺線維症治療薬の新しいメカニズムを世...
[[408210]]今では「顔認証で出勤、顔認証で支払い、顔認証でドアを開ける」といったハイテクノ...
[[342735]] [51CTO.com クイック翻訳] 人工知能(AI)が今日、さまざまな業界で...