クルーズの自動運転意思決定・計画技術の分析

クルーズ社の自動運転意思決定計画および制御部門の責任者であるブランドン・バッソ氏は、コロンビア大学で学士号を取得し、カリフォルニア大学バークレー校で博士号を取得しました。彼の主な研究分野は、意思決定、ロボットシステムの設計とソフトウェアアーキテクチャ、機械学習、制御理論です。彼は長年にわたり3D Robotics および Uber Autonomous Drivingで勤務し、重要な役職を務め、ドローンと自動運転の分野で豊富な経験を持っています。

1. 優れた意思決定計画システムとはどのようなものでしょうか?

ブランドン・バッソは、優れた意思決定システムの特徴と出力がどうあるべきかを最初に定義しました。

優れた意思決定システムの特徴:

• 適時性（タイムリーに意思決定を行うこと）
• インタラクティブな意思決定（車両の行動が他の交通参加者に与える影響を考慮し、他の道路交通参加者の行動を考慮する）
• 信頼性と再現性（自動運転システムが同じシナリオで異なる決定を下す場合、システムが安定していないことを意味します）

優れた意思決定システムの出力：安全で快適、そして経験豊富なドライバー体験

2. 意思決定計画技術の課題

1. 現場には交通関係者が多い

意思決定システムは、現場の他の交通参加者の将来の行動を考慮する必要があります。一般的に、交通現場では何百人もの交通参加者が自動運転車とやり取りする可能性があります。そのため、自動運転車は正しい判断を下すために、5,000以上の代替軌道をサンプリングして計算する必要があります。しかし、自動運転では、非常にタイムリーに判断を下す必要があります。当社の意思決定計画アルゴリズムは通常、約10H-30Hzの周波数で実行されます。つまり、30msから100msごとに計算する必要があります。このような短時間で正しい判断を下すのは、大きな課題です。

2. 決定の不確実性（モデルがどれだけ正確であっても、オンライン上の他のトラフィック参加者の将来の選択を正確に予測することはできません）

ここでは、運動学的不確実性、オクルージョンの不確実性、およびモデルモデリングの不確実性の 3 つの不確実性について言及します。3つの不確実性の例を以下に示します。

1) 運動学的不確実性:たとえば、上の写真では、自転車に乗っている最初の人はまっすぐ進んでいますが、後ろの人は右に曲がるのかまっすぐ進んでいるのか確信が持てません。最初の人が、2 番目の人から右に曲がるように指示される可能性はあるでしょうか?この不確実性を考慮する必要があります。

2) 遮蔽の不確実性: 2 つ目のタイプは死角です。高速で走行する車が突然死角に現れるかどうかはわかりません。

3) 不確実性をモデル化するモデル: 3 番目の例は非常に興味深いものです。予測では、ソーシャル ビークルがどのように移動するかを常に考慮していますが、ソーシャル ビークルが動的な状態で移動していない場合、たとえば自転車に乗っている人が突然転倒した場合にどうするかなどについては考慮していません。私たちが構築したモデルは、このような問題をどのように解決できるでしょうか。

上記3つの不確実性を考慮した上で、クルーズが世界の最先端にいることが証明されました。今のところ、我が国の自動運転企業のほとんどは、これらの不確実性を考慮する初期段階にあり、このような洗練された段階に到達するには程遠い状況です。

3. 意思決定と計画の全体的な枠組み

全体的なアーキテクチャ

Cruise は、自社の意思決定システムを Cruise Decision Engine と呼んでいます。まず、シーン認識データを入力として受け取ります ( Cruise の予測モジュールは大型認識モジュールに属し、Cruise の予測モジュールは障害物間の相互作用予測も考慮します)。次に、アクション生成モジュールで車両の初期アクションを生成します (ここで初期アクションと呼ばれるのはなぜでしょうか。他の障害物との相互作用が含まれるため、車両の最適な決定を決定するには複数の反復が必要になるためです)。次に、車両の動作は競合解決モジュールに入力され、最後に計画および実行モジュールに入力され、次にアクチュエータに入力されて、スロットル、ブレーキ、およびステアリングホイールの制御が実現されます。ここでは、各モジュールの紹介に焦点を当てます。1 ) アクション生成モジュール:車両は、すべての交通参加者の予測情報に基づいて、初期アクション情報を生成します。車両には加速、駐車、回避など、多くの可能なアクションがあるため、多数の代替軌道が生成されます。そのため、初期ソリューションの計算効率を上げるために、機械学習手法を使用してモデルをトレーニングし、最適な軌道の選択を加速します。ここでは、機械学習の方法により、車両の初期ソリューションを見つけるのに約 10 ミリ秒しかかかりません。 1% の極端なケースでは、初期ソリューションは 14 ミリ秒で見つかります。 最悪の場合でも、初期ソリューションを見つけるのに 80 ミリ秒しかかかりません。自動運転に機械学習を導入することは、それが最初のソリューションであり、他のモジュールによってバックアップされるため、優れた選択肢です。エラーが発生しても安全上の問題は発生せず、意思決定と解決をスピードアップできます。

自我行動生成モジュール

機械学習が自動運転車の意思決定の初期ソリューションを加速

2) 競合解決モジュール：自車両アクション生成モジュールによって生成された初期アクションに基づいて、モジュールは交通シーン内のすべての交通参加者の可能な動作情報に基づいて軌道をサンプリングし、軌道にスコアを付け、最適な動作軌道を選択し、複数回の反復（3〜4回）の後、最適な決定を下します。軌道スコアは、安全性（衝突、自転車や歩行者から離れること）、交通ルール（一時停止標識、信号）、快適性（軌道の滑らかさ）、不確実性、および全体的な計画とナビゲーション情報を考慮します。また、不確実性の問題を解決するための強化学習の使用についても言及しています。

紛争解決モジュール

3) 制御モジュール:

制御モジュール

4. 意思決定計画の技術的詳細

まず、意思決定システム全体の最終目標を紹介します。

次に、上記の目的を実際のシナリオを通じて分析しました。

1) 運動学的不確実性の解決:ここでは 2 つのシナリオが紹介されています。1 つは、前方の歩行者が突然車のドアを開けるというものです (通常の予測では歩行者は道路から外れるべきですが、その予測に基づいて決定を下すのは安全ではありません)。ここでは運動学的不確実性が考慮され、自動運転車は歩行者を避けるために速度を落とします。これは強力すぎるとしか言いようがありません。

2つ目のシナリオは、歩行者が左折すると予測したものの、歩行者が自動運転車の前を歩いていると、自転車が突然直進して車の左側を通過してしまうというものです。歩行者や自転車は柔軟なので、これまで予測は困難でした。ここでは不確実性を考慮し、早期の対応で安全を確保しています。

2) 遮蔽の不確実性の解決：遮蔽により、車両の右側前方の車両を観測できません。交差点の右側から来る仮想車両を設定することで、遮蔽の不確実性を解決します。 （右上隅の緑の矢印の付いた障害物は仮想の目に見えない障害物です）。2つ目のシナリオは、障害となる歩行者に事前に配慮してゆっくり歩くことです。

3) 3D不確実性の解決：実際には、主に前方の道路に坂道があり、対向車が事前に見えないことを意味します。Cruise自動運転車は事前に減速します。これは、Cruiseが前方の坂道の知覚の不確実性を考慮しているためです。2次元平面ではこのようなシーンを処理できなくなり、次元を増やして3Dの不確実性を考慮する必要があります。

4) インタラクティブゲーム：インタラクティブゲームの決定は、車両の挙動が他の車両に与える影響と、他の車両が車両に与える影響を通じて行われます。私たちの自動運転システムは、他の交通参加者の経験を考慮せずに自分の快適性と安全性だけを考慮することはできないため、このようにして行われた決定は非常に危険です。私たちの決定は、全体的なバランスを考慮しながら効率性を向上させる必要があります。したがって、評価指標を設計する際には、車両自体の快適性、効率性、安全性に加えて、ソーシャルビークルもこれらの評価を平等に考慮する必要があります。この2つの条件が満たされて初めて、良い決定と言えます。ここに2つの例があります。1つは道を譲ること、もう1つは割り込むことです。

ここでは、インタラクティブ ゲーム、車線回避シナリオでの譲り合いと追い越しの意思決定、不確実な状況での自転車の追い越しのケースを紹介します。

対向車に道を譲る

対向車に道を譲る

対向車線への割り込み

超低速歩行者

1) 意思決定のための模倣学習:模倣学習法とオフライン トレーニング ポリシー ネットワークを使用して、意思決定のモデルを生成します。これは、前方の故障した車を追い越す例です。

2) モデルエラーを解決する:ここでは、下の図のシナリオについて説明します。1 人の歩行者が左に歩き、もう 1 人が右に歩きます。通常の予測モデルに従うと、分岐した空間ができます。エゴカーは、エゴカーが歩行者の位置に到達すると、2 人の歩行者が歩き去ることを決定します。ただし、左に歩いている人が実際に帽子を拾っていることは考慮されていません。帽子を拾った後、左に行くか右に歩く可能性があります。エゴカーが実際に前進すると、歩行者と衝突します。歩行者予測は、自由度が比較的大きく、車両のような動的制約がないため、自動運転において極めて大きな課題です。ここでCruiseは強化学習を使用してモデルをオフラインでトレーニングし、シミュレーションを実行してこの問題を解決します。下の図の右側の黄色の図からわかるように、強化学習のトレーニング後、上記の問題を解決するための保守的な予測を形成できます。

ここでは、強化学習法を使用して、2 台の自動運転車が衝突することなく快適に駐車できるようにトレーニングすることも言及されています。

3) 緊急対応:ここで述べたシナリオは本当にスリリングです。自転車が突然、自動運転車の右側から飛び出してきました。意思決定プロセスが正常であれば、おそらく反応が遅れて自転車に衝突したでしょう。そのため、Cruise は強化学習法を使用して同様のシナリオをオフラインでトレーニングし、予測をスキップして、決定を直接計画と制御に出力し、時間内にブレーキをかけます。これは、AEB（自動緊急ブレーキ）に少し似ています。自動運転システムの設計では、このようなシナリオを解決するために緊急システムを考慮する必要があります。そうしないと、配達員が都市部での自動運転の最大の課題であり続けるでしょう。

4) ダイナミクスモデル：車両と環境の高精度ダイナミクスモデルを設計することにより、自動運転の快適性を確保するための制御閉ループシステムを計画します。

V. 結論

クルーズは、このテクノロジー オープン デーで、技術の進歩とさまざまな困難なシナリオを通じた技術の探求を実証し、その力を誇示するという目的を完全に達成しましたが、基本的に技術的な詳細は明らかにされませんでした。巡航意思決定・計画技術には、学ぶ価値のある以下の点があり、自動運転の将来の発展の道でもあります。

全体的なアーキテクチャはルールに基づいて構築されており、機械学習、教師あり学習、強化学習、模倣学習が導入されています。ルールによって安全性が確保される一方で、学習によって意思決定の効率とパフォーマンスが向上します。

1) 複数の不確実性を考慮する：運動学的不確実性、遮蔽の不確実性、知覚の不確実性、およびモデルの不確実性。

2) インタラクティブゲーム：自動運転の過程では、交通効率を向上させるために他の交通参加者と対話する必要があります。これは自動運転研究における難しい点です。

3) 緊急対応：場合によっては、実行前に意思決定プロセス全体が完了すると、自動運転車両の応答が遅くなり、安全事故が発生する可能性があります。システムの緊急対応能力を向上させるために、AEBおよびAES機能を設定する必要があります。

4) 予測：自動運転技術の研究が新たな段階に入ると、単一の障害物の予測だけでは自動運転のニーズを満たすことができなくなり、障害物と車両自体の相互影響を考慮する必要があります。予測と意思決定はますます連動するようになります。奇妙なのは、クルーズが予測と認識を組み合わせていることです。

5) クルーズ基本フレームワーク: 自動運転車両やその他の交通参加者のサンプル軌道を生成し、それらを評価して最適な決定を下します。

6) 高忠実度ダイナミクスモデル

Cruise のテクノロジー オープン デーを視聴したところ、技術的な詳細は多くは明らかにされなかったものの、Cruise が検討した問題とシナリオはすでに非常に衝撃的でした。現在、ほとんどの自動運転企業は、まだこのような高度なレベルに到達していません。