大規模モデルを路上に展開するための重要なステップ: 世界初の言語 + 自動運転オープンソースデータセットが登場

DriveLM は、データセットとモデルで構成される言語ベースのドライブ プロジェクトです。 DriveLM では、自動運転 (AD) に大規模言語モデルの推論機能を導入し、意思決定を行い、説明可能な計画を確実に実行します。

DriveLM データセットでは、人間が書いた推論ロジックが、認識、予測、計画 (P3) を容易にするための接続として使用されます。私たちのモデルでは、より良い計画結果を生み出すために、マインドマップ機能を備えた AD 視覚言語モデルを提案します。現在、データセットのデモが公開されており、完全なデータセットとモデルは将来的に公開される予定です。

プロジェクトリンク: https://github.com/OpenDriveLab/DriveLM

AD における思考グラフとは何ですか?

データセットの最も興味深い点は、P3 の質問応答 (QA) がグラフ形式の構造で接続されており、各ノードとして QA ペア、エッジとしてオブジェクト関係が使用されていることです。

私たちは、純粋に言語的な思考ツリーやマインドマップよりも、マルチモーダル性を好みます。これを AD ドメインで実行する理由は、生のセンサー入力から最終的な制御アクションまでの各段階で AD タスクが定義されるためです。

DriveLM データセットには何が含まれていますか?

私たちは、主流の nuScenes データセットに基づいてデータセットを構築します。 DriveLM の中核要素は、フレームベースの P3 QA です。知覚の問題では、モデルがシーン内のオブジェクトを認識する必要があります。予測問題では、シーン内の重要なオブジェクトの将来の状態を予測するモデルが必要です。計画問題は、モデルに合理的に計画されたアクションを与え、危険なアクションを回避するように強制します。

キャリブレーションのプロセスはどうなっていますか?

1. キーフレームの選択。クリップ内のすべてのフレームに基づいて、注釈者は注釈を付ける必要があるキーフレームを選択します。標準では、これらのフレームには、自車両の運動状態の変化（車線変更、急停止、停止後の発進など）が含まれる必要があります。
2. キーオブジェクトの選択。キーフレームが与えられた場合、注釈者は周囲の 6 つの画像から主要なオブジェクトを選択する必要があります。標準では、これらの物体は車両（信号、道路を横断する歩行者、他の車両）に影響を与えることができる必要があります。
3. Q&Aノート。これらの主要なオブジェクトが与えられると、認識、予測、計画に関する単一または複数のオブジェクトの質問が自動的に生成されます。詳細については、デモ データをご覧ください。