世界初公開！ 70以上のオープンソースデータセットをまとめ、自動運転のためのオープンソースデータシステムについて考察する

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。

近年、データセットの規模が拡大し続けるにつれて、さまざまなデータ駆動型ディープラーニングモデルタスクのパフォーマンスが徐々に向上しています。国内外の大手自動運転企業は、豊富なデータによって後半の自動運転の問題を解決できると期待し、独自のデータベースとデータクローズドループシステムを絶えず構築しています。では、データセットはどのように構築すればよいのでしょうか。ロングテールなどのさまざまな問題を解決するために独自のデータクローズドループシステムを構築するにはどうすればよいでしょうか?

既存の自動運転データセットは、大まかに 2 つの世代に分けられます。第 1 世代のデータセットは、センサー モダリティの複雑さが比較的低く、データセット サイズが比較的小さく、主に知覚レベルのタスクに限定されています。第 1 世代のデータセットは、2012 年にリリースされた KITTI によって代表されます。第 1 世代のデータセットと比較すると、第 2 世代のデータセットは、センシング モダリティの複雑さが高く、データセットの規模と多様性が豊かで、タスク セットが認識から予測と制御に拡張されているという特徴があります。第 2 世代のデータセットは、2019 年頃に提案された nuScenes と Waymo によって代表されます。

「自動運転オープンソースデータシステム：現状と将来」は、上海人工知能研究所が主導し、上海交通大学、復旦大学、百度、BYD、NIOなどの組織が参加し、新世代の自動運転データセットとエコシステムの構築を推進し、重要な分野での独自の独創性と技術の自立の発展を促進することを目指しています。この研究では、学界や産業界の同僚と協力し、初めて国内外の70以上のオープンソースの自動運転データセットを体系的に整理し、将来の第3世代の自動運転データセットが持つべき特性とデータ規模、および解決すべき科学技術上の問題について詳細な分析と議論を行いました。

論文アドレス: https://opendrivelab.com/Dataset_Survey_Chinese.pdf

プロジェクトアドレス: https://github.com/OpenDriveLab/DriveAGI

まとめ

人工知能の重要な応用分野の一つである自動運転は、既存の交通・輸送パターンを再構築し、交通効率と安全性を大幅に向上させ、将来の都市・社会の発展に大きな影響を与えると期待されています。現在、わが国のインテリジェントコネクテッドカー産業は、商業化に向けた試験および立ち上げ段階に入っています。路上テストやデモンストレーションの応用シナリオは成熟し、自動運転機能技術は加速し、車両ネットワークの応用シナリオはますます豊富になり、あらゆるレベルの関連法や政策が加速的に導入され、市場は急速な発展期に突入しています。

自動運転技術では、道路環境を識別して理解するためのアルゴリズム モデルをトレーニングし、正しい判断と行動を行って、正確で安定した安全な運転体験を実現するために、大量のデータが必要です。データ構築は、自動運転技術の開発にとって非常に重要です。テスラを例にとると、テスラが蓄積した膨大なデータと運転シナリオは、同社のアルゴリズムの優位性を維持する重要な理由です。一方、自然言語処理や汎用ビジョンの分野での大規模モデルの出現により、大量かつ高品質なデータの重要性がさらに確認され、自動運転用データセットの構築にインスピレーションを与えました。

図1は記事の主な内容と構成を示しています。

第 2 章では、自動運転タスクの観点から、データセットを認識、マッピング、予測、計画のカテゴリに分類します。各データセットの現状と発展を紹介し、コミュニティ生態学と関連する国際競争に関するデータセットの影響について説明します。第 3 章では、データ アルゴリズム クローズド ループ システムに焦点を当て、複数の商用ソリューションを比較し、データ アルゴリズム クローズド ループにおけるデータのラベル付けと品質管理、シミュレーション技術、大規模モデルに基づくデータ生成、自動ラベル付け技術について説明します。第4章では、新世代のデータセットの特徴について考察する。

自動運転データセット

KITTI のリリース以降、後続のデータセットのセンサー モードの複雑さは徐々に増加し、データセットのサイズと多様性が拡大し、タスクも認識から予測と計画にまで拡張されました。この記事では、2012 年から現在までの約 100 のデータセットを数えています。全体として、図 2 に示すように、影響力の高いデータセットは 14 個あり、その中でも KITTI、nuScenes、Waymo は影響力の点で第 1 層に位置しています。

センサーモダリティの複雑さは徐々に増大しています。サラウンドビューカメラ、ライダー、高精度マップ、超音波レーダーセンサー、GPS、IMU、HDマップなどです。データセットの規模と多様性は拡大しており、主流の自動運転データセットの収集時間は、当初の10時間から100時間に徐々に増加しています。自動ラベリング技術とラベリングツールの進化により、近年では1,000時間を超えるデータセットが登場しています。データの豊富さに加えて、運転シナリオの多様性も自動運転システムのパフォーマンスにおけるもう 1 つの重要な要素です。特定のシナリオでアルゴリズムのパフォーマンスを向上させるために、Reasonable Crowd データセットは、複数の季節や極端な気象条件における人々と車両の混合交通の複雑なシーンを収集します。さまざまな地域でのアルゴリズムの一般化能力を高めるために、Mapillary などのデータセットが複数の大陸の複数の都市で収集されました。多様化されたタスク: 2019 年の nuScenes、Waymo、Argoverse V2 などのデータセットには、認識タスクだけでなく、予測タスクや計画タスクも含まれており、同じデータセットで複数のタスク研究を実施できます。

図2は、データセットの公開時間を横軸に、データセットの影響度の推定値を縦軸にとり、主要な公開データセットの状況を定性的に示しています。

国内外の自動運転の課題やランキングを見ると、近年の競争テーマはもはや知覚タスクに限定されず、知覚と意思決定の統合、エンドツーエンド、大規模モデルの方向に徐々に発展しており、モデル評価の設定も単一のスコア比較から多様で革新的な評価へと進化していることがわかります。今後の自動運転コンテストでは、自動運転システムのチェーン全体を網羅するトピックが研究者の間でより人気が高まるでしょう。

自動運転のコンテストやランキングは、コミュニティの発展を促進する上で重要な役割を果たします。テストサーバーおよびランキングリストは、研究者がモデルの結果を公平に比較​​するためのプラットフォームを提供し、同時に研究者がモデルの詳細とコードをランキングリストでタイムリーに公開できるようにします。よりアクティブなチャートのいくつかでは、トップの位置がほぼ毎月繰り返されているのが確認できます。大会の開催やランキングの維持には、データのダウンロードチャネルの提供、ベンチマークモデルの準備、テストサーバーのメンテナンスなど、主催者と他の関係者の共同の取り組みが必要です。

データアルゴリズム閉ループシステム

自動運転の各モジュールでは、パフォーマンスを確保するために、大量かつ高品質のデータが必要条件となります。自動運転エンジニアリングにおける根強い問題は、ロングテール問題です。その理由は、モデルをトレーニングするためのデータが不十分なため、モデルによって学習されていない状況が少数存在するためです。モデルの推論段階では、モデルは時々現れるこれらのエッジ シナリオに対して正しい結果を返すことができません。さらに、ルールベースのモジュールの場合、既存の方法では、モジュールの出力結果が手動で設計されたロジックに準拠するように、さまざまなルールを手動で設計します。この方法は時間と労力がかかり、あらゆる状況をカバーすることが難しいため、特定の状況では自動運転システムが機能しなくなる可能性があります。これらのモジュールをデータ駆動型ニューラル ネットワークに置き換えることが解決策の 1 つです。

既存の自動運転システムのさまざまな問題を解決するには、膨大なデータの導入が必要です。同時に、ニューラル ネットワークの学習プロセス中にデータ ノイズが導入されると、必然的に最適化プロセスに悪影響が及び、モデルのパフォーマンスが低下します。データ品質には、センサーデータの解像度と同時性だけでなく、ラベルの精度も含まれます。これら 2 つの側面のいずれかにおける品質問題は、自動運転システムのパフォーマンスと安全性に直接影響します。そのため、自動運転システムの構築には大量かつ高品質なデータが不可欠となっています。

次世代自動運転データセット

データのサイズを大きくするとモデルのパフォーマンスが大幅に向上しますが、データの量が一定レベルに達すると、モデルのパフォーマンスの向上は鈍化する傾向があります。さらに、自動運転車は現実世界では必然的にトレーニングデータ以外のシナリオに遭遇することになります。したがって、自動運転技術を大規模に適用するには、危険な障害や機能障害を回避するために、まれなシナリオでもモデルが正しく動作できることが必然的に必要になります。このことから、自動運転の分野ではデータ量をやみくもに増やす必要はないことがわかります。ほとんどのトラフィック シナリオでは、それらをカバーするために大量のデータは必要ありません。さらに注意が必要なのは、ロングテールのシナリオです。交通事故など一部の交通シナリオは非常にまれであるため、データ不足は自動運転システムのパフォーマンスに大きな影響を与えます。一般的に、データ量を確保するという前提の下では、シーンの豊富さがアルゴリズムのパフォーマンスにとってより重要です。

第 1 世代および第 2 世代の自動運転データセットは、自動運転システムの開発ニーズを満たすことができなくなり、新しい世代のデータセットの構築を早急に議題に上げる必要があります。ビッグモデルの急速な発展を背景に、ビッグデータは新世代のデータセットに欠かせない要素となっています。同時に、モジュール設計の自動運転システムは、実装プロセス中に高い反復コストや限られたパフォーマンス制限などの問題に直面しました。エンドツーエンドの自動運転アーキテクチャは、業界で徐々に支持を集めています。さらに、マルチモーダルセンサー、高品質の注釈、モデルの論理的推論機能などの側面にも注意を払う必要があります。新世代のデータセットでは、以下の点に重点を置く必要があります。

1. 多様なニーズに対応し、質と量の両方を確保する。
2. エンドツーエンドかつ意思決定指向。
3. 知性と論理的推論力を目指します。

結論は

このレビューでは、自動運転に関する公開データセットの現状と課題について詳しく説明します。データアルゴリズム閉ループシステムと大規模モデルの現在の開発動向に基づいて、次世代の自動運転データセットのビジョンと計画を提案します。自動運転の開発に用いられるデータセットを体系的にまとめ、チャレンジやランキングを通じてコミュニティの発展を促進することの重要性を示しています。本論文では、自動運転データアルゴリズムの閉ループシステムを一般的な観点から分析し、各重要なリンクの役割を要約し、最後にアプリケーションケースを通じてデータアルゴリズムの閉ループシステムの使用方法を示します。

オリジナルリンク: https://mp.weixin.qq.com/s/PipisRWHV7xqkVnBPjw_Jg