2024年の世界モデルによって自動運転ラベリング業界は混乱するでしょうか？

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。

1. データアノテーションで直面する問題（特にBEVタスクに基づく）

BEV トランスフォーマー タスクの増加に伴い、データへの依存度がますます高まり、BEV タスクのアノテーションがますます重要になってきました。現時点では、2D-3D ジョイント障害物ラベリングであれ、再構築されたポイント クラウド クリップに基づく車線ラインや占有タスク ラベリングであれ、まだコストが高すぎます (2D ラベリング タスクよりもはるかにコストがかかります)。もちろん、業界では、大規模なモデルに基づく半自動または自動のラベリングに関する研究も数多く行われています。もう 1 つの側面は、自動運転のデータ収集サイクルが長すぎることと、データのコンプライアンスとパフォーマンスに関連する一連の問題です。たとえば、平底トラックがカメラを横切るシーンや、都市の車線が濃くなったり濃くなったりするシーンをキャプチャしたい場合は、そのようなシーンを具体的に構築するためのデータ コレクターが必要になります。

2.24 は世界モデルの特異点となるのでしょうか?

世界モデルの概念は広すぎる、あるいはセンサーシミュレーションとも言える。シミュレーションがアノテーションに革命をもたらしたことを初めて目にしたのは、テスラAIデーでした。

図1: テスラの自動注釈効果 図2: 4D再構成効果

それを見たとき、私はショックを受けました、またショックを受けました！テスラのBEVと同様に、破壊的です。ますます多くの研究者がこの方向で研究を続けるにつれて、多くの優れた研究が生まれてきました。 UniSim の自動運転シミュレーション システムには、リプレイ、動的オブジェクト動作制御、自由視点レンダリングなどの機能があります (これは、モデルをトレーニングするすべての学生が望むものであるはずです)。

LIDARをシミュレーションすることも可能です。

詳細については、https://zhuanlan.zhihu.com/p/636695025 を参照してください。この方向での同様の研究は他にもあります。

NeuRAD: 自動運転のためのニューラルレンダリング

DrivingGaussian: 周囲の動的な自動運転シーンの複合ガウススプラッティング 上記の方法は主に Nerf に関連しており、パイプライン全体が比較的重いです。普及研究に基づいた別の方向性もあります。いくつか良い研究が行われました。

BEVControl: BEV スケッチレイアウトによる、複数の視点からの一貫性のあるストリートビュー要素の正確な制御

BEVControl: BEV スケッチレイアウトによる、複数の視点からの一貫性のあるストリートビュー要素の正確な制御

< MagDriver MAGIC DRIVE: 多様な 3D ジオメトリ制御によるストリートビュー生成 >

技術の発展が速く、センサーシミュレーションの敷居が下がりつつあります。24年後には自動運転のラベリング業界に破壊的な製品が登場するかもしれません。