「人と車のインタラクション」に新たなブレークスルー!パーデュー大学が Talk2Drive フレームワークをリリース: 学習可能/カスタマイズ可能な「コマンド認識」システム

「人と車のインタラクション」に新たなブレークスルー!パーデュー大学が Talk2Drive フレームワークをリリース: 学習可能/カスタマイズ可能な「コマンド認識」システム

パデュー大学のデジタルツインラボの最新の成果として、研究者らは、大規模言語モデル (LLM) を使用して自動運転車にインテリジェントなコマンド解析機能を提供するという革新的な技術を導入しました。

この技術の中核となるのは、人間の自然言語を理解することで自動運転車を制御し、これまでにない人間と車の相互作用を実現することを目指す Talk2Drive フレームワークです。

写真

論文リンク: https://arxiv.org/abs/2312.09397

プロジェクトウェブサイト: purduedigitaltwin.github.io/llm4ad

Talk2Drive フレームワークは、革新的な設計により、自動運転車と人間のドライバー間の効率的で直感的な対話を可能にします。フレームワークの操作プロセスは、コマンドの受信、処理、推論から実行可能コードの生成、コードの実行、フィードバックの収集まで、いくつかの重要なステップをカバーします。

まず、フレームワークは、高度な音声認識技術を使用して、人間の口頭コマンドを受信し、テキスト指示に変換します。このステップにより、人間の意図が正確に理解されることが保証されます。

次に、天気や交通状況などのクラウドからのリアルタイムの環境データと組み合わせることで、LLM はコマンドを処理する際にこの重要なコンテキスト情報を考慮に入れることができ、生成された運転戦略が安全で、現在の環境条件に適応したものになることを保証します。

写真

LLM は、コンテキスト学習と思考連鎖の手がかりを使用してコマンドについて推論し、単純な運転指示だけでなく、車両の低レベル コントローラーで調整する必要がある複雑な運転動作とパラメーターを網羅するコードを生成します。前方距離や速度などのパラメータの調整は、現在の道路状況とドライバーのニーズに対する深い理解に基づいています。

セキュリティの面では、Talk2Drive フレームワークは、生成されたコードの形式とパラメータを厳密にチェックすることで、自動運転動作の安全性を確保します。

、再生時間 05:24

さらに、メモリ モジュールの導入により、システムはドライバーの好みやフィードバックを記録して学習できるようになり、ドライバーによりパーソナライズされた運転体験を提供できるようになります。

Talk2Drive フレームワークのユニークな点は、高度にパーソナライズされたサービスです。

「できるだけ早く目的地に連れて行ってください。友達を長く待たせたくないんです」や「ちょっと車酔い気味なので、スピードを落としてください」といった乗客の口頭指示を分析することで、このフレームワークは乗客のニーズを正確に理解し、それに応えることができます。人間と車両のあらゆる相互作用は記録され、システムの最適化に使用され、乗客の好みを学習して、将来的にさらにカスタマイズされた運転体験を提供できるようになります。

写真

さらに、実験結果によると、異なる運転スタイルのドライバーに異なる LLM を使用することで、Talk2Drive フレームワークを使用する自動運転車は実際の路上テストで良好なパフォーマンスを発揮し、ドライバーのさまざまな程度の難解なコマンドを理解し、人間による操作の必要性を効果的に減らし、さまざまな運転スタイルやシナリオに適応することができました。

この成果は、自動運転分野における大規模言語モデルの大きな可能性を示すだけでなく、自動運転技術の将来の発展に向けた新たな道を開くものでもあります。

写真

さまざまなタイプのドライバーの場合、Talk2Drive フレームワークを使用すると、運転中の引き継ぎ率を大幅に削減できます。

テクノロジーが進歩し、最適化されていくにつれて、Talk2Drive フレームワークは、自動運転車に、より安全で快適かつパーソナライズされた運転体験を提供できるようになります。この画期的な研究は、自動運転と人間とコンピュータの相互作用の統合と進歩を示すだけでなく、人間中心でよりインテリジェントな未来の交通時代の到来を告げるものでもあります。

研究チーム

パデュー大学のデジタルツインラボは、大規模言語モデルと自動運転の交差点におけるイノベーションと探求に取り組んでいます。

この分野に関心のある世界中の研究者、エンジニア、業界関係者は、ぜひ当プロジェクトのウェブサイトにアクセスして、自動運転技術の開発を共同で推進し、将来の交通手段の可能性を探ってください。

写真

参考文献:

https://arxiv.org/abs/2312.09397

<<:  主任アナリストが、1時間あたり168ドルを消費する人気のGroqの秘密を明かす! H100の10倍のコストがかかるが、老黄は笑って何も言わなかった

>>:  GPT-4 と Gemini は同時に重大な欠陥にさらされ、論理的推論が間違ってしまいました。ディープマインド上海交通大学の卒業生チームは、法学修士課程の知能が著しく低下していることを発見した

ブログ    
ブログ    
ブログ    

推薦する

llama2.mojo は llama2.c より 20% 高速です。最も新しい言語 Mojo が開発者コミュニティを驚かせています

Python が最も人気のある言語であり、C が最も古典的な言語であるとすれば、Mojo にはその最...

...

ダブル12の「ショッピングシーズン」、これらの家庭用ロボットはあなたが「ひっくり返す」のを待っています

11 月 11 日が過ぎ、12 月 12 日の「ショッピング シーズン」が再び到来しました。 202...

...

マイクロソフトが第1四半期の業績報告を発表: AIサービスの需要が事業成長を牽引

マイクロソフトは10月25日、2024年第1四半期の財務報告を発表した。AI製品とクラウド事業の成長...

機械学習のバックボーン: モデル構築のためのインフラストラクチャ ツールは何ですか?

この記事は公開アカウント「Reading Core Technique」(ID: AI_Discov...

...

...

突風か潮か?AIが音声だけで止まってしまったら、一体いつまで苦労し続けることができるのだろうか?

いつからか、「人工知能」という言葉はテクノロジー界で徐々に広まり、今では現在のテクノロジー製品や業界...

GenAIの変革力は職場に知識をもたらします

GenAI は破壊的な力を持っていますが、どの程度破壊的なのでしょうか? 「大きなものになる」ことは...

...

目に見えないAI技術は、知的な世界の秘密を理解するのに役立ちます

今日のインターネット技術の急速な発展により、目に見えないAI技術は生活のあらゆる側面に浸透しています...

...

GPT-4 に追いつく!李開復のYi-34Bの新しい結果が発表されました:勝率94.08%はLLaMA2などの主流の大型モデルを超えています

GPT-4に次ぐ、李開復のYi-34B-Chatの最新成果が発表されました——アルパカ認定モデル部門...