中国チームが最優秀論文賞と最優秀システム論文賞を受賞し、CoRLの受賞論文が発表されました。

CoRL は 2017 年に初めて開催されて以来、ロボット工学と機械学習の交差点における世界トップクラスの学術会議の 1 つになりました。 CoRL は、ロボット学習研究のための単一トラックの会議であり、理論とアプリケーションの両方を含むロボット工学、機械学習、制御の複数のトピックをカバーしています。

2023 CoRLカンファレンスは11月6日から9日まで米国アトランタで開催されました。公式データによると、今年の CoRL には 25 か国から 199 件の論文が選ばれ、人気のあるトピックには操作、強化学習などが含まれています。 CoRLの規模はAAAIやCVPRなどの大規模なAI学術会議に比べると比較的小さいですが、今年は大規模モデル、具現化知能、ヒューマノイドロボットなどの概念が人気を集めており、CoRL会議での関連研究も注目に値します。

現在、CoRL 2023では最優秀論文賞、最優秀学生論文賞、最優秀システム論文賞などの賞が正式に発表されています。次に、これらの受賞論文を紹介します。

最優秀論文

• 論文: 抽出された特徴フィールドにより、少数の言語ガイドによる操作が可能に
• 著者: ウィリアム・シェン、ゲ・ヤン、アラン・ユー、ジェンセン・ウォン、レスリー・パック・ケールブリング、フィリップ・イソラ
• 機関: MIT CSAIL、IAIFI
• 論文アドレス: https://openreview.net/forum?id=Rb0nGIt_kh5

論文の紹介: 現在、自己教師ありおよび言語教師ありの画像モデルには、一般化にとって非常に重要な豊富な世界知識がすでに含まれているが、画像の特徴は 2 次元である。ロボット工学のタスクでは、現実世界の 3 次元オブジェクトの幾何学的形状をある程度理解する必要があることがわかっています。

この研究では、Distilled Feature Field (DFF) を使用して、正確な 3D ジオメトリと 2D ベース モデルの豊富なセマンティクスを組み合わせ、ロボットが 2D ベース モデルの豊富な視覚的および言語的事前情報を活用して、言語ガイドによる操作を完了できるようにします。

具体的には、本研究では、強力な空間的および意味的事前条件を利用して見えない物体に一般化する、6-DOF の把持と配置のための少数ショット学習法を提案します。視覚言語モデル CLIP から抽出された特徴を使用して、オープンエンドの自然言語指示を介して新しいオブジェクトを操作する方法を提案し、この方法が未知の表現や新しいオブジェクトに一般化できる能力を実証します。

この論文の共同筆頭著者は、CSAIL「Embodied Intelligence」チームのメンバーである William Shen 氏と Yang Ge 氏です。Yang Ge 氏は、2023 CSAIL Embodied Intelligence Workshop の共同主催者です。

この研究については、Synced で詳しく紹介されています。「大型モデルで動くロボットはどれほど強力か? MIT CSAIL & IAIFI は自然言語を使用してロボットに物体を掴ませる」をご覧ください。

最優秀学生論文

• 論文: 助けを求めるロボット: 大規模言語モデル プランナーの不確実性調整
• 著者: Allen Z. Ren、Anushri Dixit、Alexandra Bodrova、Sumeet Singh、Stephen Tu、Noah Brown、Peng Xu、Leila Takayama、Fei Xia、Jake Varley、Zhenjia Xu、Dorsa Sadigh、Andy Zeng、Anirudha Majumdar
• 機関: プリンストン大学、Google DeepMind
• 論文アドレス: https://openreview.net/forum?id=4ZK8ODNyFXx

論文の紹介: 段階的な計画から常識的な推論まで、大規模言語モデル (LLM) はロボット工学において幅広い有望な機能を発揮しますが、LLM には幻覚の問題があります。

これに基づいて、本研究では、LLM ベースのプランナーの不確実性を測定し調整するための新しいフレームワーク KnowNo を提案しました。これにより、LLM は不明な情報を認識し、必要に応じて支援を求めることができます。

KnowNo は、共形予測の理論に基づいて構築されており、複数ステップの計画タスクにおける人間の介入を最小限に抑えながら、タスク完了の統計的保証を提供します。

この研究では、さまざまなシミュレーションと実際のロボット実験で、さまざまなモードの不確実なタスク（空間的不確実性、数値的不確実性などを含む）を使用して KnowNo をテストしました。実験結果によると、KnowNo は効率性と自律性の向上に優れ、ベースラインを上回り、安全で信頼できることが示されています。 KnowNo は、モデルの微調整なしで LLM で直接使用できるため、不確実性をモデル化する効果的な軽量ソリューションを提供し、ベースモデルの増え続ける機能を補完します。

最優秀システム論文

• 論文: RoboCook: 多様なツールによる長期的な弾塑性物体操作
• 著者: Haochen Shi、Huazhe Xu、Samuel Clarke、Yunzhu Li、Jiajun Wu
• 機関: スタンフォード大学、UIUC
• 論文アドレス: https://openreview.net/forum?id=69y5fzvaAT

論文の紹介: 人間はさまざまな道具を作ったり使用したりするのが得意ですが、ロボットにとって、道具を効果的に使用し、対応する物体に対して操作を完了する方法を理解することは依然として大きな課題です。この研究では、さまざまなツールを通じて弾塑性物体を認識、モデル化、操作できる「RoboCook」と呼ばれるインテリジェントロボットシステムを構築しました。

RoboCook は、ポイント クラウド シーン表現を使用し、グラフ ニューラル ネットワーク (GNN) を活用してツールとオブジェクトの相互作用をモデル化し、ツールの分類と自己教師ありポリシー学習を組み合わせてアクション プランを作成します。

この研究では、各ツールについて、わずか 20 分間の実世界のインタラクション データで、RoboCook はロボット アームを学習して操作し、餃子やアルファベット クッキーの作成など、複雑で長期的な弾性塑性物体操作タスクを完了できることが示されています。

実験では、RoboCook のパフォーマンスは既存の SOTA 方式よりもはるかに優れており、厳しい外部干渉に対して堅牢で、さまざまな材料に対する適応性が高いことが示されています。

特筆すべきは、この論文の共同筆頭著者がスタンフォード大学博士課程の学生であるHaochen Shi氏と、スタンフォード大学元博士研究員で現在は清華大学学際情報科学研究所の助教授であるHuazhe Xu氏であることだ。論文の著者の1人は、Yao Classの卒業生でスタンフォード大学助教授のJiajun Wu氏である。

受賞論文の全リスト