トップエキスパートが語る: 生成型AIとロボット工学の未来

ビッグデータダイジェスト制作

最近、カーネギーメロン大学、カリフォルニア大学バークレー校、Meta、NVIDIA、ボストンダイナミクス、トヨタリサーチインスティテュートを含む6つのトップ機関から7人のトップ専門家が集まり、「生成型人工知能（AI）とロボティクス」に関するトップレベルのディスカッションを開催しました。

議論されたトピックには、生成 AI、ヒューマノイドロボット、家庭用ロボットなどが含まれていました。議論では、既存のロボット技術と将来の技術の包括的かつ詳細な分析に焦点を当てます。討論者の意見は現実に近く、考えさせられるものでした。例えば：

「2023年は生成AIがロボット工学に革命を起こす年となる」
「生成AIは、シミュレーションから設計まで、ロボット工学のあらゆる分野に革命的な影響を及ぼします。」
「シンプルなグリッパーは、5本指のロボットハンドよりも信頼性が高く、経済的です。」
「農業部門は従来の製造業や倉庫業を超え、ロボット技術の幅広い応用プラットフォームを提供しています」...

ディスカッションに参加した専門家は、カーネギーメロン大学のマシュー・ジョンソン・ロバーソン氏、Metaのドゥルブ・バトラ氏、ボストンダイナミクスのアーロン・サンダース氏、カリフォルニア大学バークレー校のケン・ゴールドバーグ氏、NVIDIAのディープ・タラ氏、トヨタ自動車先進AI研究所のラス・テドレイク氏およびマックス・バジュラチャルヤ氏です。

生成AIとロボット工学の未来

マシュー・ジョンソン・ロバーソン、カーネギーメロン大学

マシュー (CMU) : 生成 AI は、新しいデータとソリューションを生成することで、ロボットの機能を大幅に強化します。これにより、ロボットはタスク処理能力をより広範に一般化できるようになるだけでなく、新しい環境への適応性を高め、自律的に学習して進化する能力が向上します。

Dhruv (Meta) : 生成 AI は、具現化された AI とロボット研究において 2 つの独自の役割を果たします。

データ/エクスペリエンスジェネレーター: 2D 画像、ビデオ、3D シーン、4D (3D + 時間) など、ロボットのトレーニングに必要なコーパスを生成します。現実世界のロボットの経験（データ）は非常に価値があるため、生成 AI は「学習シミュレーター」として見ることができます。ロボット工学の研究は、シミュレーションによるトレーニングとテストなしには大規模に実施できないと私は固く信じています。
自己教師あり学習アーキテクチャ: ロボットが将来観察する可能性のある感覚データを生成し、注釈を必要とせずに学習信号として実際の観察と比較します。詳細については、Yann の AMI に関する論文を参照してください。

AMI 論文: 自律型機械知能への道バージョン 0.9.2、2022-06-27

アドレス: https://openreview.net/pdf?id=BZ5a1r-kVsf

アーロン（ボストンダイナミクス） ：現在の変化のスピードでは、将来について正確な予測をすることは不可能です。この基礎モデルは、機械学習モデルの作成方法に大きな変化をもたらし、ロボットとの会話型インターフェースの作成、既存のコンピュータービジョン機能の品質の向上、視覚的な質問応答などの新しい機能の開発を可能にします。私たちは、これらのよりスケーラブルなアーキテクチャとトレーニング戦略が、最終的には言語と視覚を超えてロボットの計画と制御にまで拡張される可能性があると考えています。

トヨタ先進AI研究所のラス・テドレイク氏

ラス氏（トヨタ自動車先進AI研究所） ：生成AIはロボット工学に革命的な新しい機能をもたらす可能性があります。今では、ロボットと自然言語でコミュニケーションできるだけでなく、インターネット規模の言語や画像データに接続することで、ロボットが世界を理解し推論する能力が大幅に向上しました。しかし、これはまだ初期段階であり、ロボットを本当に実用的なものにするためには、画像と言語の知識をロボットに必要な身体的知能と効果的に組み合わせる方法など、さらなる研究が必要です。

ケン (カリフォルニア大学バークレー校) : 2023 年は、生成 AI がロボット工学に革命を起こす年です。 ChatGPT のような大規模言語モデルにより、ロボットと人間の間での自然言語によるコミュニケーションが可能になります。ロボット工学者たちは、大規模な視覚・言語・行動モデルを訓練することで、ロボットの知覚を高め、腕や脚の動きを制御できることも発見した。このトレーニングには大量のデータが必要なので、現在、世界中のラボが協力してデータを共有しています。一般化能力の問題はまだ完全に解決されていないものの、これらのモデルの影響は甚大です。

もう 1 つの興味深いトピックは「マルチモーダルモデル」です。これには 2 つの意味があります。

さまざまな入力モダリティを組み合わせたマルチモダリティ。たとえば、視覚と言語を組み合わせるなど。これは現在、触覚、奥行き知覚、ロボットの動作を含むように拡張されています。
マルチモーダル性により、同じ入力状態に対して異なる応答が可能になります。これはロボット工学では非常に一般的であり、たとえば同じ物体を複数の方法でつかむなどです。標準的なディープモデルでは、これらの把持動作が「平均化」されるため、非常に悪い把持結果につながる可能性があります。

Deepu (NVIDIA) : 生成 AI が生産性を向上できる様子を見てきました。明らかに、生成 AI はシミュレーションから設計まで、ロボット工学のあらゆる分野に革命的な影響を及ぼすでしょう。

シミュレーション: モデルは、シーンの構築、環境の作成、アセットの生成によってシミュレーション開発を加速し、3D テクニカルアーティストと開発者の間のギャップを埋めます。生成 AI によって生成された資産は、データ合成、ロボットのスキルトレーニング、ソフトウェアのテストなどで広く使用されます。
マルチモーダル AI: トランスフォーマーベースのモデルにより、ロボットが周囲の世界を理解する能力が向上し、より多くの環境で作業し、より複雑なタスクを完了できるようになります。
ロボットの（再）プログラミング：ロボットは、タスクや機能を簡単な言語で定義する能力が向上し、より多用途で多目的になります。
設計: エンドエフェクタの設計など、革新的な機械設計により効率が向上します。

ヒューマノイドロボットに関する見解

ケン・ゴールドバーグ、カリフォルニア大学バークレー校

ケン（カリフォルニア大学バークレー校） ：私は、ヒューマノイド型ロボットや脚付きロボットについては、大げさすぎるし非効率すぎると考え、常に慎重でした。しかし、Boston Dynamics、Agility、Unitree の最新のヒューマノイドロボットや四足歩行ロボットを見て、考えが変わりました。テスラは、低コストのモーターとギアシステムを大規模に開発する優れたエンジニアリングスキルを持っています。車輪付きロボットと比較すると、脚付きロボットは階段や障害物、カーペットの上を移動できるため、家庭や工場などの環境で有利です。 2 本の腕を持つロボットは多くのタスクに不可欠ですが、5 本指のロボットハンドよりもシンプルなグリッパーの方が信頼性が高く、経済的です。

Deepu (NVIDIA) : 自律型ロボットの設計は十分に困難ですが、ヒューマノイドロボットの作成はさらに困難です。地上の障害物のみを理解する必要があるほとんどの自律移動ロボット (AMR) とは異なり、移動操作プラットフォームとしてのヒューマノイドロボットは、マルチモーダル AI を使用して周囲の環境を深く理解する必要があります。これには、広範なセンサー処理、高度な制御技術、およびスキルの実行が含まれます。

生成 AI の基本モデルの構築におけるブレークスルーにより、ヒューマノイドロボットに必要なスキルがより広範囲に適用可能になっています。同時に、AI ベースの制御および認識システムをトレーニングできるシミュレーション技術も進歩しています。

マシュー (CMU) : 人間の形状を設計することは、極めて複雑なエンジニアリングとデザインの課題です。これは、人間の動きと相互作用を模倣する高度に洗練されたアクチュエータと制御システムの標準を確立します。同時に、バランスと調整の面で独特の課題も生じます。これらの困難にもかかわらず、ヒューマノイドロボットは、さまざまな社会的および実用的な状況において、汎用性と直感的な使いやすさという大きな可能性を秘めています。

マックス（トヨタ自動車先進AI研究所） ：ロボットは人間の生活環境で広く使われており、多くの場合、人間のことを念頭に置いて設計されています。したがって、これらのロボットは、人間中心の環境に適応し、その中で効果的に動作する能力を持っている必要があります。しかし、人間の環境に適応するために、ロボットが2本の腕、5本の指、2本の脚、頭などの人間のような特徴を持つ必要はありません。さらに重要なのは、ロボットはコンパクトかつ安全であり、人間との協力と補完を実現するために、人間と同様の作業または補完的な作業を実行できるように設計される必要があるということです。

Dhruv (Meta) : 私は楽観的です。基本的に、人間の環境は人間の形態と行動パターンを中心に設計されています。したがって、汎用ロボットがこれらの環境で効果的に動作することが期待される場合、その形態は少なくともある程度は人間を模倣する必要があります。これは単に人間の外見を模倣するだけにとどまりません。ロボットには、人間の能力を超えたセンサーや、人間の環境に適応してパフォーマンスと機能を最適化できる付属物が装備される可能性があります。

アーロン (ボストンダイナミクス) : ヒューマノイドの形状は、すべてのタイプのタスクに最適というわけではありません。たとえば Stretch は、当初は Atlas ロボットが箱を移動するビデオにインスピレーションを受け、箱移動に特化したロボットの開発に興味を持つようになりました。しかし、人間が箱を運ぶことができるからといって、人間の形態がそのような作業を実行するのに最適な形態であるとは限りません。そこで私たちは、人間よりもはるかに効率的かつ効果的に箱を持ち上げることに特化したロボット、Stretch を設計しました。それにもかかわらず、私たちは多機能汎用ロボット技術の追求に長期的な関心を抱いています。結局のところ、ヒューマノイドの設計は私たちの生活環境と非常に相性が良いからです。

次世代ロボット技術の着陸シナリオ

Max（トヨタ自動車先進AI研究所） ：農業分野には大きな可能性と需要がありますが、同時に、多くの農業作業は屋外で実行され、構造化されていない環境の特性のために大きな課題をもたらします。

マシュー (CMU) : 農業分野は、従来の製造業や倉庫業の枠を超え、労働力不足の解決、業務効率の向上、持続可能な開発の促進など、さまざまな課題を伴うロボット技術の幅広い応用プラットフォームを提供しています。同時に、ロボット技術は輸送やターミナル配送の分野において、効率を大幅に向上させ、コストを削減し、全体的なサービス品質を向上させることも期待されています。技術の継続的な進歩と規制環境の段階的な最適化により、これらの分野ではさまざまな課題やニーズを満たすためにロボット技術の導入が加速すると予想されます。

アーロン (ボストンダイナミクス) : 顧客のニーズと最先端のテクノロジーをどのように組み合わせるかを考える上で、製造と物流は依然として重要な焦点となります。私たちの視野が広がり続けるにつれ、私たちは徐々により複雑で不確実な環境に突入していくだろうと私は予測しています。自動化に非常に適した分野である製造業や物流業でロボットが広く採用されたのに続き、建設業や医療業などの業界がロボット応用の次の波のホットスポットになる可能性があります。これらの業界は、労働力の供給が不足しているときに、大規模な労働力と高度なスキルを持つ労働力に対する強い需要があるため、特に魅力的です。高度に構造化された産業環境と完全に構造化されていない消費者市場の間にあるこれらの分野にロボット工学を適用することは、より広範な導入に向けた自然な次のステップとなる可能性があります。

労働力不足と人口構成の変化が続く中、ロボット工学の機会は拡大し続けています。これは、農業からラストマイル配送、小売まで、さまざまな業界のロボット企業に影響を及ぼします。

重要な課題は、システムのシミュレーションとテストに不可欠な、さまざまな種類の自律ロボットに適した 3D 仮想世界を構築することです。同時に、生成型人工知能は、開発者が現実的なシミュレーション環境を迅速に構築するためのサポートを提供します。 AI をロボットに統合すると、さまざまなアクティブで非伝統的な「ロボットフレンドリー」な環境での自動化が向上します。

ケン（カリフォルニア大学バークレー校） ：将来、製造現場や倉庫には、現在よりもはるかに多くのロボットが導入されるようになるでしょう。サンフランシスコのような複雑な運転環境における自動運転タクシーの最近の進歩は実に印象的です。しかし、私はその費用対効果については依然として慎重です。ロボット支援手術の分野では、研究者らは「拡張器用さ」技術を研究しており、ロボットが縫合などの低レベルの補助作業を実行する際の外科手術のスキルを拡張できるようになっています。

真の汎用ロボットまでどれくらい遠いのでしょうか?

Dhruv (Meta) : 汎用人工知能を実現するには、さらに 30 年かかると推定されています。現時点では、いかなる意味のある予測も不可能な段階にあります。実際、「汎用人工知能がやってくる」と主張する人たちに対しては懐疑的になるべきであり、そのような過度に楽観的な見方には警戒すべきである。

Nvidiaのディープ・タラ

Deepu (NVIDIA) : ロボットが知能化に向けて進化し、特定の環境でより多様なタスクを実行できるようになるのを私たちは目撃し続けています。私たちの目標は、さまざまな分野でロボットの適用性を高めながら、タスク固有の問題を継続的に解決することです。しかし、真に完全に自律的な汎用ロボットを実現するには、まだ長い道のりが残っています。

マシュー (CMU) : さまざまな環境で幅広いタスクを実行できる汎用ロボットは、まだ遠い夢のように思えます。これには、人工知能、機械学習、材料科学、制御システムなどの多くの分野でのブレークスルーが必要なだけでなく、段階的な進化のプロセスでもあります。ロボット工学は、特定のタスクに特化したものから、より幅広い機能と汎用性を備えたものへと徐々に進化していきます。

ラス（トヨタ自動車先進AI研究所） ：当社のロボットが現在の特化型からより汎用性の高いものへと移行していくことには楽観的です。これにどれくらいの時間がかかるかを正確に予測することは困難ですが、柔軟な自動化技術、多様な多品種生産、農業ロボット、フロントエンドサービスロボット、その他私たちがまだ予測していない新興分野はすべて、自律性と拡張性の向上から恩恵を受けるでしょう。

ケン（カリフォルニア大学バークレー校） ：真の汎用人工知能（AGI）や汎用ロボットがすぐに登場するとは思いません。私の知る限り、ロボットが人間の仕事を奪ったり、短期的に人間を支配したりするのではないかと真剣に心配しているロボット学者は今のところいない。

アーロン（ボストンダイナミクス） ：汎用ロボットの実現に向けて、私たちは多くの課題に直面しています。特殊ロボットは産業オートメーションの分野では当たり前のものとなっていますが、真に多機能なロボットの開発はまだ始まったばかりです。真に汎用的なロボットとなるには、非構造化環境を自律的にナビゲートし、前例のない問題を解決できなければなりません。さらに、こうした進歩は、ユーザーの信頼に基づいて構築され、ユーザーのニーズを満たすとともに、競争力のある価格で相応の価値を提供する必要があります。しかし、この分野の重要性が高まり、一般の関心も大幅に高まっていることは喜ばしいことです。私たちの子供たちは幼い頃からロボット工学に触れており、新しい世代の卒業生が技術革新を推進しています。産業顧客のために価値を創造するために私たちが現在直面している課題は、明日の消費者市場の機会と私たち全員が思い描く普遍的なロボットの未来への道を切り開くものです。

家庭用ロボット（掃除機以外）は今後 10 年間でブームになるでしょうか?

マシュー (CMU) : 多様な環境で幅広いタスクを実行できる真の汎用ロボットは、おそらくまだ遠い未来に登場します。この目標を達成するには、人工知能、機械学習、材料科学、制御システムなど、多くの分野で重要な進歩を遂げる必要があります。ロボットの進化は、専門的で特定のタスクを実行するものから、複数の機能を持ち、さらには汎用性を実現するものまで、段階的に進んでいます。

Deepu (NVIDIA) : 将来的には、パーソナルアシスタント、自動芝刈り機、高齢者を支援するロボットなど、より実用的なロボットが家庭に導入されるようになるでしょう。しかし、家庭用ロボットの人気は、主にコストと価値のバランス、つまり消費者がこれらのロボットにいくら支払う意思があるか、そして同等のサービスを提供できるかどうかによって制限されます。たとえば、ロボット掃除機はコストパフォーマンスに優れているため人気があります。テクノロジーが進歩し、ロボットがよりスマートになるにつれ、ユーザーフレンドリーなインターフェースを持つことが、ロボットが広く普及するための重要な要素となります。複雑なプログラミングを必要とするロボットと比較して、自律的に環境をマッピングし、音声コマンドで操作できるロボットは、家庭ユーザーに受け入れられやすいでしょう。

そして、家庭用ロボットの次の波では、自律型芝生管理ロボットなど、屋外での活動に重点を置いたロボットが最初に登場する可能性があります。同時に、パーソナル/ヘルスケアアシスタントなどの他のタイプの家庭用ロボットも可能性を示していますが、実際に何千もの家庭に導入するには、動的で構造化されていない家庭環境の複雑な課題を克服する必要があります。

マックス（トヨタ自動車先進AI研究所） ：家庭環境は、各家庭がそれぞれ異なり、統一された構造化された環境が欠如しており、消費者が価格に非常に敏感であるため、ロボットにとって大きな課題となります。将来の発展を正確に予測することは困難ですが、ロボット技術は驚くべき速さで進歩しています。

アーロン (ボストンダイナミクス) : 今後 10 年間で、ルンバのような掃除ロボットなど、特定のタスクに特化した家庭用ロボットが家庭に導入されるようになるでしょう。また、明確な価値を持つアプリケーションシナリオがさらに増えるでしょう。しかし、幅広い消費者市場のニーズに真に応えられる多機能家庭用ロボットが普及するには、まだ時間がかかるだろう。想像してみてください。どのような状況であれば、ロボットに車と同じ価格を支払ってもよいと思うでしょうか?これは、ロボットが現在の交通手段と同等の信頼性と価値を提供できるようになったときに実現する可能性があります。

ケン（カリフォルニア大学バークレー校） : 今後 10 年間で、衣服、おもちゃ、ゴミを床から拾い上げて所定の場所に置くなど、日常の片付けを手伝ってくれる手頃な価格の家庭用ロボットがさらに登場すると予想しています。現代の掃除機と同様、これらのロボットも時々ミスをすることはあるが、特に親や高齢者にとって、家庭にもたらす利便性は、その限界をはるかに上回るものとなるだろう。

Dhruv (Meta) : ロボット工学は急速に進歩していますが、その中核技術は、家庭環境で広く使用できるほど成熟していません。

ロボット工学のどの分野が十分に注目されていないのでしょうか?

アーロン・サンダース、ボストン・ダイナミクス：現在、人工知能と、それがロボット工学を含む多くの産業を変革する可能性について、大きな注目が集まっています。 AI はこれらの分野で重要な役割を果たし、長い間静的であったものを解き放つことを期待していますが、優れたロボット製品は単純なバイナリコード以上のもので構成されています。 AI が物理世界で機能を実現し、環境と相互作用するためには、コンピューティング技術、知覚センサー、電力管理、およびロボットシステムを構成するその他の主要技術の最新の開発動向を把握しておく必要があります。自動車業界は最近、電動化と先進運転支援システムへとシフトしており、広大なサプライチェーンが急速に変化し、これまでにない機会が生まれています。グラフィックカード、コンピューター、そしてますます高度化する人工知能を搭載した家電製品の進歩により、業界に新たな息吹が吹き込まれました。これらの重大かつあまり知られていない技術的変化は、ロボット工学における最も刺激的なトレンドの一部であり、多くの革新的な中小企業が業界大手の支援を受けて新しく魅力的な製品を発売することを可能にします。

ケン（カリフォルニア大学バークレー校） ：ロボットの動作計画は、ロボット工学の分野で最も古く、最も深い研究テーマの 1 つであり、主にモータージョイントを制御してロボットツールの正確な動作を実現し、障害物を回避する方法に焦点が当てられています。この問題は解決したと考える人もいるかもしれないが、現実はそうではない。ロボット工学における「特異点」問題は、すべてのロボットアームに共通する中核的な課題であり、人々が想像するロボット工学の限界とは大きく異なります。ロボット特異点とは、ロボットが特定の空間位置で予期せず停止し、手動でリセットする必要がある状況です。これは、意図した直線運動を 6 つのロボット関節モーターのそれぞれの動作に変換する複雑な数学によるものです。特定の空間位置では、この変換が不安定になり、ロボットをリセットする必要が生じる場合があります。この問題の複雑さと永続性は、ロボットの動作計画の分野にはまだ研究と改善の余地が非常に大きいことを示しています。

ロボットの反復動作の場合、面倒な手動の微調整によって特異点を回避し、ロボットの一貫した動作を確保できます。一度プログラムすると、これらのアクションを一貫して正確に繰り返すことができます。しかし、パレタイジング、グリッピング、注文処理、パッケージの順序付けなど、多様なロボット動作要件を持つ新興分野では、特異点問題がより一般的になります。予期せぬ瞬間にロボットの動作を妨害するこれらの特異点は、非常に頻繁に発生するため、よく知られた問題となっています。この課題に対処するために、私は Jacobi Robotics を共同設立しました。当社では、効率的なアルゴリズムを使用してロボットが特異点を回避できるようにし、ロボットの信頼性と生産効率を大幅に向上させています。この画期的な進歩は、ロボット技術を採用するすべての業界にとって質的な飛躍を意味し、前例のない安定性と効率性をもたらします。

ラス氏（トヨタ自動車先進AI研究所） ：現在、生成型AIやハードウェア分野での大きな進歩と巨額の投資が頻繁に話題になっています。しかし、これらの成果の背後には、実はアナログ技術分野における静かな革命がありました。ほんの数年前まで、ほとんどのロボット工学者は、シミュレーションでコンピュータービジョンシステムをトレーニングまたはテストすることは非現実的であると考えていましたが、現在では、それが標準的な操作手順になっています。器用な手などの制御システムを完全にシミュレーションで開発し、それを現実世界で効果的に動作させることにまだ疑問を抱いている研究者もいますが、この方向での開発の可能性を示す傾向や実践が増えています。 Nvidia、Google DeepMind、TRI などの企業による多額の投資がこの変化を推進しており、シミュレーション技術の未来はさらに明るくなり、その結果、ロボット工学の応用がより効率的かつ正確になると信じる理由があります。

Dhruv (Meta) : ナビゲーションロボットを実際の家庭環境でテストできるようになり、実際に効果的に機能しています。これらの家庭用ナビゲーションロボットには、自動運転車のように何百万マイルもの道路の正確な地図を作成する余裕がないことに注意してください。私たちはロボットを新しい環境に配置し、特定の物体を探すように指示しただけです。

Deepu (NVIDIA) : これはプラットフォームアプローチの必要性を浮き彫りにしています。多くのロボット工学のスタートアップ企業は、特定のタスクや環境向けのソリューションの開発に重点を置いているため、規模拡大に苦労しています。商業的な拡張性と実現可能性を実現するには、幅広く適用でき、新しいスキルを素早く学習し、新しい環境に適応できる汎用ロボットを開発することが重要です。ロボット工学者には、ロボット AI をトレーニングおよびテストするためのツールとライブラリを統合し、モデルのトレーニング、合成データの生成、およびロボットソフトウェアスタック全体のテストを行うためのシミュレーション機能を提供するプラットフォームが必要です。同時に、最新の生成 AI モデルをロボット上でリアルタイムに実行することもできるはずです。将来成功するスタートアップ企業やロボット企業は、新しいロボット技術の開発とタスクの自動化に重点を置き、包括的なエンドツーエンドの開発プラットフォームを活用するでしょう。

マシュー (CMU) : ロボット工学は大きな進歩を遂げ、特定の市場セグメントや業界ではうまく応用されてきましたが、これらの成果は、より未来的または幅広く適用可能なロボットのコンセプトによって影が薄くなってしまうことがよくあります。農業、医療、特定の産業用途などの分野では、成功事例の継続的な積み重ねも同様に重要です。これらはロボット工学の実用化における現実的かつ具体的な進歩を表しており、より広い注目と認識に値する。これらの進歩は、技術の実用的価値を実証するだけでなく、ロボット工学の将来の発展と広範な応用のための強固な基盤を築くものでもあります。

オリジナルリンク: https://techcrunch.com/2023/12/22/top-robotics-names-discuss-humanoids-generative-ai-and-more/

<<: 大規模なオープンソースデータセットが衝撃的なスキャンダルを暴露、人気AI企業が関与していた

>>: AIが広告部門に侵入、Google社員は職を失うことを懸念