CMU は、日常の家具の操作方法を正確に学習する新しい器用なロボットアルゴリズムを公開しました

日常生活で人々が接触する家具のほとんどは、引き出しレール付きの引き出し、垂直回転軸付きの扉、水平回転軸付きのオーブンなど、主要部分がさまざまなジョイントで接続されているため、「関節物体」です。

これらのジョイントの存在により、接続されたオブジェクトの部分はジョイントによって運動学的に制約され、したがって自由度は 1 つ (1 DoF) のみになります。これらのアイテムは私たちの生活のいたるところ、特に家庭に存在し、私たちの日常生活の重要な一部となっています。人間は、どんな種類の家具を見ても、それをどのように操作し、制御するかをすぐに理解することができます。あたかも、これらの物体のあらゆる関節がどのように動くかを知っているかのようです。

では、ロボットは人間のように家具の動きを予測できるのでしょうか?こうした予測能力は獲得するのが難しいため、ロボットがそれを学習できれば家庭用ロボットにとって大きな後押しとなるだろう。

最近、CMU ロボット工学研究所の David Held 教授の R-PAD ラボの 2 人の学生、Ben Eisner 氏と Harry Zhang 氏が、複雑な関節オブジェクトの操作において画期的な進歩を遂げ、日常の家具などの関節オブジェクトの部分的な動作軌跡を効果的に表現および予測する 3D ニューラル ネットワークに基づくアルゴリズムである FlowBot 3D を発表しました。アルゴリズムは 2 つの部分で構成されます。

最初の部分は認識部分で、3Dディープニューラルネットワークを使用して、操作された家具オブジェクトのポイントクラウドデータ（ポイントクラウドデータ）から3D瞬間動作軌跡（3D Articulated Flow）を予測します。

アルゴリズムの 2 番目の部分はポリシーであり、予測された 3D Articulated Flow を使用してロボットの次のアクションを選択します。どちらもシミュレーターで完全に学習され、再トレーニングや調整なしで現実世界に直接実装できます。 FlowBot 3D アルゴリズムの助けを借りて、ロボットは日常の家具などの関節のある物体を人間と同じくらい簡単に操作できます。

この論文は現在、世界最高峰のロボット工学カンファレンスであるRobotics Science and Systems (RSS) 2022の最優秀論文（上位3％）候補となっており、7月に米国ニューヨークで展示され、他の優秀な7本の論文とともに最優秀論文の栄誉を競う予定です。

• 論文アドレス: https://arxiv.org/pdf/2205.04382.pdf
• プロジェクトのホームページ: https://sites.google.com/view/articulated-flowbot-3d

FlowBot 3D はシミュレーターのみに依存し、シミュレートされたデータで教師あり学習を実行し、日常の家具などの関節オブジェクトのパーツの瞬間的な動作軌跡を学習します (3D Articulated Flow)。 3D Articulated Flow は、ロボットの次のステップ戦略の複雑さを大幅に簡素化し、一般化と効率を向上させる視覚的なポイント クラウド軌道表現方法です。ロボットは、この瞬間的な軌道をたどり、それを閉ループで再予測するだけで、関節オブジェクトを操作するタスクを完了できます。

これまで、学術界では、家具などの関節のある物体を操作するために、操作する物体の幾何学的特性（接続された部品の位置や方向など）から部品の移動方向を推測したり、（通常は人間による）専門家の戦略を模倣して特定の物体の操作を学習し、関節による物体操作の複雑な動きを完成させるといった方法が一般的でした。学術界におけるこれらの従来の方法は一般化特性が不十分で、データの利用効率が悪く、トレーニングには大量の人間のデモンストレーションデータの収集が必要です。これらとは異なり、FlowBot 3D は、人間からのデモンストレーション データを必要とせず、シミュレーターのみに基づいて学習する初めてのロボットであり、各パーツの瞬間的な動作軌跡を学習することでロボットが最適なオブジェクト操作パスを計算できるアルゴリズムであるため、汎用性が非常に高くなっています。この特性により、FlowBot 3D はシミュレーターのトレーニング中には見えなかったオブジェクトにも一般化でき、現実世界で日常的に使用される家具を直接操作できるようになります。

次のアニメーションは、FlowBot 3D の操作プロセスを示しています。左側は操作されたビデオ、右側はポイント クラウド 3D Articulated Flow の予測された瞬間的な動作軌跡です。 FlowBot 3D アルゴリズムにより、ロボットはまずオブジェクトのどの部分を操作できるかを識別し、次にその部分が移動する方向を予測できるようになります。

冷蔵庫のドアを開けます:

トイレの蓋を開ける:

引き出しを開くには:

この論文の査読者は次のように述べています。「全体として、この論文はロボット操作に多大な貢献をしている。」

では、FlowBot 3D はどのようにしてこのスキルを学習したのでしょうか?

人間がドアなどの新しい家具を見ると、そのドアがドア軸を中心に回転することがわかります。また、ドア軸の制約により、ドアは一方向にしか回転できないため、心の中で想像した方向にドアを開けることができることもわかっています。したがって、ロボットが本当に器用になり、家具などの関節のある物体の操作方法と動作軌道を効果的に予測できるようにするには、ロボットにこれらの部品の運動学的制約を理解させ、これらの物体の動作軌道を予測できるようにするのが効果的な方法です。

FlowBot 3D の具体的な方法は複雑ではなく、複雑な実際の人間のデータを必要とせず、シミュレーターのみに依存します。さらに、シミュレータのもう 1 つの利点は、シミュレータでは、これらの家庭用オブジェクトの 3D データ ファイル (URDF) に各パーツの運動学的制約と制約の特定のパラメーターが含まれているため、シミュレータで各パーツの動作軌道を正確に計算できることです。

FlowBot 3D の 2 つのモジュール。

シミュレータのトレーニング中、ロボットは操作対象物の 3 次元点群データをロボットのビジョン モジュールの入力データとして観察します。認識モジュールは、PointNet++ を使用して、外力の作用下での入力ポイント クラウド内の各ポイントの 3D 関節フロー (たとえば、引き出しを 1 cm 開いた後、ドアが外側に 5 度開く) を予測し、それを 3D 座標ベクトル差の形式で表現します。この動作軌跡の実際のデータは、順運動学を通じて正確に計算できます。現在の3次元ベクトル座標から次の3次元ベクトル座標を減算することで、操作対象部分の動作軌跡が得られます。したがって、トレーニング中は、教師あり学習のために予測された 3D Articulated フローの L2 損失を最小限に抑えることだけが必要です。

この図では、青い点は観測された点群データであり、赤い矢印はドアの動きの軌跡を予測する 3D Articulated Flow を表しています。

このように学習することで、FlowBot 3D は、運動学的制約下での各パーツの移動方向と、同じ力下でのパーツ上の各点の相対速度と相対方向 (速度) を学習できます。一般的な家庭のジョイントには、直動型と回転型の 2 種類があります。引き出しなどの引き出し部品の場合、同じ外力を受ける引き出し表面上の各点の移動方向と速度は同じです。ドアなどの回転部品は、同じ外力を受けた場合、ドア表面の各点の移動方向は同じですが、回転軸から離れるほど速度が速くなります。研究者らはロボット工学の物理法則（ねじ理論）を利用して、最長の 3D 関節フローが物体の加速を最大化できることを証明しました。ニュートンの第2法則によれば、この戦略は最適な解決策です。

理論的根拠に基づいて、実際の操作では、ロボットが行う必要があるのは、FlowBot 3D ビジョン モジュールを介して各ポイントの動作軌道を予測し、各ポイントの軌道で最も長い 3D 多関節フロー方向に対応するポイントを制御ポイントとして見つけ、この制御ポイントの動作軌道を閉ループで予測することです。選択した操作ポイントを正常に把持できない場合 (たとえば、表面がロボットの把持条件を満たしていない場合)、FlowBot 3D は把持条件を満たす 2 番目に長いポイントを選択します。

さらに、PointNet++ の特性により、FlowBot 3D は各ポイントの移動軌跡を予測するため、物体自体の幾何学的特性に左右されず、ロボットによる物体の遮蔽に対してより堅牢です。さらに、このアルゴリズムは閉ループであるため、ロボットは次のステップを予測するときに、現在のステップで発生する可能性のあるエラーを修正できます。

FlowBot 3D の現実世界におけるパフォーマンスFlowBot 3D は、現実世界における一般化の課題を克服できます。 FlowBot 3D の設計コンセプトは、操作対象オブジェクトの動きの軌跡、つまり 3D 関節フローを正確に予測できれば、次のステップではこの軌跡に沿ってタスクを完了するというものです。

また、FlowBot 3D は、トレーニング中に表示されなかったカテゴリを含む複数のカテゴリのオブジェクトを操作するために、単一のトレーニング済みモデルを使用することにも留意することが重要です。そして現実世界では、ロボットはこの純粋なシミュレータを使用してトレーニングされたモデルのみを使用して、さまざまな実際のオブジェクトを操作することができます。したがって、現実世界では、家庭用オブジェクトの運動学的制約はシミュレータとほぼ同じであるため、FlowBot 3D は現実世界に直接一般化できます。

FlowBot3D が実際の実験で使用する家庭用品 (ゴミ箱、冷蔵庫、トイレのふた、箱、金庫など)

シミュレーターでは、ロボットはホッチキス、ゴミ箱、引き出し、窓、冷蔵庫など、家庭用品のサブセットを使用してトレーニングされました。シミュレーターと実際のテストの両方において、テスト データは、トレーニング カテゴリとトレーニング中に見られなかったカテゴリの両方からの新規オブジェクトで構成されます。

シミュレーターでの FlowBot 3D 操作タスク。

対照的に、学術界で一般的に使用されている模倣学習ベースの方法では、新しい物体の操作方法を学習するために人間の指導が必要であり、これらのロボットを現実世界、特に家庭用ロボットのシナリオに実装することは非現実的です。さらに、3D ポイント クラウド データは、他の方法で使用される 2D RGB データよりも強力です。ポイント クラウドを使用すると、ロボットが各関節間の関係を理解できるため、部品の動作軌跡をより高度に理解して予測できるようになり、一般化が大幅に向上します。

実験結果によると、FlowBot 3D は、ほとんどのオブジェクト (トレーニング中に見えたかどうかに関係なく) を操作するときに、「完全に開く」までの距離を 10% 未満に短縮でき、成功率は 90% 以上に達する可能性があります。それに比べて、模倣学習 (DAgger) や強化学習 (SAC) に基づく他のアプローチは、はるかに不十分であり、一般化が欠けています。

全体として、FlowBot 3D は大きな可能性を秘めた作品です。微調整なしでも実世界に効率的に展開できます。この研究は、コンピューター ビジョンの進歩がロボット工学の分野を変革できることも示しています。特に、動作軌跡の視覚的表現である 3D 多関節フローは、複数のタスクに適用してロボットの戦略選択と意思決定プロセスを簡素化できます。この一般化可能な表現により、シミュレーターの学習方法は現実世界に直接展開できる可能性があり、将来の家庭用ロボットのトレーニングと学習のコストが大幅に削減されます。

FlowBot 3Dの次のステップとして、研究チームは現在、流れを利用して6自由度を持つ物体の軌道を予測する方法など、関節のある物体以外の物体にも流れの理解と予測の手法を適用しようとしているとのこと。同時に、著者らはフローを一般的な視覚表現として使用し、強化学習などの他のロボット学習タスクに適用して、学習効率、堅牢性、一般化性を高めようとしています。

准教授 David Held のホームページ: https://davheld.github.io/Ben Eisner のホームページ: https://beisner.me/Harry Zhang のホームページ: https://harryzhangog.github.io/