「スラムダンク」は、ヒューマノイドロボットをシミュレートし、人間のバスケットボールの動きを1対1でコピーします。特定のタスクに対する報酬を必要とせず、一度見るだけで習得できます。

シュート、ドリブル、指をひねる...この物理シミュレーションされたヒューマノイド ロボットはバスケットボールをプレイできます。

写真

トリックはたくさんあります:

写真

彼が自分の技を披露した後、他の人からそれを学び、動きの細部まで正確にコピーしたことが判明しました。

写真

それが PhysHOI と呼ばれる新しい研究の目的です。この研究では、物理的にシミュレートされたヒューマノイド ロボットが、人間と物体の相互作用 (HOI) のデモンストレーションを観察することで、これらの動きやスキルを学習し、模倣できるようにします。

重要なのは、PhysHOI では特定のタスクごとに特定の報酬メカニズムを必要とせず、ロボットが自律的に学習して適応できることです。

さらに、ロボットには合計 51 x 3 の独立した制御ポイントがあるため、非常にリアルな模倣が可能になります。

写真

これがどのように実現されるかを見てみましょう。

シミュレーションのヒューマノイドロボットが「スラムダンク」に変身

この研究は、北京大学、IDEA研究所、清華大学、カーネギーメロン大学の研究者によって共同で提案されました。

写真

研究者らによると、これまでの類似研究の大半は、単独の模倣動作、タスク特有の報酬の必要性、器用な全身動作を伴わないなどの限界があるという。

写真

彼らが提案した PhysHOI は、モーション キャプチャ技術を適用して HOI データを抽出し、模倣学習を使用して人間の動きとオブジェクトの制御を学習することで、これらの問題を解決します。

その中で、HOI データの重要な構成要素の 1 つが運動学データです。運動学データは、人間の動き、物体の動き、相対的な動きをカバーし、位置、速度、角度などの情報を記録しま す。

さらに、動的データは移動プロセス中のリアルタイムの変更と更新を反映するため、これも非常に重要です。

写真

HOI データの動的情報の不足を補うために、研究者は接触グラフ (CG) を導入しました。

写真

CG のノードはロボットの手足とオブジェクトで構成され、各エッジはバイナリ接触ラベルであり、「接触」または「接触なし」の 2 つの状態のみを表します。

さらに、複数の手足パーツを 1 つのノードに配置して集約された CG を形成することもできます。

具体的には、PhysHOI メソッドは次のとおりです。

まず、モーション キャプチャを通じて、人間の動き、オブジェクトの動き、インタラクション マップ、接触マップなどの参照 HOI 状態シーケンスが取得されます。

写真

次に、最初のフレームの情報を使用して物理シミュレーション環境が初期化され、現在のシミュレーション状態と次の参照状態を含むシステム状態が構築されます。

次に、ポリシーネットワークによって生成されたアクションが入力され、ヒューマノイドロボットが制御されます。物理シミュレーターは、アクションに基づいて人体とシーン内のオブジェクトの状態を更新し、モーションマッチングや接触マップなど、さまざまな側面で報酬を計算します。

報酬、状態、アクションサンプルを使用してポリシーネットワークを最適化し、更新されたポリシーネットワークを使用して新しいラウンドのシミュレーションを開始します。このサイクルは、ネットワークが収束するまで継続され、最終的に参照 HOI スキルを再現できる制御戦略が得られます。

研究者らがタスクに依存しない HOI 模倣報酬を設計したことは特筆に値します。これにより、さまざまなタスクに合わせて報酬関数をカスタマイズする必要がなくなります。これには、動きの一致を反映する身体報酬と物体報酬、接触の正確さを反映する接触マップ報酬が含まれており、物体に接触する際に間違った身体部位を使用するなどの局所的な最適解を回避します。

コンタクトマップの報酬が鍵

研究者らは、2つのHOIデータセットでPhysHOIをテストしました。

さまざまな全身を使ったバスケットボールのスキルを収録した BallPlay データセットが紹介されています。

写真

彼らは、GRAB データセットの S8 サブセットから 5 つの把持ケースを選択し、BallPlay データセットから 8 つのバスケットボール スキルを選択しました。

研究者らは、DeepMimic や AMP などの従来の方法を基準として、公平な比較のために HOI 模倣タスクに適応するようにそれらを修正しました。

写真

結果は、運動学的報酬のみを使用する従来の方法では相互作用を正確に再現できず、ボールが落とされたり、つかむのに失敗したりすることを示しました。

接触グラフのガイダンスに従って、PhysHOI は HOI 模倣を正常に実行しました。

PhysHOI は、両方のデータセットで最高の成功率 (それぞれ 95.4% と 82.4%) を達成し、同時に最も低いモーション エラーも達成し、他の方法を大幅に上回りました。

写真

アブレーション研究では、接触グラフ報酬は、動作情報のみを使用する方法が局所最適状態に陥るのを効果的に防ぎ、ロボットが正しい接触を達成するように誘導できることが示されています。

写真

接触マップの報酬がなければ、ヒューマノイド ロボットはボールを制御できなかったり、誤って体の他の部分を使ってボールを制御したりする可能性があります。

写真

論文リンク: https://arxiv.org/abs/2312.04393