「スラムダンク」は、ヒューマノイドロボットをシミュレートし、人間のバスケットボールの動きを1対1でコピーします。特定のタスクに対する報酬を必要とせず、一度見るだけで習得できます。

シュート、ドリブル、指をひねる...この物理シミュレーションされたヒューマノイドロボットはバスケットボールをプレイできます。

写真

トリックはたくさんあります:

写真

彼が自分の技を披露した後、他の人からそれを学び、動きの細部まで正確にコピーしたことが判明しました。

写真

それが PhysHOI と呼ばれる新しい研究の目的です。この研究では、物理的にシミュレートされたヒューマノイドロボットが、人間と物体の相互作用 (HOI) のデモンストレーションを観察することで、これらの動きやスキルを学習し、模倣できるようにします。

重要なのは、PhysHOI では特定のタスクごとに特定の報酬メカニズムを必要とせず、ロボットが自律的に学習して適応できることです。

さらに、ロボットには合計 51 x 3 の独立した制御ポイントがあるため、非常にリアルな模倣が可能になります。

写真

これがどのように実現されるかを見てみましょう。

シミュレーションのヒューマノイドロボットが「スラムダンク」に変身

この研究は、北京大学、IDEA研究所、清華大学、カーネギーメロン大学の研究者によって共同で提案されました。

写真

研究者らによると、これまでの類似研究の大半は、単独の模倣動作、タスク特有の報酬の必要性、器用な全身動作を伴わないなどの限界があるという。

写真

彼らが提案した PhysHOI は、モーションキャプチャ技術を適用して HOI データを抽出し、模倣学習を使用して人間の動きとオブジェクトの制御を学習することで、これらの問題を解決します。

その中で、HOI データの重要な構成要素の 1 つが運動学データです。運動学データは、人間の動き、物体の動き、相対的な動きをカバーし、位置、速度、角度などの情報を記録します。

さらに、動的データは移動プロセス中のリアルタイムの変更と更新を反映するため、これも非常に重要です。

写真

HOI データの動的情報の不足を補うために、研究者は接触グラフ (CG) を導入しました。

写真

CG のノードはロボットの手足とオブジェクトで構成され、各エッジはバイナリ接触ラベルであり、「接触」または「接触なし」の 2 つの状態のみを表します。

さらに、複数の手足パーツを 1 つのノードに配置して集約された CG を形成することもできます。

具体的には、PhysHOI メソッドは次のとおりです。

まず、モーションキャプチャを通じて、人間の動き、オブジェクトの動き、インタラクションマップ、接触マップなどの参照 HOI 状態シーケンスが取得されます。

写真

次に、最初のフレームの情報を使用して物理シミュレーション環境が初期化され、現在のシミュレーション状態と次の参照状態を含むシステム状態が構築されます。

次に、ポリシーネットワークによって生成されたアクションが入力され、ヒューマノイドロボットが制御されます。物理シミュレーターは、アクションに基づいて人体とシーン内のオブジェクトの状態を更新し、モーションマッチングや接触マップなど、さまざまな側面で報酬を計算します。

報酬、状態、アクションサンプルを使用してポリシーネットワークを最適化し、更新されたポリシーネットワークを使用して新しいラウンドのシミュレーションを開始します。このサイクルは、ネットワークが収束するまで継続され、最終的に参照 HOI スキルを再現できる制御戦略が得られます。

研究者らがタスクに依存しない HOI 模倣報酬を設計したことは特筆に値します。これにより、さまざまなタスクに合わせて報酬関数をカスタマイズする必要がなくなります。これには、動きの一致を反映する身体報酬と物体報酬、接触の正確さを反映する接触マップ報酬が含まれており、物体に接触する際に間違った身体部位を使用するなどの局所的な最適解を回避します。