登ったり、ジャンプしたり、狭い隙間を通り抜けたり：オープンソースの強化学習戦略により、ロボット犬がパルクールを行えるようになる

パルクールはエクストリームスポーツであり、複雑な環境におけるさまざまな障害物を素早く克服する必要があるロボット、特に四足歩行ロボット犬にとっては大きな挑戦となります。いくつかの研究では、参照動物データや複雑な報酬の使用が試みられましたが、これらの方法によって生成されたパルクール スキルは、多様ではあるものの盲目的であるか、視覚ベースではあるもののシーン固有のものです。しかし、自律型パルクールでは、ロボットがさまざまなシナリオを認識して迅速に対応するために、多様な一般的な視覚ベースのスキルを学習する必要があります。

最近、ロボット犬がパルクールをする動画が話題になった。動画では、ロボット犬がさまざまなシナリオでさまざまな障害物を素早く克服している。例えば、鉄板の下の隙間を通り抜け、木箱を登り、さらに別の木箱に飛び移るといった一連の動作がスムーズかつ流れるように行われます。

この一連の動作は、ロボット犬が這う、登る、ジャンプするという 3 つの基本的なスキルを習得したことを示しています。

傾けて狭い隙間を通り抜けるというスキルも持っています。

ロボット犬が障害物を乗り越えられなかった場合、さらに数回試みます。

このロボット犬は、低価格のロボット向けに開発された「パルクール」スキル学習フレームワークに基づいています。このフレームワークは、上海知的財産研究所、スタンフォード大学、上海科技大学、CMU、清華大学の研究者によって共同で提案され、研究論文はCoRL 2023（口頭発表）に選出されました。この研究プロジェクトはオープンソース化されました。

論文アドレス: https://arxiv.org/abs/2309.05665

プロジェクトアドレス: https://github.com/ZiwenZhuang/parkour

方法の紹介

この研究では、参照モーションデータなしで単純な報酬を使用して複数のパルクールスキルを学習するための、エンドツーエンドのビジョンベースのパルクールポリシーを学習するための新しいオープンソースシステムを紹介します。

具体的には、この研究では、ロボットが高い障害物を登る、大きな隙間を飛び越える、低い障害物の下を這う、狭い隙間を通り抜ける、走るといった能力を習得できるようにし、これらのスキルを単一の視覚ベースのパルクール戦略に抽出し、自己中心的深度カメラを備えた四足歩行ロボットに転送することを目的とした強化学習法を提案しました。

低コストのロボットにうまく導入するために、本研究で提案されたパルクール戦略は、モーションキャプチャ、LIDAR、複数の深度カメラ、大規模なコンピューティングを使用せずに、オンボードコンピューティング (Nvidia Jetson)、オンボード深度カメラ (Intel Realsense)、オンボード電源のみを使用して導入されます。

パルクール戦略を訓練するために、この研究では次の 3 つの段階の作業を実施しました。

フェーズ 1: ソフト ダイナミクス制約を使用した強化学習の事前トレーニング。この研究では、自動化されたカリキュラムを使用してロボットに障害物を乗り越える方法を教え、ロボットが徐々に障害を克服する方法を学習するように促しました。

フェーズ 2: 厳格な動的制約による強化学習の微調整。この研究では、この段階ですべての動的制約を適用し、現実的なダイナミクスを使用して、事前トレーニング段階で学習したロボットの動作を微調整します。

ステージ3: 蒸留。研究では、個々のパルクール スキルを学習した後、DAgger を使用してそれらを視覚ベースのパルクール ポリシー (RNN によってパラメーター化) に抽出し、オンボードの知覚と計算のみを使用して脚付きロボットに展開できるようにしました。

実験と結果

トレーニングでは、以下の表 1 に示すように、各スキルに対応する障害物のサイズを設定しました。

この研究では、多数のシミュレーションと実際の実験が行われ、その結果、パルクール戦略によって、低コストの四足ロボットが適切なパルクールスキルを自律的に選択して実行し、オンボードコンピューティング、オンボード視覚センシング、オンボード電源のみを使用して、オープンワールドの困難な環境を横断できることが示されました。これには、高さ0.40m（ロボットの高さの1.53倍）の障害物を登る、0.60m（ロボットの長さの1.5倍）の大きな隙間を飛び越える、0.2m（ロボットの高さの0.76倍）の低い障害物の下を這う、傾いて0.28m（ロボットの幅よりも小さい）の細い隙間を通り抜ける、そして前進し続けることが含まれます。

さらに、この研究では提案された方法をいくつかのベースライン方法と比較し、シミュレーション環境でアブレーション実験を実施しました。結果を以下の表 2 に示します。

興味のある読者は、原著論文を読んで研究内容の詳細を知ることができます。