ロボットはアイテムを渡すときに反応が遅いですか? NVIDIA が AI モデルを開発: データセットには 15 万枚以上の画像が含まれ、成功率は 100%

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

手に持っている小さな立方体を他の人に優雅に渡したいとき、立方体の側面を手で持って他の人に渡しますか?

あるいは手を伸ばして立方体の底を持ち上げますか?

では、相手がロボットの場合、小さな立方体の持ち方はロボットの迅速かつ正確な認識に影響するのでしょうか?

答えは「はい」です！

そこで、Nvidia の研究者たちは、人間とロボットが物を渡すための新しい方法を設計しました。ロボットは人間と向き合うと、人間の持つ動きを判断、分類し、物を渡す方法を設計します。このアプローチはベースラインよりもスムーズであり、倉庫作業員の生産性を向上できる協働ロボットの設計に新たなアイデアを提供できる可能性があります。

現地時間2020年3月12日に、関連論文「Human Grasp Classification for Reactive Human-to-Robot Handovers」がプレプリントサイトarXivに掲載されました。

物体と手が互いに干渉する問題を解決する

Leifeng.com は、現在、人間とロボットの間で物体をシームレスに引き渡す分野に焦点を当てた研究がますます増えていることを知りました。これまでの研究の大部分は、人間がロボットのグリッパーに物体を置き、その逆の操作ができることを前提として、ロボットから人間へ物体を渡すという課題に取り組んできました。

しかし、人間とロボットのシームレスな引き継ぎにおける課題の 1 つは、ロボットに信頼性が高く継続的な認識が欠けていることです。物を渡す過程では、物体と人の手が互いに干渉することが避けられず、また、物を渡す際に人が他の作業を同時に行っている場合も多いため、ロボットによる人の手と物体の状態や位置の推定はそれほど正確ではありません。

この目的のために研究者が提案した戦略の 1 つは、コンピュータービジョンコミュニティから既存の手法を借用して、人間の手の動きと物体の 6D 状態を推定することです。ただし、このアプローチは人間の手や物体にのみ焦点を当てています。

これを基に、NVIDIA の研究者は一連の改良を加えました。

手で物を持つ動作を分類する

まず、研究者らはMicrosoft Azure Kinect深度センサーのボディトラッキングSDK（ソフトウェア開発キット）を使用して、人間の手を中心とした検出点群を取得し、データセットをコンパイルしてAIモデルをトレーニングしました。

さらに、研究者らは物体をつかむサンプル画像を示し、人間の手による同様の動きを20～60秒間記録した。この期間中、人々は身体や手を動かし続けることで、多様な視点を確保することができます。研究チームのデータセットには15万枚以上の画像が含まれているとみられる。

これを基に研究者らは、保持動作をカテゴリーに分類しました。たとえば、小さな立方体を手に持つ場合、その動作は「手のひらを開く」、「底部を保持する」、「上部を保持する」、「側面を保持する」、「持ち上げる」などと表現できます。

研究者らは次のように述べた。

現在、私たちのシステムは、人が物を持つ方法の 77% をカバーしており、将来的にはさらに広い範囲に拡張する予定です。

その後、研究者らは物体の受け渡し作業をモデル化し、「堅牢な論理動的システム」に基づいて物体を渡すための軌道を設計し、特定のタイプのグリッパーと人間の手の接触の必要性を排除しました。

Leifeng.com は、このシステムが人間に近づき、アイテムを渡す方法を応答および判断するために、さまざまな人間の保持動作に適応する必要があることを学びました。システムは、人間が物体をどのように持つかを正確に推定するまで、「ホーム」位置で待機します。

実際、研究者たちは一連の実験で人間の手のあらゆる可能な位置と動きを体系的に検討し、分類モデルとタスクモデルを決定しました。同時に、研究者らは、このプロセスに関係する可能性のある追加の操作についても検討しました (下の図は、優先度の高い順に並べられた、考えられる追加の操作を示しています)。

配達の成功率は100％です

Leiphone.com（公式アカウント：Leiphone.com）によると、この実験では、研究者らはドイツ・ミュンヘンのロボット会社Franka Amikaの2種類の「パンダロボット」を使用した。研究者らは、それらを同じテーブルの異なる位置に設置し、人間から4つの異なる色の物体を取るように指示した。

[[319319]]

論文の著者2人は、2つのベースライン手法（人間の手の状態を判断しない手法と、手と物体の状態のみに依存する手法）と比較して、人間とロボットのシームレスなハンドオーバーの成功率が向上し、計画と実行時間が短縮されたと述べています。ハンドオーバーの成功率は100％（2番目に高いのは80％）、判断の成功率は64.3％（2番目に高いのは29.6％）、計画と実行の合計時間は17.34秒（2番目に短いのは36.34秒）でした。

しかし、研究者たちはこのシステムの欠点と将来の研究の方向性についても明確に言及した。