Google X、手作業でラベル付けすることなく一目で対象部品を見つけられるグリッパーアームをオープンソース化

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

ロボットアームは一般的ですが、これほど賢いロボットアームを見たことがありますか?

作業台上の適切なナットを一目で見つけ、しっかりと保持します。

次に、それをターゲット ネジに送信すると、アクション全体が 1 回で完了します。

2 つの部品が非常に似ている場合でも、正確に区別して正しい部品を見つけることができます。

ご存知のように、私たち自身で実験をしたり、見たことのない機械部品を組み立てたりするとき、ロボットはもちろん、似たような部品に直面したときに間違った部品を選んでしまうことがあります。

（レゴのパーツを組み立てる苦労を想像してみてください）

しかし、このロボットアームは、手動によるラベル付けなしでシミュレータから現実世界に即座に転送でき、ロボットがこれまで見たことのない新しい物体にも一般化でき、精度は87.8%です。

これは、Google X が最近オープンソース化したカテゴリレベルのロボットアーム、CaTGraspです。

論文 1: 中国の博士課程学生である Bowen Wen 氏は、現在ラトガース大学のコンピュータサイエンス学部で学んでおり、西安交通大学で学士号を取得しています。

現在、この研究はロボット工学分野のトップカンファレンスであるICRA 2022で発表されています。

ロボットアームに掴みの経験をまとめさせる

この研究の目的は、主に一般的な産業シナリオにおけるさまざまな機械部品を分類する問題を解決することです。

実際の現場では、ロボットアームが未知の部品に遭遇することは避けられません。データセットだけに頼って推論を導き出せないということは、現実的ではありません。

データセットと手動のラベル付けに頼らないために、研究者たちはシミュレーターでトレーニングするというアイデアを思いつきました。

シミュレーターでの継続的なトレーニングと試行錯誤を通じて、ロボットアームは一連の経験を独自に要約し、それを熱マップ表現にまとめることができます。

ここで、研究チームは新たな表現方法である「非均一正規化オブジェクト座標空間（ NUNOCS ）」を提案しました。

統一された NUNOCS 表現により、同じタイプのオブジェクトに関する情報を統合することができます。

オブジェクト モデルが与えられている場合、このメソッドにより、すべてのポイントを各次元に沿って正規化できます。

正規化により、異なる次元の特徴の値を比較できるようになり、異なるオブジェクトを分類できるようになります。

最後に、NUNOCS はさまざまなオブジェクトをカテゴリに分類し、代表的なテンプレートを提供できます。

このプロセスでは、他のすべてのモデルからの面取り距離が最も小さいオブジェクトをテンプレートとして設定します。

(面取り距離: 画像の距離変換です。特徴点と非特徴点を含むバイナリ画像の場合、この距離変換は各点から最も近い特徴点までの距離を解くことです)

これらのテンプレートは、後でヒートマップ表現を統合し、把握姿勢分布を保存するためのコードブックになります。

ポイント クラウド入力が与えられると、NUNOCS Net は NUNOCS 空間内のポイント クラウドの位置を予測できます。このネットワークは、ポイントネットに基づいて設計されています。

（ポイントクラウド：リバースエンジニアリングにおいて計測機器で得られた製品表面の点データの集合）

決定されたポイント クラウドと予測されたポイント クラウドに基づいて、最終的にカテゴリ レベルの 6D 変換と 3D 次元変換を解決し、より正確な高密度ポイント クラウド ペア マッチングを取得できます。

例えば、下の図では、同じ色は相互一致を示しており、NUNOCS 方式は従来の NOCS 方式よりも優れています。

掴み方の秘訣をマスターした後は、掴むたびに「力」を安定して放出できることも確認する必要があります。

そこで研究者たちは、それぞれの掴み姿勢に対して 50 回のランダムな小さな変化を加え、成功回数を記録し、連続的な確率分布を得ました。

次に、前のステップで分類されたさまざまなモデルテンプレートに従って、把持姿勢も分類され、統合されます。

テスト中に、これまでに遭遇したことのない状況に遭遇すると、以前に要約された把持姿勢の分布を新しいオブジェクト空間に転送して、より包括的な把持姿勢のサンプリングを取得できます。

シミュレータで得られた把持姿勢と確率分布は、それぞれニューラルネットワークをトレーニングするための入力とラベルとして使用できます。

最後に、十分な把持姿勢のシミュレーションを行った後、自己教師ありトレーニングと学習を通じて、ロボットグリッパーと物体との接触経験が蓄積され、次のようなヒートマップが得られます。

さらに、プロセス内のすべてのモジュールは合成データセットでトレーニングされ、その後、実際のシナリオに直接移行できます。

実験結果によると、シミュレーションにおけるこの方法の平均成功率は93.1%、把持回数は約600回です。

実際の成功率は87.8%です。

チームについて

この研究の著者の一人は、現在GoogleXでインターンシップをしているラトガース大学のコンピューターサイエンスの博士課程の学生、ボーエン・ウェン氏です。

彼はコスタス・ベクリス教授の下で学び、ロボットの知覚とコンピュータービジョンを研究対象としています。

彼は以前、Facebook Reality、Amazon Lab 126、SenseTime でインターンをしていました。

彼は西安交通大学で学士号を取得し、オハイオ州立大学で修士号を取得しました。

現在、このプロジェクトのシミュレーター環境、データセット生成、トレーニング、実験はすべてオープンソース化されています。

GitHub アドレス:

https://github.com/wenbowen123/catgrasp

論文の宛先:

https://arxiv.org/abs/2109.09163