Google X、手作業でラベル付けすることなく一目で対象部品を見つけられるグリッパーアームをオープンソース化

Google X、手作業でラベル付けすることなく一目で対象部品を見つけられるグリッパーアームをオープンソース化

この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載しています。転載の際は出典元にご連絡ください。

ロボットアームは一般的ですが、これほど賢いロボットアームを見たことがありますか?

作業台上の適切なナットを一目で見つけ、しっかりと保持します。

次に、それをターゲット ネジに送信すると、アクション全体が 1 回で完了します。

2 つの部品が非常に似ている場合でも、正確に区別して正しい部品を見つけることができます。

ご存知のように、私たち自身で実験をしたり、見たことのない機械部品を組み立てたりするとき、ロボットはもちろん、似たような部品に直面したときに間違った部品を選んでしまうことがあります。

(レゴのパーツを組み立てる苦労を想像してみてください)

しかし、このロボットアームは、手動によるラベル付けなしでシミュレータから現実世界に即座に転送でき、ロボットがこれまで見たことのない新しい物体にも一般化でき、精度は87.8%です。

これは、Google X が最近オープンソース化したカテゴリレベルのロボットアーム、CaTGraspです。

論文 1: 中国の博士課程学生である Bowen Wen 氏は、現在ラトガース大学のコンピュータサイエンス学部で学んでおり、西安交通大学で学士号を取得しています。

現在、この研究はロボット工学分野のトップカンファレンスであるICRA 2022で発表されています。

ロボットアームに掴みの経験をまとめさせる

この研究の目的は、主に一般的な産業シナリオにおけるさまざまな機械部品を分類する問題を解決することです。

実際の現場では、ロボットアームが未知の部品に遭遇することは避けられません。データセットだけに頼って推論を導き出せないということは、現実的ではありません。

データセットと手動のラベル付けに頼らないために、研究者たちはシミュレーターでトレーニングするというアイデアを思いつきました。

シミュレーターでの継続的なトレーニングと試行錯誤を通じて、ロボットアームは一連の経験を独自に要約し、それを熱マップ表現にまとめることができます。

ここで、研究チームは新たな表現方法である「非均一正規化オブジェクト座標空間( NUNOCS )」を提案しました。

統一された NUNOCS 表現により、同じタイプのオブジェクトに関する情報を統合することができます。

オブジェクト モデルが与えられている場合、このメソッドにより、すべてのポイントを各次元に沿って正規化できます。

正規化により、異なる次元の特徴の値を比較できるようになり、異なるオブジェクトを分類できるようになります。

最後に、NUNOCS はさまざまなオブジェクトをカテゴリに分類し、代表的なテンプレートを提供できます。

このプロセスでは、他のすべてのモデルからの面取り距離が最も小さいオブジェクトをテンプレートとして設定します。

(面取り距離: 画像の距離変換です。特徴点と非特徴点を含むバイナリ画像の場合、この距離変換は各点から最も近い特徴点までの距離を解くことです)

これらのテンプレートは、後でヒートマップ表現を統合し、把握姿勢分布を保存するためのコードブックになります。

ポイント クラウド入力が与えられると、NUNOCS Net は NUNOCS 空間内のポイント クラウドの位置を予測できます。このネットワークは、ポイントネットに基づいて設計されています。

(ポイントクラウド:リバースエンジニアリングにおいて計測機器で得られた製品表面の点データの集合)

決定されたポイント クラウドと予測されたポイント クラウドに基づいて、最終的にカテゴリ レベルの 6D 変換と 3D 次元変換を解決し、より正確な高密度ポイント クラウド ペア マッチングを取得できます。

例えば、下の図では、同じ色は相互一致を示しており、NUNOCS 方式は従来の NOCS 方式よりも優れています。

掴み方の秘訣をマスターした後は、掴むたびに「力」を安定して放出できることも確認する必要があります。

そこで研究者たちは、それぞれの掴み姿勢に対して 50 回のランダムな小さな変化を加え、成功回数を記録し、連続的な確率分布を得ました。

次に、前のステップで分類されたさまざまなモデルテンプレートに従って、把持姿勢も分類され、統合されます。

テスト中に、これまでに遭遇したことのない状況に遭遇すると、以前に要約された把持姿勢の分布を新しいオブジェクト空間に転送して、より包括的な把持姿勢のサンプリングを取得できます。

シミュレータで得られた把持姿勢と確率分布は、それぞれニューラルネットワークをトレーニングするための入力とラベルとして使用できます。

最後に、十分な把持姿勢のシミュレーションを行った後、自己教師ありトレーニングと学習を通じて、ロボットグリッパーと物体との接触経験が蓄積され、次のようなヒートマップが得られます。

さらに、プロセス内のすべてのモジュールは合成データセットでトレーニングされ、その後、実際のシナリオに直接移行できます。

実験結果によると、シミュレーションにおけるこの方法の平均成功率は93.1%、把持回数は約600回です。

実際の成功率は87.8%です。

チームについて

この研究の著者の一人は、現在GoogleXでインターンシップをしているラトガース大学のコンピューターサイエンスの博士課程の学生、ボーエン・ウェン氏です。

彼はコスタス・ベクリス教授の下で学び、ロボットの知覚とコンピュータービジョンを研究対象としています。

彼は以前、Facebook Reality、Amazon Lab 126、SenseTime でインターンをしていました。

彼は西安交通大学で学士号を取得し、オハイオ州立大学で修士号を取得しました。

現在、このプロジェクトのシミュレーター環境、データセット生成、トレーニング、実験はすべてオープンソース化されています。

GitHub アドレス:

https://github.com/wenbowen123/catgrasp

論文の宛先:

https://arxiv.org/abs/2109.09163

<<:  マイクロソフトは下書きを数秒でアプリに変換し、Mac Miniのようなミニデスクトップコンピューターを発売

>>:  素晴らしい配達でした!インテルビジョン観測室は、実体経済の発展に向けた新たな道を切り開きます|インテルビジョン

ブログ    
ブログ    
ブログ    

推薦する

Google は 1,000 以上の「ロングテール」言語に対応する機械翻訳システムを開発、すでにいくつかのニッチ言語をサポート

学術および商用の機械翻訳 (MT) システムの品質は、過去 10 年間で劇的に向上しました。これらの...

毎日のアルゴリズム: 有効な三角形の数

[[429712]]この記事はWeChatの公開アカウント「3分でフロントエンドを学ぶ」から転載した...

安全で制御可能、かつ法的に準拠した人工知能は金融分野で「原則化」されている

現在、国内の新興デジタルインフラの進歩と、5G、クラウドコンピューティング、ビッグデータなどのモジュ...

Facebookは視覚障害者向けに写真の説明を改善するためにAIを活用

[[377490]]海外メディアの報道によると、フェイスブックは1月21日、視覚障害のあるユーザー向...

Gen-2 は AI 生成ビデオに革命をもたらします。一言で4K高画質映画が作れる。ネットユーザー「ゲームのルールを完全に変えた」

これは間違いなく、生成 AI の進歩における画期的な出来事です。深夜、Runway の象徴的な AI...

Qualcomm CVPR 研究: ビデオ処理の計算を 78% 削減、畳み込み層に「ピクセルの選択」を教える

この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載...

機械学習の 3 つの時代の計算パワーの法則をまとめる: 大規模モデルの出現によって何が変わったのでしょうか?

図 1: 1950 年から 2022 年までの 118 の重要な機械学習システムの傾向。私たちは3つ...

...

人工知能、垂直農法、ブロックチェーン、ロボットは、未来の農業の急速な発展を推進する4つの主要技術である。

これは日本の東京国際展示場にあるデンソーの双腕協働ロボットの写真です。写真提供:新華社記者 華毅国連...

機械学習アルゴリズムを使用して配信リンクを最適化する方法

【51CTO.comオリジナル記事】 1. 背景紹介---VODソース配信の問題点オンデマンドビデオ...

データ構造とアルゴリズム - グラフ理論: 連結成分と強連結成分の検出

無向グラフの連結成分を見つける深さ優先探索を使用すると、グラフのすべての接続コンポーネントを簡単に見...

...

エッジ AI について知っておくべきことすべて

エッジ AI では、システムを他のシステムに接続する必要がないため、ユーザーはデータをリアルタイムで...

Transformer モデルを使用した時系列予測の Pytorch コード例

時系列予測は永続的なトピックです。自然言語処理の分野での成功に触発されて、トランスフォーマー モデル...

...