視覚的なプロンプトを使用してください。シュム氏は、トレーニングや微調整なしですぐに使用できるIDEAリサーチインスティテュートの新しいモデルを実演します。

視覚的なプロンプトを使用するとどのような感じでしょうか?

写真をランダムにフレームに入れるだけで、同じカテゴリが数秒で丸で囲まれます。

GPT-4Vでも米粒を数えるのは困難です。フレームを手動で引っ張るだけで、すべての米粒を見つけることができます。

物体検出の新しいパラダイムがここにあります!

先日終了した IDEA 年次会議において、IDEA 研究所の創設会長であり、米国工学アカデミーの外国人会員でもあるハリー・シャム氏が、最新の研究成果を発表しました。

Visual Prompt に基づいて T-Rex をモデル化します。

プロセス全体はインタラクティブですぐに使用でき、わずか数ステップで完了できます。

これまで、Meta のオープンソース SAM セグメンテーションモデルは、CV 分野における GPT-3 の瞬間を直接的に導きましたが、依然としてテキストプロンプトパラダイムに基づいていたため、複雑でまれなシナリオに対処することが困難でした。

現在、この問題は画像を交換することで簡単に解決できます。

さらに、カンファレンス全体は、Think-on-Graph知識駆動型ビッグモデル、開発者プラットフォームMoonBit、AI科学研究成果物ReadPaperアップデート2.0、SPU機密コンピューティングコプロセッサ、制御可能なポートレートビデオ生成プラットフォームHiveNetなど、実用的な情報でいっぱいでした。

最後に、沈向陽氏は、過去数年間で最も多くの時間を費やしたプロジェクトである低高度経済についても話した。

低空経済が比較的成熟した状態に発展すると、同じ時点で、深センの空には毎日10万機のドローンが飛び、毎日100万機のドローンが飛ぶようになると私は信じています。

視覚的なプロンプトを使用する

基本的なシングルラウンドプロンプト機能に加えて、T-Rex は 3 つの高度なモードもサポートしています。

複数ラウンドの正例モード

これは、より正確な結果を得て、検出漏れを回避するために、複数回の会話を繰り返すようなものです。

ポジティブ + ネガティブモード

視覚的な手がかりが曖昧で誤検出を引き起こすシナリオに適用できます。

* クロスグラフモード。

単一の参照画像をヒントとして使用して、他の画像をテストします。

T-Rexは、事前に定義されたカテゴリに制限されず、視覚的な例を使用して検出対象を指定できると報告されています。これにより、一部のオブジェクトを言葉で完全に表現することが難しいという問題を克服し、プロンプトの効率が向上します。一部の産業シナリオでは特に複雑なコンポーネントです。

さらに、ユーザーとの対話を通じて、いつでもテスト結果を迅速に評価し、エラー修正を行うことができます。

T-Rex は主に、イメージエンコーダー、ヒントエンコーダー、ボックスデコーダーの 3 つのコンポーネントで構成されています。

この研究は、IDEA 研究所のコンピュータービジョンおよびロボティクス研究センターによるものです。

チームが以前にオープンソース化した物体検出モデル DINO は、COCO 物体検出リストで 1 位にランクされた最初の DETR モデルです。ゼロショット検出器 Grounding DINO はGithub で非常に人気があり (現在までに 11,000 個のスターを獲得) 、Grounded SAM はすべてを検出してセグメント化できます。より技術的な詳細については、記事の最後にあるリンクをクリックしてください。