言語モデルは本来の役割を果たしていないため、DETRよりも優れたパフォーマンスでオブジェクト検出に使用されています。

[[426823]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

長い間、CNN はターゲット検出タスクを解決するための古典的な方法でした。

Transformer を使用した DETR が導入された場合でも、最終的な検出結果を予測するために CNN が使用されます。

しかし現在、ジェフリー・ヒントン氏と Google Brain チームは、言語モデリング手法を使用してターゲット検出を完全に完了できる新しいフレームワークPix2Seq を提案しています。

チームは、画像ピクセルから対象オブジェクトの「説明」を取得し、それを言語モデリングタスクの入力として使用しました。次に、モデルにこの「言語」を学習させて習得させ、有用なターゲット表現を取得します。

最終結果は基本的にFaster R-CNNおよびDETRと同等です。小さなオブジェクトの検出では DETR よりも優れており、大きなオブジェクトの検出では Faster R-CNN よりも優れたパフォーマンスを発揮します。

次に、このモデルのアーキテクチャを詳しく見てみましょう。

オブジェクトの説明からシーケンスを構築する

Pix2Seq の処理フローは主に 4 つの部分に分かれています。

• 画像強調
• シーケンスの構築と強化
• エンコーダ/デコーダアーキテクチャ
• 目的/損失関数

まず、Pix2Seq は画像拡張を使用して、固定されたトレーニング例のセットを充実させます。

次のステップは、オブジェクトの説明からシーケンスを構築することです。

画像には複数のオブジェクト ターゲットが含まれることが多く、各オブジェクト ターゲットは境界ボックスとカテゴリ ラベルのセットとして考えることができます。

これらのオブジェクト ターゲットの境界ボックスとカテゴリ ラベルは個別のシーケンスとして表現され、複数のオブジェクトはランダム ソート戦略を使用してソートされ、最終的に特定の画像の単一のシーケンスが形成されます。

それは、冒頭で述べた、対象物を「記述」するための特別な言語です。

その中で、クラスラベルは離散トークンとして自然に表現できます。

境界ボックスは、左上隅と右下隅の 2 つのコーナー ポイントの X、Y 座標とカテゴリ インデックス c を離散化し、最終的に 5 つの離散トークン シーケンスを取得します。

研究チームは、すべてのターゲットに対して共通の語彙を使用します。テーブル サイズ = ビンの数 + カテゴリの数です。

この量子化メカニズムにより、600×600 の画像では 600 ビンのみで量子化誤差ゼロを達成できます。これは、32K 語彙の言語モデルよりもはるかに小さいものです。

次に、生成されたシーケンスを言語と見なし、言語モデルにおける一般的なフレームワークと目的関数を紹介します。

ここではエンコーダー/デコーダー アーキテクチャが使用され、エンコーダーはピクセルを感知してそれらを隠された表現の一般的な画像にエンコードするために使用され、Transformer デコーダーは生成に使用されます。

言語モデルと同様に、Pix2Seq は画像と以前のトークンを予測し、尤度損失を最大化するために使用されます。

推論フェーズでは、モデルからトークンのサンプリングが実行されます。

すべてのオブジェクトを予測する前にモデルが終了するのを防ぎ、精度 (AP) と再現率 (AR) のバランスをとるために、チームはシーケンス強化技術を導入しました。

この方法では、入力シーケンスを拡張し、ターゲット シーケンスを変更してノイズ トークンを識別できるようにすることで、モデルの堅牢性を効果的に向上させることができます。

小型ターゲット検出においてDETRを上回る

チームは評価のために、118,000 枚のトレーニング画像と 5,000 枚の検証画像を含む MS-COCO 2017 検出データセットを選択しました。

DETR や Faster R-CNN などのよく知られているターゲット検出フレームワークと比較すると、次のことがわかります。

Pix2Seq は、小型/中型オブジェクトの検出では Faster R-CNN と同等のパフォーマンスを発揮しますが、大型オブジェクトの検出では Faster R-CNN よりも優れています。

DETR と比較すると、Pix2Seq は大規模/中規模ターゲットの検出では同等かわずかに劣りますが、小規模ターゲットの検出では優れています。

中国人

この論文は、チューリング賞受賞者のジェフリー・ヒントン氏が率いる Google Brain チームによるものです。

第一著者のティン・チェンは中国人です。北京郵電大学を卒業し、2019年にカリフォルニア大学ロサンゼルス校（UCLA）でコンピューターサイエンスの博士号を取得しました。

彼は Google Brain チームで 2 年間働いており、現在の主な研究分野は自己教師あり表現学習、効果的な離散構造ディープ ニューラル ネットワーク、生成モデリングです。

紙：
https://arxiv.org/abs/2109.10852