ImageNet の最高スコアを更新しましょう! Google Brain 中国研究者がスーパートランスフォーマーをリリース

[[408123]]

最近、Google Brain チームは Vision Transformer (ViT) の高度なバージョンである ViT-G/14 を発表しました。これは、最大 20 億のパラメータを持つ CV モデルです。30 億枚の画像でトレーニングした後、ImageNet の最高精度記録である 90.45% を更新しました。ViT が達成した以前の最高精度記録は 88.36% でした。それだけでなく、ViT-G/14 は、Google が以前に提案した Meta Pseduo Labels モデルも上回っています。

Vision Transformer モデルのスケーリングルール

複数のベンチマークにおいて、ImageNet、ImageNet-v2、VTAB-1k、ViT-G/14 が新記録を樹立しました。

たとえば、複数の写真を使用した認識チャレンジでは、精度が 5 パーセントポイント以上向上しました。次に研究者らは、アーキテクチャのスケーリング法則を見つけるためにモデルの複数の小型バージョンをトレーニングし、パフォーマンスが NLP に使用される Transformer モデルと同様にべき乗関数に従うことを観察しました。

2017 年に Google によって初めて導入された Transformer アーキテクチャは、すぐに NLP 向けの最も人気のあるディープラーニングモデル設計となり、OpenAI の GPT-3 が最も有名になりました。 OpenAI が昨年発表した研究では、これらのモデルのスケーリングルールが説明されています。

OpenAI は、トレーニングデータの量と処理能力を変えながら、さまざまなサイズのいくつかの比較可能なモデルをトレーニングすることで、モデルの精度を評価するためのべき乗法則関数を開発しました。さらに、OpenAI は、モデルが大きいほどパフォーマンスが向上するだけでなく、計算効率も高くなることを発見しました。

NLP モデルとは異なり、ほとんどの SOTA CV ディープラーニングモデルは畳み込みニューラルネットワークアーキテクチャ (CNN) を使用します。 CNN は、2012 年に CNN モデルが ImageNet コンテストで優勝したことで有名になりました。

Transformer が最近 NLP で成功したことから、研究者たちは視覚の問題におけるそのパフォーマンスに注目し始めています。たとえば、OpenAI は GPT-3 に基づく画像生成システムを構築しました。

Google はこの分野で非常に積極的に活動しており、2020 年後半には独自の JFT-300M データセットを使用して 6 億パラメータの ViT モデルをトレーニングしました。

△ 昨年10月、Google BrainチームはVision Transformer（ViT）をリリースしました。

新しい ViT-G/14 モデルは、約 30 億枚の画像を含むアップグレードされたデータセットである JFT-3B を使用して事前トレーニングされています。

研究チームは、ViT アーキテクチャを改良し、メモリ使用量を増やして、モデルが単一の TPUv3 コアに収まるようにしました。研究者らは、事前トレーニング済みモデルに少数ショットと微調整を加えた転移学習を使用して、ViT-G/14 およびその他の小規模モデルのパフォーマンスを評価しました。これらの調査結果を使用して、NLP ルールに似たスケーリングルールが作成されました。

べき乗法則によれば、計算、モデル、データを増やすことで精度が向上します。

小型モデルでは精度が障害となる可能性があります。

大規模なデータセットにより、大規模なモデルの作成が容易になります。

現在、ViT-G/14 は ImageNet リーダーボードで 1 位を獲得しています。以下のトップ 8 つのモデルも Google の研究者によって作成され、10 番目のモデルは Facebook のものです。