ルカン氏と彼のポスドク研究員はarxivに論文を発表したが、redditのネットユーザーから「最初の写真は間違っている」と疑問視された。

ニューラルネットワークモデルのトレーニングの最大の欠点は、大量のトレーニングデータが必要になることです。一方、教師なし学習と自己教師あり学習では、ラベル付けの問題をうまく解決できます。

今年3月、Facebook AI Researchとニューヨーク大学のYann LeCunは共同で、自己教師あり学習に関する論文をarxivに発表し、神経科学者H. Barlowの冗長性削減原理にちなんで名付けられたBarlow Twinsというモデルを提案した。

最近、この論文はRedditで白熱した議論を巻き起こしており、ネットユーザーはLeCun氏の論文に多少不満を抱いているようだ。

自己教師学習

いわゆる自己教師学習はトレーニングを意味しますが、完全なトレーニングではありません。使用されるラベルはシステム自体から取得され、システムと教師なし学習の境界は徐々に曖昧になります。

自己教師あり学習は、NLP の分野で大きな成果を上げています。BERT、GPT、XLNET などの自己教師ありモデルは、ほぼすべての主要な NLP チャートを独占しており、業界にも大きな進歩をもたらしています。履歴書の分野では、自己監督が最近登場したようです。

Kaiming 氏の MoCo や Hinton 氏のグループから Chen Ting 氏の SimCLR に至るまで、自己教師あり学習 (SSL) は大手企業の推進により過去 2 年間で大きな成功を収めました。

He Kaiming による Moco モデルは CVPR2020 に掲載され、口頭発表されています。この記事の核となるアイデアは、対照学習ベースのアプローチを使用して、画像表現、つまりエンコーダーのトレーニングを自己監督し、画像をより適切にエンコードしてから下流のタスクに適用できるようにすることです。コントラストベースの自己教師学習の最大の問題は、ネガティブサンプル数の増加が計算オーバーヘッドの増加につながることです。He Kaimingは、キューベースの動的辞書を使用してサンプルを保存し、それをモメンタム更新エンコーダー法と組み合わせて、エンコーダーの急速な変更がキー表現の一貫性を低下させる問題を解決しました。 MoCo は複数のデータセットで最先端の結果を達成し、教師あり学習と教師なし学習のギャップを縮めました。

Hinton 氏のグループの SimCLR は、同じ画像に対する異なるデータ拡張方法に重点を置いています。具体的には、バッチをランダムにサンプリングし、バッチ内の各画像に対して 2 つの拡張を実行します。これは、2 つのビューと見なすことができます。これにより、同じ画像の異なるビューが潜在空間内で近くなり、異なる画像のビューが潜在空間内で遠くなります。これは、NT-Xent によって実現されます。

オートエンコーダから言語モデルまで、ラベルなしデータによって事前トレーニング済みモデルが驚くべき結果を達成し、その後のラベル付きデータの微調整によってアプリケーションにとって価値のあるものになったと言えます。

バーロウ・ツインズ

今年3月に、Yann Lecun の論文が arxiv に追加されました。

CV 分野における自己教師あり学習の最新の成果は、データラベルなしでも教師あり効果を達成できることを常に世界に証明しています。現在、自己教師学習の主流の方法は、ネットワークが異なる歪みバージョン（データ強化とも呼ばれる）で入力サンプルの不変の特徴を学習できるようにすることです。ただし、この方法では、簡単に些細な解決策に遭遇する可能性があります。既存の方法のほとんどは、実装の詳細を通じて崩壊を回避しています。

LeCun 氏のチームは、このアプローチでは単純な定数表現が生まれることが多く、これらの方法では通常、崩壊ソリューションを回避するために異なるメカニズムと慎重な実装の詳細が採用されると説明しました。 Barlow Twins は、この問題を解決するための目的関数であり、歪んだバージョンの出力特徴を与えられた 2 つの同一ネットワークの出力特徴間の相互相関行列を測定し、相関ベクトルのコンポーネント間の冗長性を最小限に抑えながら、それを可能な限り単位行列に近づけます。

英国の神経科学者ホレス・バーロウの 1961 年の論文にヒントを得たバーロウ・ツインズ・アプローチは、「冗長性削減」（視覚システムの構成を説明できる原理）を自己教師あり学習に適用するものであり、感覚情報の変換の背後にある基本原理でもあります。

研究者らは、転移学習を通じてモデルをさまざまなデータセットやコンピュータービジョンタスクに適用し、Barlow Twins 表現を評価しました。また、画像分類やオブジェクト検出タスクでも実験を行いました。ネットワークは、ImageNet ILSVRC-2012 データセットで自己教師あり学習を使用して事前トレーニングされました。

結果は、概念的に単純で些細なパラメータを回避する Barlow Twins が、従来の自己教師学習法よりも優れていることを示しています。研究者らは、提案された方法は SSL に適用される情報ボトルネック原理の 1 つの可能な具体例にすぎず、アルゴリズムをさらに改善することでより効率的なソリューションにつながる可能性があると考えています。

ジン・リー

ジンリ氏はこの論文の2番目の著者です。北京大学物理学部に入学し、物理学と経済学の学士号を取得し、マサチューセッツ工科大学で物理学の博士号を取得しました。彼は2010年に第41回国際中等物理オリンピックで金メダルを獲得した。

現在、Facebook AI Research (FAIR) のポスドク研究員として、Yann LeCun とともに自己教師学習に取り組んでいます。

彼の研究分野には、表現学習、半教師あり学習、マルチモーダル学習、科学的 AI も含まれます。

彼は光学AIコンピューティングチップを製造するLightelligence Inc.の共同創設者でもある。

彼は、エンタープライズテクノロジーの分野でフォーブスチャイナの「30 Under 30」の 1 人に選ばれました。

ヤン・ルカンは CNN の生みの親であり、ニューヨーク大学の終身教授です。ジェフリー・ヒントン、ヨシュア・ベンジオとともに、「ディープラーニングの三大巨頭」の 1 人です。 Facebook 人工知能研究所の元所長、IJCV、PAMI、IEEE Trans の査読者。ICLR (International Conference on Learning Representations) カンファレンスを設立し、Yoshua Bengio とともに共同議長を務めた。

彼は 1983 年にパリの ESIEE で電子工学の学位を取得し、1987 年に P&M Curie 大学でコンピューターサイエンスの博士号を取得しました。 1998年にLeNet5が開発され、ヒントンが「機械学習のミバエ」と呼んだ古典的なデータセットMNISTが作成されました。彼は2014年にIEEEニューラルネットワークリーダーシップ賞、2019年にチューリング賞を受賞しました。