AIは人間の脳を模倣しています！ 2021年のトップ10の会議論文: 脳は「教師なし」でも学習する

神経科学は人工知能の「超進化」の鍵となるのか？

ディープラーニングやディープニューラルネットワークが流行している今日、脳の研究は欠かせません。

脳がどのように機能するかはまだ完全には理解されていませんが、そのような脳の構造は確かに「知性」を生み出すことができます。

シミュレーションされている限り、ニューラル ネットワークは同様または同一の知能を獲得できます。人間から本当に学ぶことができるマトリックスは、そう遠くないかもしれません。

最近、神経科学者のパトリック・ミノー氏が、2021年の教師なし学習の脳モデルの概要とレビューを発表しました。

ニューロ AI 研究における最も説得力のある発見の 1 つは、人工ニューラル ネットワークをトレーニングして、脳内の個々のニューロンと集団の信号を一致させることに関連するタスクを実行できる能力です。

典型的な例は腹側ストリームで、ここでは物体認識のために ImageNet で DNN がトレーニングされます。

教師ありタスク最適化ネットワークは、生態学的関連性と神経活動の解釈可能性という 2 つの重要な説明形式を結び付けます。

「51 億 7000 万回の回帰分析から、人間の視覚システムの人工モデルについて何がわかるでしょうか?」この論文は、脳の領域が何に使用されているかという疑問に答えています。

しかし、ジェス・トンプソンが指摘するように、これが唯一の説明ではありません。

特に、従来の ImageNet トレーニングでは 100 万枚の画像が使用されるため、タスク最適化ネットワークは生物学的に不可能であると考えられることがよくあります。

乳児が課題を認識するためにも、親がアヒルを指差して子どもに「アヒル」と言うなど、5秒ごとに新しい監督ラベルを、1日3時間、1年以上にわたって受け取る必要がある。

人間以外の霊長類やマウスはどうでしょうか?したがって、人間の脳に一致する生物学的に類似したニューラルネットワークの探索は継続されています。

ジェス・トンプソンのニューラルAI仮説空間

自己監督トレーニング方法とは何ですか?

今年は、監督なしのトレーニングが大きく進歩し、一部の自己監督トレーニング方法が徐々に置き換えられてきました。

自己監督トレーニングには次のような方法があります。

教師なし学習は、データ分布を表現することを目的としています。この分野で最も一般的に使用される技術の 1 つは、変分オートエンコーダ (VAE) です。

自己教師ありトレーニングは、プロキシタスクを解決することで適切なデータ表現を見つけることを目的としています。現在、言語モデルでは、BERT や GPT-3 などの自己教師ありトレーニングがほぼ普遍的に使用されています。

対照学習は自己教師学習の特殊な形式であり、エージェントのタスクはサンプルが肯定的なコンテキストから来ているか否定的なコンテキストから来ているか（または妨害するコンテキストから来ているか）を予測することです。対照学習には、MoCo、InfoNCE、SimCLR、CPC など、さまざまな種類があります。 BYOL や BarlowTwins など、ネガティブなサンプルを除外するための密接に関連した非対照的な方法もいくつかあります。

マルチモーダル学習は、自己教師ありトレーニングの別の特殊な形式であり、2 つの異なるモダリティ (視覚、テキスト、オーディオなど) の共通サブスペースを予測するか、1 つのモダリティに共通するサブスペースを予測することを目的としています。 CLIP が典型的な例です。

これらすべての方法により、監督を必要とせずに表現を学習することができます。実際、自己教師あり学習法と教師なし学習法を組み合わせることは、教師あり学習法のみを使用するよりも生物学的に妥当性が高いのです。

この点に関して、Mineault 氏は今年の MAIN、NeurIPS、CCN カンファレンス、およびその他のプレプリントをレビューし、教師なし学習のための脳モデルの概要を作成しました。

腹側視覚ストリームの教師なしニューラルネットワークモデル

この論文はトップジャーナルのPNASに掲載され、60回以上引用されています。

論文アドレス: https://www.pnas.org/content/118/3/e2014196118

著者らは、教師なし学習法と自己教師学習法の両方で学習された表現が、腹側皮質ストリーム（V1、V4、IT）のニューロンの実装と一致していることを発見しました。論文の要約には次のように記されている。

霊長類は驚くべき認識能力を発揮します。この能力は、階層的に相互接続された脳領域の集合である腹側視覚ストリームを通じて実現されます。これらの分野における最良の定量モデルは、人間によるラベル付けでトレーニングされたディープ ニューラル ネットワークです。

しかし、これらのモデルでは乳児が受けるよりも多くのラベル付けが必要となり、乳児は腹側ストリームの発達パターンを達成できなくなります。

教師なし学習における最近の進歩により、このギャップはほぼ解消されました。最先端の教師なし学習ニューラル ネットワークを使用して腹側ストリームで達成された予測精度は、現在の最良のモデルと同等かそれを超えることがわかりました。

これらの結果は、脳システムをモデル化するために教師なし学習を使用することを示しており、感覚学習の計算理論に対する強力な代替手段を提供します。

特に、著者らは、SimCLR やその他の対照学習法が、教師あり学習法とほぼ同様に腹側ニューロンを説明できることを発見しました。

この論文は、モデルのトレーニングにラベルは必要ないことを非常に強力に実証しています。

カテゴリー監督を超えて:

人間の視覚システムの表現を導くドメイン一般圧力の計算サポート

論文アドレス: https://www.biorxiv.org/content/10.1101/2020.06.15.153247v3

Konkle 氏と Alvarez 氏は論文の中で、Zhuang 氏らと同様の疑問を提起しました。

腹側の情報の流れは、教師あり学習で訓練されていないネットワークによって説明できますか?彼らは、単一ニューロンからの記録ではなく、機能的磁気共鳴画像法を使用してこれを評価しました。彼らは、自己監督と fMRI データを解釈するための他の同様の結果とを対比する独自の例を挙げ、その結果が Zhuang の論文と概ね一致していることを発見しました。

頭はあなたを動かすためにあります: 霊長類の背側経路の目標駆動型モデル

この論文は神経科学者のパトリック・ミノー氏によって執筆され、NeurIPS 2021に掲載されました。

著者らが以前に論じたように、腹側ニューロンは形状に対して選択的です。しかし、視覚皮質から出力される情報は、腹側視覚路と背側視覚路の 2 つのチャネルに伝達されます。何が起こっているのでしょうか?著者らは、さまざまな背側ストリーム領域を持つ多くの自己教師あり 3D ネットワークを比較し、非ヒト霊長類の単一ニューロンの反応を説明できないことを発見しました。

論文アドレス: https://your-head-is-there-to-move-you-around.netlify.app/

こうしてミノーは、世界に存在する生物が網膜に映る画像のパターンに基づいて自身の動きのパラメータを決定しなければならないというエージェントタスクを概説した。

結果として得られるネットワークは背側ストリームに非常によく似ており、これは質的にも量的にも当てはまります。現在、モデルのトレーニングは教師あり学習ですが、エージェントの観点からは自己教師ありマルチモーダル学習です。つまり、エージェントは、生物学的に妥当な別のモダリティ (視覚) から自己運動 (前庭、遠心性コピー) のパラメータを予測することを学習します。

視覚皮質の機能

視覚皮質の機能的特殊化は、自己教師予測学習を通じて訓練されたものと似ています。

プロジェクトのホームページ: https://ventral-dorsal-model.netlify.app/

2021 年に Bakhtiari らが発表した 2 つの論文は、どちらも NeurIPS スポットライトを受けました。

バクティアリは、人間、非人間霊長類、マウスなど、哺乳類の視覚単位には背側視覚路と腹側視覚路があると主張している。

では、人工ニューラルネットワークは両方を説明できるのでしょうか?

シャハブ氏は、映画クリップで対照予測符号化 (CPC) ネットワークをトレーニングすることにより、ニューラル ネットワークに 2 つの独立した並列経路が含まれている場合、背側ストリームと腹側ストリームが自発的に形成されることを発見しました。

背側ストリームの経路はマウスの背側領域とよく一致し、腹側ストリームはマウスの腹側ストリームとよく一致しました。

一方、監督下で訓練されたネットワーク、つまり経路が 1 つしかないネットワークは、マウスの脳に匹敵するものではありませんでした。

浅い教師なしモデル

研究者らは最近、浅い教師なしモデルがマウスの視覚皮質における神経反応を最もよく予測することを発見した。

論文アドレス: https://www.biorxiv.org/content/10.1101/2021.06.16.448730v2.full.pdf

2021年にNayebiらが発表した論文によると、ディープニューラルネットワークは霊長類の視覚野にヒントを得た優れたモデルだが、マウスにはそれほど適用できないことが分かっている。

彼らはマウスの視覚皮質からのデータ（静止画像）を使用し、それを異なるアーキテクチャの教師ありおよび自己教師ありネットワークと比較しました。

興味深い発見は、平行枝を持つ浅いネットワークがマウスの視覚皮質のデータをよりよく説明するということでした。これはシャハブ氏の調査結果を裏付けるものだ。

ネイビ氏のチームが主張しているのは、マウスの視覚脳は、特定のタスクにのみ特化している人間の脳の深層ニューラルネットワークとは異なり、幅広いタスクを実行できる浅い「汎用」視覚マシンであるということだ。

コンウェル氏のチームは、マウス視覚皮質における自己教師学習に関する別の論文をNeurIPS 2021で発表し、以前の2つの論文と一致する結論に達した。

論文アドレス: https://proceedings.neurips.cc/paper/2021/file/2c29d89cc56cdb191c60db2f0bae796b-Paper.pdf

人類を超えて

Geirhos らによる NeurIPS 2021 の論文では、人間は歪み (ノイズ、コントラストの変化、回転など) がある画像でも非常にうまく分類できることが示されています。

論文アドレス: https://arxiv.org/pdf/2106.07411.pdf

この論文では、新しい自己教師型およびマルチモーダルモデルが、画像分類タスクを実行する際に人間と同じくらい堅牢であることがわかりました。

この背後にある重要な要素は、ネットワークのトレーニングに使用されたデータの量です。つまり、より多くのデータでトレーニングされたモデルはより堅牢になります。

これは、新しいモデルがテクスチャに対する感度が低く、形状に対する感度が高く、つまり近道が少なくなるように見えるためです。もちろん、新しいモデルでも明らかな間違いはあります。

マルチモーダルニューラルネットワーク

論文アドレス: https://openreview.net/pdf?id=6dymbuga7nL

チョクシ氏のチームは、2021年のSVHRMワークショップで、人間の脳の海馬には概念や画像のテキスト表現に反応するマルチモーダルな「概念細胞」（ジェニファー・アニストン細胞など）が含まれていると提唱した。

興味深いことに、CLIP も同じことを行います。

実際、この論文では、著者らは公開されている fMRI データを使用して、CLIP を含むマルチモーダル ネットワークが脳の海馬からのデータを最もよく説明できることを示しています。

教師なしディープラーニング

Storrs らは、教師なし学習を使用して人間の光沢の知覚を予測する方法について説明した論文を Nature Human Behaviour に発表しました。

彼らは、一連のテクスチャでピクセル VAE をトレーニングし、ピクセル VAE と人間が表面を認識する方法との類似点を探しました。彼らは、VAE が異なるテクスチャ コンポーネントを自然に分離することを発見しました。これは人間の知覚と非常に一致しています。

さらに、彼らは、教師あり学習ネットワークはこのタスクでパフォーマンスが低いことを発見しました。

論文アドレス: https://www.nature.com/articles/s41562-021-01097-6.pdf

今年、研究者たちは、教師なしモデルと自己教師ありモデルを脳に適合させることにおいて大きな進歩を遂げました。脳データとのマッチングが向上し、ラベルなしでもトレーニングできます。

自己監督により、人間によるラベルなしで学習することが可能になりますが、最先端のモデルをトレーニングするには、多くの場合、大量のデータが必要になります。たとえば、GPT-3 は、人類がこれまでに蓄積したほぼすべてのテキスト (約 5,000 億トークン) から学習しました。

比較すると、最もおしゃべりな家庭の子どもは、5歳になるまでに約3,000万語に触れることになります。

したがって、GPT-3 は一見合理的な言語獲得および表現メカニズムであるように見えますが、それでも人間の脳に比べると 4 桁も効率が劣ります。

PS: 作者はまだ更新中です!

著者について

パトリック・ミノーは、以前は Facebook で BCI エンジニアとして、また Google でソフトウェア エンジニアおよびデータ サイエンティストとして働いていた独立した神経科学者です。

個人ホームページ: https://xcorr.net/about/

現在、Neuromatch Academy の共同設立者であり、CTO を務めています。

ミノー氏はマギル大学で視覚神経科学の博士号を取得し、UCLAで博士研究員として研究を終えた。 Facebook 在籍中、彼は脳によるタイピングを可能にする BCI を開発しました。

LeCun 氏と Jeff Dean 氏は、Patrick Mineault 氏による過去 1 年間の教師なし脳モデルに関する研究のレビューについてコメントしています。

「いいですね！しかし、BYOL、Barlow Twins、VICReg は、共同埋め込みアーキテクチャをトレーニングするための「非対照的」な方法です。 「

Google の大物 Jeff Dean 氏は、これは 2021 年の神経科学における教師なし学習と自己教師あり学習に関する素晴らしい研究だと述べました。