ディープニューラルネットワーク (DNN) は人間の大脳皮質の構造をシミュレートしますか?

[[199788]]

私は生物学を専攻する学部生であり、認知神経科学を専攻する大学院生です。余暇にはプログラミングと機械学習が好きです。現在は独学で勉強しており、それらについて少し知識を深めています。ディープラーニングと神経科学のつながりを私の視点から説明してみたいと思います。

ディープラーニングと神経科学はどちらも現在非常に大きな分野ですが、私の経験はまだ浅いです。間違っていると感じたら、ぜひ訂正してください。ありがとうございます!

それでは、下から話を進めていきましょう。

ニューロン

ディープラーニングの分野では、ニューロンは第 1 層の単位です。パーセプトロン モデルを使用する場合、wx + b と活性化関数で全体が構成されます。入力と出力はどちらもデジタルであり、これは非常に明確に研究されています。他のことは別として、パラメータがわかっている場合、出力は入力で計算でき、入力は出力で計算できます。

しかし、神経科学の分野では、ニューロンは最高レベルの単位ではありません。たとえば、ニューロン膜のイオンチャネルを研究している人もいます。ニューロンの入力は、他のニューロンからの電気信号入力、化学信号入力、細胞内でエンコードされた信号（興奮、抑制型、これは活性化機能に例えられるでしょうか？）の 3 つの部分に分けられます。出力も、電気出力、化学出力、自身の状態の変化（LTP 長期増強、LTD 長期抑制）の 3 つです。

私たちはニューロンについて十分に理解しているでしょうか? 私は個人的にはこれに非常に疑問を抱いています。数日前、ニューロンに関する進歩を見ましたが、それによると、ニューロンは単一の信号に反応できるだけでなく、一定の間隔で信号にも反応できるとのことでした。 ニューロンの根本的なコーディング能力は実際にはより強力です。神経科学は長い間発展してきましたが、私たちはニューロンをまだ完全には理解していないかもしれません。

また、ディープ ニューラル ネットワークではほとんどのノードが同等ですが、人間のニューラル ネットワークではそうではないことも付け加えておきます。ニューロンの形態は、脳の領域によって、また脳の領域内でも大きく異なります。たとえば、V1 内の 6 つの層は、ニューロンの形態に基づいて区別されます。この観点から見ると、人間の神経系はより複雑です。個人的には、各タイプのニューロンを異なる初期化パラメータを持つノードに置き換えることができることを否定しませんが、現時点では、複雑さはディープニューラルネットワークよりもまだ高くなっています。

信号符号化方式

エンコード方式については、神経科学におけるニューロンは 0-1 の活動電位を生成し、対応する信号は活動電位の周波数でエンコードされます (脳の大部分はこのようなもので、末梢には他の形式もあります)。人工ニューラル ネットワークについてはどうでしょうか? 私たちが聞いたり見たりしたもののほとんどは、このようにエンコードされるべきではありませんが、スパイキング ニューラル ネットワークにはこのようなエンコードがあります。 (今日 ASSC の会議に行ったときに非常に興味深い研究を見ました。それについては後で時間があるときに書きます。)

ニューラルネットワークの構造

現在、ディープ ニューラル ネットワークには、DNN (完全接続)、CNN (畳み込み)、RNN (再帰型) の 3 つの主要な構造があります。 「注意？」など、非常に奇妙なものもありますが、申し訳ありませんが、まだ記事を読んでいないので、何も言えません...

ここにいくつかの写真があります:

ディーエヌエヌ

出典: ニューラルネットワーク – Ufldl

CNN：

出典: AlexNet

RN: えー

出典: LSTM ネットワークの理解

神経科学におけるネットワーク構造。ここでは V1 を例に挙げます。

出典: 視覚皮質における適応と神経ネットワーク

誰もが考えていることとは反対に、視覚は V1、V2、V3、V4、V5 (MT) に分かれており、その上には FFA と、より高度な機能を担当するいくつかの脳領域があります。それぞれの小さな視覚皮質は、相互接続されたニューロンのみで構成されているわけではなく、異なる階層構造を持っています。これはGoogleで見つけた画像です。具体的な記事は気にしないでください。主にV1の微細構造と接続関係について説明しています。 V1 の主な機能は、さまざまな角度の点と線分を認識することです (1950 年代の Hubel と W による猫に関する研究)。しかし、実際には、それだけではありません。V1 には、特定の色覚もあります。

このレベルで比較すると、人間のニューラル ネットワークは DNN + CNN + RNN にエンコード方式としてパルスを加えたものであるというのが私の理解です。内部レイヤーは DNN に似ており、中間レイヤーは CNN に非常に似ており、時間的に拡張すると RNN になります。

では、続けましょう。

トレーニング方法:

ディープニューラルネットワークのトレーニング方法は主にバックプロパゲーションであり、出力層から第 1 層に逆伝播し、各層で発生したエラーを継続的に修正します。しかし、脳には同様のバックプロパゲーションのメカニズムはありません。最も単純な説明は、ニューロンの信号伝達には方向性があり、信号が前の層に戻る可能性がないということです。たとえば、手元にあるコップを拾おうとして、それが少し右にずれていることに視覚的に気づいたら、自然に腕全体を少し左に動かして、もう一度コップを掴もうとするでしょう。どうやら、指や手、さらには腕をカップに向かって何度も動かすことに成功する人はいないようです。次の記事から写真を引用します。

元記事: ニューラルネットワークにおける生物学的に妥当なエラー信号伝達に向けて

私たちの脳は、*** DFA の原理に似ています。何か問題が発生した場合は、エラーを入力に近いポイントに送信して再トレーニングします。

記憶と忘却：

メモリに関しては、主に LSTM についてお話します。LSTM のメモリは各ノードの重みに格納され、忘却率を制御するための特別な忘却ゲートがあります。これらはデジタル形式で保存されます。神経系では、記憶は特定の脳領域におけるシナプスの形成と消失を通じて保存されます。実際、共通点の 1 つは、トレーニング プロセスが段階的に行われることです。バックプロパゲーションのメカニズムと神経系の生物学のおかげで、トレーニング中および継続的な学習プロセス中は、比較的ゆっくりとした速度でしか変化できません。学習速度の観点から見ると、それらは比較的似ています。

そして忘れ去ることになります。忘却は LSTM のゲートによって制御されます。神経系では、これはヘブ仮説 (Fire Together, Wire Together) に基づく STDP に関連していると思います。同期して一緒に発火するニューロンは、より強い接続を確立する傾向があります。 STDP は、2 つのニューロンが発火する順序の影響を考慮することでこれを拡張します。

ソース：

相関活動によるシナプス修飾：ヘブの定理の再考

簡単に言えば、シナプス前ニューロンがシナプス後ニューロンより先に放電すると（ニューロンのシグナル伝達はシナプス前ニューロンからシナプス後ニューロンへ向かう方向性がある）、シナプスは LTP 長期増強の状態に入り、シナプス前ニューロンからのシグナルに対してより強く反応するようになります。逆に、シナプス前ニューロンがシナプス後ニューロンよりも遅く放電すると、長期抑制状態（同じソースから信号を受信して​​おらず、信号が無関係であることを示す）に入り、一定期間、応答が弱くなります。

ディープ ニューラル ネットワークのゲートの重みもバックプロパゲーションを通じてトレーニングされ、徐々に変化する特性があります。急速に変化する刺激に反応する場合、一定の遅延が発生します。この観点から見ると、人間の神経系はより柔軟であり、非常に短時間で状態の切り替えを完了することができます。

私が言いたいのは、だいたいこれくらいだと思います。私自身の研究は、主に人間を対象とした視覚的注意に関するものなので、中間ループレベルの研究については特に詳しくありません。さらに言えば、人間の大脳皮質の働きに関して言えば、個人的には、その働きは非常に限られていると感じています。脳のほとんどの領域については、どのように機能するかがわかっていません。異なる脳領域を異なる機能と組み合わせることしかできません（正確ではない可能性があります）。この観点から両者の類似点と相違点について語るのは無責任であり、簡単に非難されることになる。

次に、数人の友人を招いてループ レベルの話をし、間違いを指摘したり補足したりしてくれる他の同僚を探します。多くのことは記憶から書かれており、正確ではないものもあります。

まとめ

概要に記載した通りです。 正解は似ていることが多いですが、不正解は異なります。地球上の多くの高度な生命体は、同様のネットワーク構造を基盤としており、そのうちの 1 つは、このような偉大な文明を発展させました。ニューラル ネットワーク構造は、少なくとも、人間によって効果的な形式であることが証明されています。しかし、この形態のインテリジェンスにとって、これが世界最善の解決策なのでしょうか? 私は個人的には疑問に思っています。

ニューラル ネットワークは効果的な構造なので、この構造を使用して優れた結果を達成できることは驚くことではありません。しかし、シミュレーションについて話すなら、この方向に進むよう最善を尽くすべきです。この点に関しては、私は個人的にこのアプローチについてあまり楽観的ではありません。私たちはコウモリから音を使って位置を特定する方法を学びました。私たちが開発したソナーは、距離と有効性の点でコウモリのソナーをはるかに上回っています。私たちがコウモリを凌駕できるのは、私たちの技術が拡張可能であるからです。共通の原理を利用すれば、工学的および機械的な問題を解決できます。簡単ではないかもしれませんが、それでも数千メートル、あるいは数十キロメートル先まで検知できます。 2 つ目の理由は、人間には必要ですが、コウモリには必要なく、毎日洞窟で眠るからです。数十キロの距離を感知する必要はないし、感知しても食べられない。

実際、人間の脳も非常に似ています。脳は進化の産物です。それは常に環境によって形作られています。なぜ人間はコンピューターのような計算能力を発達させなかったのでしょうか? 必要がないからです。しかし、実はその一方で、ある種の類似点もあります。何千年もの飢餓から進化した脂肪摂取の必要性や、幼少期の砂糖摂取の必要性など、脳には必要のないものもあります。この場合、脳の不純物も取り除き、脳の本質だけを残した方が良いのではないでしょうか。

上で述べたのは理想的な状況です。私たちは脳について比較的徹底的に理解しており、何を取り除き、何を残すべきかを知っています。 。しかし、今のところ、しばらくはアナログの道を進まなければならないかもしれません。

大体そういう見方です。 まとめると、ディープニューラルネットワークと大脳皮質には共通点がありますが、シミュレーションとはみなされません。ただ、全員が同じアイデアを見つけて問題を解決しただけです。