1 つのニューロンには 5 ～ 8 層のニューラル ネットワークがあります。ディープラーニングの計算の複雑さは生物学によって克服されています。

人工知能の開発にはまだまだ長い道のりが残っているようです。

エルサレムのヘブライ大学の研究者らは、単一ニューロンの計算の複雑さを研究しました。人工のディープ ニューラル ネットワークをトレーニングして生物学的ニューロンの計算をシミュレートした結果、ディープ ニューラル ネットワークでは、単一の生物学的ニューロンの複雑さを表現する (または到達する) ために、5 ～ 8 層の相互接続されたニューロンが必要であるという結論に達しました。

柔らかい人間の脳は、コンピュータープロセッサーの硬いシリコンチップとはかけ離れているように思えるかもしれないが、科学者たちは長年この2つを比較してきた。 「人工知能の父」アラン・チューリングは 1952 年にこう言いました。「我々は脳が冷たいお粥のような硬さを持っているという事実には興味がありません。」言い換えれば、媒体は重要ではなく、重要なのは計算能力です。

[[421556]]

現在、最も強力な AI システムは、ディープラーニングと呼ばれる機械学習の分野を使用しています。ディープラーニングでは、これらの AI システムのアルゴリズムが、ディープニューラルネットワークと呼ばれる相互接続されたノードの隠れた層を通じて大量のデータを処理することで学習します。名前が示すように、ディープ ニューラル ネットワークは人間の脳内の実際のニューラル ネットワークにヒントを得ており、そのノードは実際のニューロンをシミュレートします。少なくとも、1950 年代に「パーセプトロン」と呼ばれる影響力のあるニューロン モデルが開発されたとき、神経科学者はニューロンについてそのように理解していました。

それ以来、個々のニューロンの計算の複雑さに関する理解は劇的に深まり、生物学的ニューロンは人工ニューロンよりもはるかに複雑であることが明らかになりました。しかし、どれくらい複雑になるのでしょうか?この質問に対する明確な答えは出ていません。

それを調べるために、エルサレム・ヘブライ大学の計算神経科学博士課程の学生であるデイビッド・ベニアグエフ氏、神経科学教授のイダン・セゲブ氏、および准教授のマイケル・ロンドン氏は、人工のディープニューラルネットワークを訓練し、生物学的ニューロンの計算を模倣した。彼らは、ディープ ニューラル ネットワークが単一の生物学的ニューロンの複雑さを表現する (または到達する) ためには、5 ～ 8 層の相互接続されたニューロンが必要であることを示しています。

著者らは、このレベルの複雑さを予想していませんでした。 「生物学的ニューロンはもっと単純で、細胞内で行われる計算を捉えるには3層か4層の人工ニューロンで十分だと思っていた」と筆頭著者のベニアグエフ氏は語った。

左から右へ：エルサレム・ヘブライ大学の博士課程学生デビッド・ベニアグエフ氏、神経科学教授イダン・セゲフ氏、准教授マイケル・ロンドン氏。

彼らはまた、「深層人工ニューラルネットワークとしての単一皮質ニューロン」と題する関連論文も発表した。

論文アドレス: https://www.sciencedirect.com/science/article/abs/pii/S0896627321005018

ディープマインド社の意思決定アルゴリズム設計者、ティモシー・リリクラップ氏は、新たな研究結果は、脳内のニューロンと機械学習のニューロンを大まかに比較するという古い慣習を再考する時期が来たことを示唆していると考えている。

単一の生物学的ニューロンの複雑さに達するには、5〜8層の人工ニューロンが必要です。

人工ニューロンと生物ニューロンの最も基本的な比較は、入ってくる情報をどのように処理するかという点です。どちらのタイプのニューロンも入力信号を受信し、入力情報に基づいて他のニューロンに信号を送信するかどうかを決定します。人工ニューロンは単純な計算に基づいて意思決定を行っていますが、数十年にわたる研究により、生物ニューロンにおけるプロセスははるかに複雑であることが明らかになっています。計算神経科学者は、入出力関数を使用して、生物学的ニューロンの樹状突起が受信する入力とニューロンから発せられる信号の関係をモデル化します。

研究者らは、人工のディープニューラルネットワークに入出力関数（生物学的ニューロンの樹状突起が受け取る入力とニューロンが発する信号の関係）を模倣させ、その複雑さを判定した。彼らはまず、ラットの皮質から採取した錐体ニューロンと呼ばれる、上部と下部に異なる樹状突起を持つニューロンの一種の入出力機能の大規模シミュレーションを実行した。次に、シミュレーション結果を、各層に最大 256 個の人工ニューロンを備えたディープ ニューラル ネットワークに入力しました。

その後、シミュレーションされたニューロンの入力と出力の間で、ミリ秒単位で 99 パーセントの精度を達成するまで、レイヤーを追加し続けました。ディープ ニューラル ネットワークは、少なくとも 5 層、最大 8 層を使用して、ニューロンの入出力関数の動作を正確に予測します。ほとんどのネットワークでは、これは生物学的ニューロン 1 つにつき人工ニューロン 1,000 個に相当します。

下の図 2 に示すように、7 つの隠し層と各層に 128 個の特徴マップを持つ時間畳み込みネットワーク (TCN) は、L5PC (層 5 の錐体ニューロン) モデルを忠実に再現します。

下の図 3 では、研究者らは、N-メチルアスパラギン酸 (NMDA) シナプスのない L5PC ニューロンが、単一の隠れ層 (128 個の隠れユニットを含む) を持つディープ ニューラル ネットワークによって忠実にキャプチャできることを示しています。 A は L5PC モデルの概略図であり、B は類似のディープ ニューラル ネットワークです。

単一のニューロンの計算の複雑さを理解したところで、下のアニメーションに示すように、左側の錐体ニューロンは信号の影響を受ける樹状枝に依存しています。ニューロンがスパイク信号を送信するかどうかを決定する前に、信号の変化によって局所的な電圧変化が発生し、それがニューロンの色の変化（高電圧の場合は赤、低電圧の場合は青）として現れます。このスパイクは、右側の単一の枝のトレースに示されているように 3 回発生し、色は上 (赤) から下 (青) までの樹状突起の位置を表しています。

ベイラー医科大学の計算神経科学者、アンドレアス・トリアス氏は、この成果は生物学的ニューロンから人工ニューロンへの橋渡しとなるものだと語る。しかし研究者らは、これはまだ（生物学的ニューロンと人工ニューロンとの）直接的な対応ではないと述べている。

マイケル・ロンドンは、「ニューラル ネットワークの層の数とネットワークの複雑さの関係は明らかではないため、4 層から 5 層にするとネットワークの複雑さがどの程度増加するかはわかりません。1,000 個の人工ニューロンが必要であるということは、生物ニューロンの複雑さが生物ニューロンの 1,000 倍になるということを意味するとは言えません。最終的には、各層で指数関数的に多くの人工ニューロンが使用される場合でも、1 層だけでディープ ニューラル ネットワークを形成することは可能ですが、アルゴリズムの学習により多くのデータと時間が必要になる可能性があります」と考えています。

研究者たちは多くのアーキテクチャを試しましたが、そのほとんどが失敗しました。彼らはまた、他の研究者がより少ないレイヤーで解決策を見つけられるように、コードを公開しました。しかし、ニューロンを 99% の精度で模倣できるディープ ニューラル ネットワークを見つけることは非常に困難であり、研究者たちは、この結果がさらなる研究のための有意義な比較を提供すると考えています。

ティモシー・リリクラップ氏は、これが画像分類ネットワーク（通常は 50 層以上必要）を脳にリンクする新しい方法になる可能性があると考えています。各生物学的ニューロンが 5 層の人工ニューラル ネットワークのようなものだとすると、50 層の画像分類ネットワークは生物学的ネットワーク内の 10 個の実際のニューロンに相当する可能性があります。

さらに、この研究では、その結果が SOTA 人工知能のディープ ネットワーク アーキテクチャに変化をもたらすことも期待されています。 「私たちは、ディープネットワークのあらゆる単純なユニットを、それ自体がディープな代表的なニューロンユニットに置き換えることで、ディープネットワーク技術を脳のように機能するように置き換えることを要求しています」とセゲブ氏は述べた。この代替案では、AI 研究者やエンジニアは、各人工ニューロンを置き換えるために、5 層のディープ ネットワークを「ミニ ネットワーク」として挿入できます。

専門家や学者はどう考えているのでしょうか?

しかし、これが本当に AI にとって良いことなのかどうか疑問視する人もいます。 「これを行うことで実際に計算上の利点があるかどうかは未解決の問題だと思います」とニューヨークのコールド・スプリング・ハーバー研究所の神経科学者アンソニー・ザドール氏は言う。この作業によりテストの基礎が築かれました。

この研究は、AI アプリケーションに加えて、樹状突起と個々のニューロンの強力な計算能力に関するコンセンサスも深めます。 2003年に、3人の神経科学者が、錐体ニューロンの樹状突起を2層の人工ニューラルネットワークとしてモデル化することで、複雑な計算を実行できることを示しました。新しい研究では、研究者らは、錐体ニューロンのどの特徴が5〜8層の深層ニューラルネットワークの複雑さを左右するのかを調査した。研究者らは、これは樹状突起に由来し、樹状突起の表面にある特定の受容体が化学伝達物質を受け取るという結論に達した。これはこの分野におけるこれまでの研究結果と一致する。

この結果は、神経科学者が単一ニューロンの研究をより優先すべきであることを意味していると考える人もいます。 「この論文によって、樹状突起と個々のニューロンについて考えることがこれまで以上に重要になった」とペンシルベニア大学の計算神経科学者コンラッド・コーディング氏は言う。リリクラップやザドールなどの研究者は、回路内のニューロンに焦点を当てることは、脳が個々のニューロンの計算上の複雑さを実際にどのように活用しているかを理解するために同様に重要であると主張している。

いずれにせよ、人工ニューラル ネットワークの言語は、ニューロンと脳の能力に関する新たな洞察をもたらす可能性があります。 「層の数、深さ、幅の観点から考えると、計算の複雑さをより直感的に理解できるようになりますが、この研究はまだモデル間の比較にすぎません」とロンドン大学ユニバーシティ・カレッジの計算神経科学者、グレース・リンゼイ氏は語った。

残念ながら、神経科学者は現在、実際のニューロンの入出力機能を完全に記録することができないため、生物学的ニューロンモデルでは捉えられない情報がさらに存在する可能性があります。そうは言っても、実際のニューロンはもっと複雑である可能性が高いです。

マイケル・ロンドン氏はまた、「5階から8階が最終的な数かどうかは分からない」と述べた。