科学サブ出版物：人間の脳は加速学習メカニズムを備えており、その計算能力は最新のAIアルゴリズムを上回っている

[[323595]]

機械学習とディープラーニングのアルゴリズムは、脳内のニューロンを結びつけるシナプス強度の学習メカニズムに起源を持ち、現代生活のほぼすべての側面にますます影響を与えています。

半世紀前、研究者たちは神経科学と人工知能を橋渡しして、これらの脳機能を模倣しようとしました。しかし、それ以来、実験神経科学は機械学習の発展に直接貢献しておらず、2つの分野は独立して並行して発展を続けています。

本日 Scientific Reports に発表された論文の中で、研究者らは実験神経科学と機械学習の間に70年もの間架けられてきた橋を再構築したと述べている。

[[323596]]

私たちの脳の高度な学習メカニズムは、より効率的な AI アルゴリズムにつながる可能性があります。画像提供: バー・イラン大学のイド・カンター教授

「脳の学習ステップは通常、数十分、あるいはそれ以上かかると考えられているが、コンピューターではナノ秒、つまり百万倍も速い」と、この研究の主著者で、バーイラン大学物理学部および多分野脳研究センターのイド・カンター教授は述べた。

研究者たちは、2つの仮説を証明しようとした。1つは、脳の学習は非常に遅いという私たちの考えが間違っているかもしれないということ、そしてもう1つは、脳には学習を加速させるメカニズムがあるかもしれないということだ。

驚いたことに、両方の仮説は正しいことが判明しました。脳は比較的遅いですが、その計算能力は典型的な最先端の人工知能アルゴリズムよりも優れています。

[[323597]]

研究者らは、ニューロン培養における新しいタイプの人工ニューラルネットワークの実験を実施し、トレーニング頻度の増加がニューロンの適応プロセスを加速させることを初めて実証した。

「同じ画像を1秒間に10回観察すると、同じ画像を1か月に1,000回観察するのと同じ学習効果が得られる可能性がある」と、この研究の主任研究者であるシラ・サーディ氏は述べた。

もう一人の寄稿者であるロニ・ヴァルディ博士は次のように付け加えた。「同じ画像を素早く繰り返すと、脳が数十分ではなく数秒に適応する能力が向上します。脳がさらに速く学習できる可能性はありますが、これは現在の実験の限界を超えています。」

[[323598]]

第二に、研究者たちは脳にヒントを得た新しい学習メカニズムを実証した。このメカニズムは人工ニューラルネットワークに実装されており、連続した学習ステップでは、ローカル学習ステップサイズが増加する。

手書き数字のシンプルなデータセットである MNIST でテストしたところ、特にトレーニング用に小規模なデータセットを提供された場合、手書き数字の認識などのタスクで一般的に使用される機械学習アルゴリズムを大幅に上回る成功率が得られました。

実験神経科学と機械学習のつながりが再構築されることで、限られたトレーニング例による人工知能（特に超高速意思決定）の開発が促進され、人間の意思決定、ロボット制御、ネットワーク最適化の多くのケースにも適用できるようになると期待されています。

次に、論文の内容について説明を始めましょう。

論文紹介

シナプス強度の変化は通常、数十分続きますが、ニューロン（ノード）のクロック速度は約 1 秒の範囲です。脳は比較的遅いですが、その計算能力は典型的な最先端の人工知能アルゴリズムよりも優れています。この速度/容量のパラドックスに従って、私たちは小さなデータセットに基づく加速学習メカニズムを実験的に導き出しました。これをギガヘルツのプロセッサで活用すると、超高速の意思決定につながることが期待されます。

現代のコンピュータとは異なり、明確に定義されたグローバルクロックは脳内のプロセスを制御しません。むしろ、それらは相対的なイベントタイミング（刺激と誘発スパイクなど）の関数です。ニューロン計算によれば、分岐した樹状木を通る減衰入力の合計を使用して、各ニューロンは非同期入力電気信号を合計し、しきい値に達すると短い電気パルス (スパイク) を生成します。各ニューロンのシナプスの強さは、他のシナプスからの入力の相対的なタイミングに基づいてゆっくりと調整されます。スパイクを生成せずにシナプスから信号が誘導された場合、その関連の強さは、同じニューロン上の他のシナプスからの隣接するスパイクとの相対的なタイミングに基づいて変更されます。

最近の実験では、各ニューロンが独立した閾値ユニットとして機能することが実証されています。信号が樹状突起を通って到着すると、各閾値ユニットがアクティブになります。さらに、樹状突起信号の到着タイミングに基づいた新しい適応ルールが実験的に観察されました。これは、現在シナプス（接続）に起因すると考えられている遅い適応メカニズムに似ています。この樹状突起の適応は、シナプスの変更には数十分以上かかることがあるのに対し、約 5 分というはるかに短い時間スケールで発生します。

研究プロセス

1. 実験結果によると、トレーニング頻度の増加とともに適応率が上昇することが示されています。

この研究では、研究者らは多電極アレイ上でニューロン培養を行い、これにシナプス遮断剤を添加して、パッチクランプされたニューロンを樹状突起を通して細胞外から刺激した。

研究対象のニューロンはニューロン樹状突起を介して細胞内で刺激され、刺激経路ごとに異なるスパイク波形が生成されました。より詳しい説明については、原著論文の「材料と方法」のセクションを参照してください。

適応プロセスは、50 個の刺激ペアのトレーニング セットで構成されていました。神経刺激の反応時間と強度が正常かどうかをさらにテストすることで、神経適応の影響を定量化し、どのような細胞外刺激の振幅を研究すべきかを決定しました。

ニューロンの通常の遅延: 1～4 ミリ秒

初期反応を定量化するために、信頼できる誘発ピークが観察されなくなるまで細胞外刺激の振幅を減少させました。

2. 生物学にヒントを得たメカニズムに基づいて、教師あり実装可能な学習ルールを加速します。

生物学的メカニズムと一致して、トレーニング頻度が増加すると適応プロセスは大幅に加速されます。

これは、時間の経過とともに適応ステップのサイズが減少することを意味する場合があります (式 1)。

現在の適応ステップ𝜂𝑡+1𝑎d𝑎𝑝は、重みが減少した前のステップと等しく、𝑡は離散時間ステップを表し、𝜏0は定数、1/τはトレーニング頻度を表し、Δは現在のトレーニングステップの増分効果を表す定数です。

ルールベースとバイナリ分類のための教師ありオンライン学習を使用して、シナプス適応と樹状突起適応の 2 つのシナリオを研究します。

まず、時間依存適応ステップ（式1）が生物学的学習プロセスの加速に与える影響を調べました。教師は生徒に対して非同期入力とバイナリ出力の関係を提供します。これらは両方とも最も単純な分類器パーセプトロンと同じアーキテクチャを持ち、出力ノードはリーク積分発火ニューロンで構成されています。

結果は、実験的に得られた一般化誤差 εg の時間依存 η (式 1) が、固定 η シナリオ (上) よりも大幅に優れていることを明確に示しています。この加速学習は、シナプス学習における重みが、重みが消滅するかしきい値を超える限界に収束するという事実から生じます。

3. ニューラルネットワークでテストされたMNISTデータベースを使用して、実現不可能なルールの教師あり学習における実験的ヒューリスティックの時間依存学習ステップのメカニズムを調べます。

このデータベースには、手書きの数字の例が多数含まれており (以下を参照)、さまざまな画像処理タスクに対する機械学習アルゴリズムの一般化パフォーマンスを定量化するためのプロトタイプ問題としてよく使用されます。

この研究では、データ拡張手法を使用せずに、MNIST データベースの小さなサブセットを使用します。一般的に使用されるトレーニング ネットワークは、784 個の入力 (28×28 ピクセルの数字を表す)、1 つの隠し層 (この研究では 30 ユニット)、およびラベルを表す 10 個の出力 (上記を参照) で構成されます。一般的に使用される学習方法はバックプロパゲーション戦略です。

ここで、ステップの重みはコスト関数の勾配の負の符号Cのステップサイズηに向かって変更されます。改善されたアプローチは、モメンタム戦略と重みの正規化です (上図の式 2)。

運動量μと正則化αは領域[0, 1]では一定であり、𝜂0η0は定数である。

モメンタム戦略のパフォーマンスを最適化します (式 2) ...

この論文では加速に関するより詳細な式が示されていますが、スペースの制限により、この記事ではこれ以上の詳細には触れません。

結果: オンライン トレーニング セットは、ランダムに選択された 300 個の例で構成されます。各ラベルはランダムな順序で 30 回表示されます。 300 回の学習ステップ後、加速法はモメンタム法よりも 25% 以上優れたパフォーマンスを発揮し、テスト精度はそれぞれ約 0.43 から 0.54 に向上しました。

結果は、与えられた数のネットワーク更新に対して、より小さな例セットがより多くの情報を生成することを示しています。オンライン シナリオ (特に小規模なデータセット) でテストの精度を最大化するには、バランスの取れたサンプル セットとバランスの取れた時間的トレーニング順序が重要な要素となります。

結論

η の一貫した連続勾配増加に基づく、脳に着想を得た加速学習メカニズムは、少数のトレーニング例に対して既存の汎用 ML 戦略よりも優れたパフォーマンスを発揮します。さまざまなコスト関数 (たとえば、二乗コスト関数) で実行すると、一貫した結果が得られますが、パフォーマンスは比較的低下します (下の図を参照)。

特定のデータセットの最大パフォーマンスは選択した加速方法によって異なるため (下の図を参照)、トレーニング中に学習方法を調整するとパフォーマンスが向上します。

ただし、η を更新するための高度な非線形関数に加えて、加速方法の最終的なスケジュール設定や、ネットワーク更新回数が多い場合にパフォーマンスを最大化するトレーニング済みインスタンスの順序付けについても、さらに調査する価値があります。

実験神経科学と ML をつなぐ架け橋は、人間の活動、ロボットの制御、ネットワークの最適化など、多くの分野で現実となっている、限られたデータベースによる意思決定をさらに進歩させることを約束します。

この記事の研究機関

バー・イラン大学（略称 BIU）は 1955 年に設立され、イスラエルのラマト・ガンにあります。公立大学であり、現在イスラエルで 2 番目に大きな学術研究機関です。