空飛ぶ脳？ヒントン氏のツイートは白熱した議論を引き起こした。ニューラルネットワークは鳥が飛ぶための「羽」なのか？

[[407838]]

ヒントン氏はツイッターでちょっとした議論を始めた。「ニューラルネットワークを設計する際に脳からインスピレーションを得るのは、飛行機を設計する際に羽からインスピレーションを得るようなものだと反対する人もいる。」

△「通常、ニューラルネットワークを設計する際、脳からインスピレーションを得ることに反対する人が多くいます。これは、飛行機を設計するために羽の構造からインスピレーションを得るようなものです。ドローンには、当たったものを傷つけず、迅速な前処理で簡単に修復できるブレードが必要です。」

では、ニューラル ネットワークの設計は人間の脳の構造を参考にできるのでしょうか?

できるかどうか、それが問題だ

最前列のネットユーザーたちは興奮して議論した。「まったくその通りだ」飛行機のデザインは鳥からインスピレーションを得たものです。自然は私たちに飛ぶ方法を教えました。 AIについても同様です。ニューラル ネットワークはまだ開発中であり、人間が困惑する問題が自然界ではすでに解決されている場合、私たちが狂っていない限り、自然の解決策を研究しない理由はない。

一部のネットユーザーもこう言っています。「人間が鳥や昆虫のように驚くほど柔軟に（滑空、加速、停止、高効率）「飛ぶ」ことはできないというのは本当だ」飛ぶことは脳にとって何を意味するのでしょうか?予測する？多分。ニューラル ネットワークは、脳のように多くのタスクを実行できません。これは非常に啓発的だと思います。

一部のネットユーザーは、分類問題の場合、BP（バックプロパゲーション）は特徴エンジニアリングによるLR（ロジスティック回帰）とみなせると考えています。

なぜこの問題に関心があるのですか?問題は、数学の場合と同様に、何らかのツールを使用して 1 つまたは複数の望ましい結果を得ることです。運が良ければ、しばらくすると、これらのツールがなぜ本当に役立ったのかがわかります。分類問題の場合、BP は特徴エンジニアリングを備えた LR と見なすことができます。

一部のネットユーザーからは、この機械は自己防衛や自立性の設計がまだ考慮されていないとの意見も出ている。

△ 脳と鳥類は生存の必要性から自己修復能力を進化させました。ドローンとそれが衝突する物は人工物であり、交換可能なものとみなされている。自己保存と自己持続は、まだ機械に設計されていません。

ネットユーザーの中には、脳の神経ネットワークを鳥の羽根と比較することが可能かどうか疑問視する者もいた。

ニューラル ネットワークと脳の関係が、羽と鳥 (またはパドルの羽根とドローン) の関係に匹敵するかどうかを判断する必要があります... よくわかりません。

一部のネットユーザーはブリタニカ百科事典の説明も引用した。

羽は鳥が飛び始める前から進化していました。したがって、初期の羽毛には断熱機能（......）はあったものの、空気力学や飛行の機能はなかったのです。 （…）羽はもはや鳥類特有の特徴とはみなされなくなっています。

バックプロパゲーションは脳には不可能

バックプロパゲーション アルゴリズムが登場する何十年も前から、脳の学習方法に関する理論は、ヘブビアン理論 (1949) の影響を大きく受けていました。ヘブビアン理論は通常、「同時に発火するニューロン間の接続」として説明され、隣接するニューロンの活動の相関性が高いほど、それらの間のシナプス接続が強くなることを意味します。

この理論は、いくつかの修正を加えることで、特定の種類の学習および分類タスクをうまく説明します。

ヘブビアン理論は、エラー情報の使用に対する非常に狭く、特定的で、鈍感なアプローチですが、神経科学者にとっては依然として最良の学習ルールであり、1950 年代後半の最初の人工ニューラル ネットワークの開発にも影響を与えました。

これらのネットワーク内の各人工ニューロンは、実際のニューロンと同様に、複数の入力を受け取り、単一の出力を生成します。人工ニューロンは、いわゆる「シナプス」重み（その入力の重要性を表す数値）を使用して入力に重み付けします。

1960 年代までに、これらのニューロンは入力層と出力層を持つネットワークに編成され、「人工ニューラル ネットワーク」は特定の単純な問題を解決するようにトレーニングできるようになりました。

トレーニング中、ニューラル ネットワークはエラーを減らすためにニューロンに最適な重みを決定します。

しかし、1986 年にヒントンが「バックプロパゲーション アルゴリズム」に関する論文を発表するまで、人工ニューラル ネットワークを「隠れ層」で効果的にトレーニングする方法を誰も知りませんでした。

バックプロパゲーションの発明は、すぐに一部の神経科学者から激しい抗議を引き起こし、彼らはこの方法が実際の脳で機能するはずがないと主張した。

まず、コンピューターは 2 段階でアルゴリズムを簡単に実装できますが、生物学的ニューラル ネットワークの場合はそうするのは簡単ではありません。

2 つ目は、計算神経科学者が重み転送問題と呼ぶ問題です。バックプロパゲーション アルゴリズムは、推論に関係するすべてのシナプス重みに関する情報をコピーまたは「転送」し、それらの重みを更新して精度を高めます。

しかし、生物学的ネットワークでは、ニューロンは他のニューロンの出力しか見ることができません。出力に影響を与えるシナプスの重みや内部プロセスを見ることはできません。

ニューロンの観点から見ると、「自分のシナプスの重みを知ることはできますが、他のニューロンのシナプスの重みを知ることはできません。」

生物学的に妥当な学習ルールは、ニューロンが近隣のニューロンからのみ情報を取得できるという制限にも従う必要があります。バックプロパゲーションでは、より遠くのニューロンから情報を取得する必要がある場合があります。

その結果、「信号を逆方向に伝播させると、脳が計算するのは不可能になるようです。」

カプセルネットワーク

2017年、ディープラーニングの三大巨頭の一人であるジェフリー・ヒントン氏が、「カプセルネットワーク」を解説した2つの論文を発表しました。

当時、これはカプセルという新しい構造に基づいたまったく新しいニューラル ネットワークであり、画像分類において優れたパフォーマンスを実現し、画像と意味関係を理解できない、空間階層化と空間推論機能の欠如など、CNN のいくつかの欠陥を解決しました。

CNN では、左側の画像と右側の画像の両方がネットワークによって顔として認識されます。

ヒントン氏自身も、畳み込みニューラル ネットワークが完全に「ゴミ」であり、独自のカプセル ネットワークに置き換える必要がある理由を証明したいと公に述べています。彼は過去3年間、毎年カプセルネットワークの新バージョンをリリースしてきました。

今年 2 月、ヒントンは新しい論文「ニューラル ネットワークで部分と全体の階層をどのように表現するか?」を発表しました。 (ニューラルネットワークで部分全体階層を表現する方法)

この論文では、ニューラルネットワーク内のカプセルを使用して視覚的な階層、つまり部分と全体の関係を表現できる GLOM と呼ばれるアーキテクチャを提案しました。

GLOM は、構文解析ツリーのノードを表すために「島」の概念を提案します。 GLOM は、トランスフォーマーのようなモデルの解釈可能性を大幅に向上させることができます。トランスフォーマー モデルの解釈可能性を大幅に向上できます。

ディープラーニングの偉大な専門家であるヒントンは、バックプロパゲーション（BP）を提唱した後、自身の研究を否定し続けました。彼は「カプセルネットワーク」などの研究を提唱して生物学的説明を増やし、脳の構造とニューラルネットワークの謎を解明することについて考え続けました。