なぜ誰もディープラーニングの本質を明らかにしないのでしょうか? ！

[[213484]]

人類はゆっくりと世界の本質に近づいています。物質は単に情報パターンの担い手にすぎません。人間の脳以外の臓器は、この任務を遂行するための補給艦隊に過ぎません。

昨年、アルファ碁がイ・セドルに勝利して以来、ディープラーニングが人気を集めています。しかし、その原理をはっきりと説明できる人は誰もおらず、ブラックボックスとして扱っているようです。ディープラーニングは非線形分類器であると言う人もいます。ディープラーニングは人間の脳のシミュレーションだと言う人もいますが、その窓の紙の層を突き破ったとは思えません。

ジェフ・ホーキンスの「On Intelligence」を読んだ後、私は「これだ！」と思いました。そして、原書が2004年に出版されたことを知って驚きました!私は偽本かアメリカのアマチュア科学者の著作を読んだのではないかと心配し、豆瓣と知书で確認してみたところ、この本を読んだほぼ全員がその理論を賞賛していることがわかった。しかし奇妙なことに、誰もそれを擁護する気はないようで、この理論の影響はここで止まり、あたかも誰もがこの秘密の本を読んだという事実を故意に隠しているかのようです。人間の脳知能の動作メカニズムをわかりやすく徹底解説しています！これは単なる人工知能ではなく、本物の知能であることに注意してください。 ！ ！

3つの洞察

ほとんどの脳科学論文と比較すると、著者の洞察ははるかに単純かつ深遠です。

1. 長い間、人々は「知性」を「知性を示す行動」と同一視してきました。なぜなら、私たちには心を内側から観察する能力がないからです。しかし、本を読むとき、外部から見ると何も変わっていないように見えますが、私たち自身は、この期間中に数え切れないほどの連想、洞察、記憶が生まれたことを知っています。したがって、「理解」は外部の行動を通じて測定できるものではなく、内部の測定指標です。
2. ゾウリムシから人間に至るまで、自然はそれぞれの生物に知能機構のセットを設計したのでしょうか、それとも一連の機構を使い続けたのでしょうか。それとも、ある世代からまったく新しい知能機構が現れ、今日まで使われているのでしょうか（では、この知能機構を最初に生み出した種はどれでしょうか）。私たちが話している知性は人間に特有のものでしょうか、それとも（程度の違いはあるが）すべての生物に共通する特性なのでしょうか？著者は、知性は神が人間のために特別に設計したものではなく、自然の何らかのトリックから生まれたものであるに違いないと考えている。
3. 大脳皮質は、構造的にも機能的にも同じ構造/メカニズムを持っています (厳密に言えば、これは著者の洞察ではなく、1978 年に Vernon Mountcastle によって発見されました)。

これら 3 つの洞察から、自然に次の質問が生まれます。

1. 知性が行動によって定義されないのであれば、どのように定義されるのでしょうか?
2. 将来、知能はどのように進化するのでしょうか?
3. 内側に目を向けると、大脳皮質の構造はどのようにして世界の構造を捉えているのでしょうか?

要約すると、著者らは次のように結論づけている。

1. 知性は人々が想像するほど神秘的なものではありません。それは単に未来を予測する能力です。
2. これらの予測の本質は、「生物学的恒常性維持機構」と「環境圧力」による「生物学的ストレス感受性」の副産物に他なりません。
3. 知性の核心は「安定して不変なもの」です。これは大脳皮質の均質な階層構造によるものです。

次に、著者がこれら 3 つの単純な洞察から知性の本質を段階的にどのように推測するかを見てみましょう。

人生の揺れ

人体から経済システムまで、複雑なシステムはすべて、ショックを軽減し、システムを安定した状態に戻すための同様のメカニズムを備えています。血糖値が低い場合はグルカゴンの分泌が増加して血糖値が上昇し、血糖値が高い場合はインスリンの分泌が増加して血糖値が下がります。この一対のホルモンを調節することで、システムは血糖値を一定の範囲内に維持しようとします。この恒常性維持機構は生命のあらゆるところに現れ、生命の自己バランスを維持しています。

それは、常に圧迫を押しのけ、同時に「脱走者」を捕まえようとする「見えざる手」のようなものです。この「見えざる手」は、私たちの脳の中に無数の「正しい位置」（脳科学者の専門用語では「一定の表現」）を織り込んでいます。逸脱が発生すると、私たちは警戒を強め、複数のシステムを動員して共同で対応します。この本から例を挙げると、ボールが飛んでくると、私たちはボールの軌道や着地地点を計算するのではなく、ボールをキャッチするまで手足を適切に調整するように指示します。この調整アルゴリズムは「予測」と呼ばれます。この例から、ボールをキャッチするときに人間が示す知性と、餌に向かってパドルを漕ぐときにゾウリムシが示すストレス反応の本質的な違いは何でしょうか?

なぜ「予測」が知能の基礎となるのでしょうか?

通常、人は「予測」を、サーブの着地点を正確に計算するのと同じように、大きなステップとして理解しますが、人間の脳の「予測」は、より「ストレス反応」のようなもので、ボールが動いたら動き、少しずつ微調整をします。現代社会はあまりにも急速に発展し、概念の歴史的特徴を見ることが難しくなり、そのため私たちは外見の霧に惑わされやすくなっています。歴史の原点に戻れば、霧は自然に晴れるでしょう。私たちにとって知性がもたらす最大の利益は何でしょうか?何かを創造することではなく、生き残ることです。人類は常に「生存」と「発展」の間で葛藤しています。しかし、開発とは、未知の生存課題への対応に過ぎないことを理解している人はほとんどいません。

知性をどのように定義すべきでしょうか?おそらく進化の歴史は私たちにもっと多くのことを教えてくれるでしょう。知能は、人間が生き残るために役立つ能力です。小川で泳いでいる魚を捕まえることができる能力であり、ぼんやりとした画像からそれが友達か獣かを判断することができる能力です...弾道の問題を解くのではなく、「バランスを維持する方法」などの問題を研究する必要があります。それは自然の進化の目標ではなく、当然、脳のメカニズムを得ることはできません。

すべての生存問題は、問題内の定数をどのように特定するかというメタ問題に還元できます。たとえば、小川にいる魚、家に帰る方向など... 知能には想像力、道具の作成、問題の解決などの他の要素もありますが、それらはすべて抽象的な手段に還元できます。結局のところ、人間がすべての問題を解決する方法は 1 つしかありません。それは、抽象化を使用して、より高い次元で矛盾を調整することです。

「不変表現」によってすべてを回避することはできません。

抽象化の本質

人類が「負の数」という概念を認識して以降、見た目が全く異なる「加算」と「減算」（一方は増加、他方は減少）という二つの演算を、ついに「整数領域における加算」として統合することができたのと同様です。矛盾をより高い次元から調和させることは、まさに大脳皮質がどのように構築され、機能するかということです。現象の共通点を常に見つけ、抽出し、名前を付けます。これらの名前は、次のレベルの抽象化（または「語彙」）の基礎となります。これは、知性の聖杯である「継続的な表現」に到達するまで、層ごとに続きます。

たとえば、エッジをどのように識別するのでしょうか?

まず、網膜の 3×3 の小さな部分を調べてみましょう。この部分には、#1 から #9 までマークが付けられています (下の図を参照)。縦線が表示されると（＃1、＃4、＃7がすべてアクティブ）、電気信号が2番目の層に渡されます。第 2 層の各ニューロンは、網膜の細胞群の活性化に反応します。たとえば、第 2 層の最も左のニューロン パッチは、単一の網膜細胞の活性化に反応します。たとえば、第 2 層の左側にある 2 番目のニューロンは、任意の 2 つの網膜細胞の活性化に反応します。等々…

エッジ認識：最下層は網膜細胞です。網膜細胞の特定の組み合わせが活性化されると、上層の対応するニューロンが活性化されます。上層のニューロンの特定の組み合わせが活性化されると、連鎖的に上層のニューロンが活性化されます。時間要因を考慮すると、信号がすぐに消えるのではなく、時間の経過とともに減衰すると仮定すると、時間が十分に短い限り、3 つの刺激グループ（＃1、＃4、＃7）、（＃2、＃5、＃8）、（＃3、＃6、＃9）を入力すると、3 番目の層のニューロンが活性化され、「垂直線を見つけた」ことを示します。

それぞれのニューロンは、実際には「単語」（または「概念」/「抽象」/「特徴」）です。ただ、低レベルのニューロンによって記述される「単語」はそれほど抽象的ではないというだけです。たとえば、2 番目の層の #(1, 4, 7) ニューロンは「網膜の左端に縦線が現れる」ことを表しますが、上位層のニューロンには「網膜の左端」という制約はありません。

記憶の役割

ニューロンは、情報の収集、統合、出力を 5 ミリ秒以内に完了することができ、これは 1 秒あたり 200 回の計算速度に相当します。人間は、半秒（100 ステップに相当）で画像を認識し、選択を行うことができます... 100 ステップ、機械にはそれができません。人間が知っているアルゴリズムの中で、おそらく「テーブル」（答えを事前にメモリに保存しておき、必要なときに計算せずに取得する）だけがこれを実行できます。したがって、大脳皮質全体はコンピュータではなく、記憶システムです。

ディープラーニングでうまくいったことは何ですか?

多層ネットワークは、レイヤーごとの抽象化のためのチャネルを提供します。これはまさに今日の画像認識システムが行っていることです。つまり、最下位レベルでエッジを認識し、次に特定の形状を認識し、最後に最上位レベルで特定の特徴を認識します...

畳み込みは「定数表現」を得る手段を提供します。

他に何が分からないのでしょうか?

記憶を呼び起こしたいとき、必要なのはほんの数語だけであることが多いです。つまり、記憶はホログラフィックな形で保存されているようです。いかなる断片にも全体が含まれています。

また、脳が100ステップ以内でどのように意思決定を行うのかはまだわかっていません。また、フィードバック接続がなぜこれほど多いのかも分かりません。軸索と樹状突起の機能上の違いは何ですか? …

さて、著者の 3 つの洞察に戻り、それを専門用語で表現してみましょう。

• 理解とは、脳がどのように記憶を形成し、その記憶を使って予測を行うかを示す内部的な尺度です。
• 予測は、特定の自己制御メカニズムの副産物です。
• 大脳皮質は外観と構造において驚くほど均質です。つまり、大脳皮質は、そのすべての機能を実行するために同じ計算アプローチを使用します。人間が示すすべての知能（視覚、聴覚、体の動きなど）は、統一されたアルゴリズムに基づいています。