現在のディープラーニングが人工知能にとって行き詰まりとなっている理由を20の理由から説明します。

ディープラーニングが初めて登場したとき、ほとんどの AI 研究者はそれを嘲笑しましたが、わずか数年で、その触手は医療、教育、自動車など多くの分野に広がりました。

[[314444]]

近年、AIはディープラーニングの力を借りて、顔認識、囲碁、Dotaなどのタスクで人間に何度も勝利しています。この傾向は、ディープラーニングが人工知能の宝を解き放つ鍵であることを示唆しているようです。

しかし、ディープラーニングは行き詰まりを迎えたという見方もある。例えば、世界的な人工知能コンピュータビジョン分野の創始者の一人であり、ジョンズホプキンス大学の教授でもあるアラン・ユール氏はかつて、「ディープラーニングはコンピュータビジョンの分野でボトルネックを迎えた」という見解を唱えた。

この記事の著者であるランディ・レイボーン氏はユール教授の見解を支持し、ディープラーニングの研究が行き詰まった理由を20の理由を挙げて説明しています。 AI技術レビューは編集・修正されていますので、お楽しみください〜

1. バックプロパゲーション技術は、特定のAIにのみ適している

バックプロパゲーションはディープラーニングの基本的な手法であり、これによりニューラルネットワークはトレーニングプロセス中に「最適なソリューション」を見つけることができます。しかし、訓練されたニューラルネットワークに別のタスクを実行したり、新しいデータを使用するように要求すると、壊滅的な忘却が発生し、継続的な学習の目標を達成できなくなります。

もちろん、以前の学習タスクを減らしてネットワーク構造を調整し、壊滅的な忘却を解決することはできますが、新しいデータが入ってくると、ニューロンの数を増やす必要があります。

脳には、私たちが手で設計したニューラルネットワークよりもはるかに多くのニューロンがあるため、人工ニューラルネットワークにニューロンを追加しても問題はないと思われますか?

しかし、脳には機能的モジュール性という特性があることも理解する必要があります。脳がタスクを実行するとき、一度に呼び出されるニューロンは少数だけです。バックプロパゲーションは反復中にすべてのニューロンを呼び出します。

さらに、脳のモジュール性により、人間はさまざまなことを学ぶことができ、異なるモジュール間で情報を相互に通信することができます。

では、複数のディープニューラルネットワークを構築し、それらを相互に接続することで問題は解決できるのでしょうか?

明らかに、高度なインテリジェンスの機能はそれ以上です。

2. 教師なし学習

脳が学習するとき、大量の例を必要とせず、またそれを「思い出させる」監督者も必要としません。脳の学習方法はより複雑です。たとえば、ラベルが付いていない「データ」であっても、脳はそこから何かを学ぶことができます。

もちろん、飛行機械を作るために翼の動きを真似しているわけではありませんが、鳥は空気より重い物体でも重力を克服すれば飛べることを証明しており、これは汎用人工知能が脳のように考えなくても、教師なし学習を通じて知能を獲得できることを意味します。

3. 認知マップとルート

現在、ディープラーニングは、認知ルート、つまり入力データから出力までの認知パスをより習得したいと考えています。言い換えれば、ディープラーニングは入力と出力の間の連想記憶の一種です。

次の認知経路を検討してください。

「森の中をまっすぐ進むと川が見えてきます。川を渡り、左に曲がって、奇妙な木の近くで止まります。すると、頂上に3つの大きな岩がある山に着きます。そこで最後に道に沿って進みます。」

ここで問題になるのは、もし誰かが木を切り倒したり、何らかの方法で石を動かしたりしたらどうなるかということです。

これがディープラーニングの欠点です。知識は 1 つのタスクにのみ非常に限定的に適用されます。解決策は、さまざまな出発点から無限の数の目的地までの複数のルートを見つける動的なマップを作成することです。

これが狭義のAIと汎用AIの違いであり、この違いはニューラルネットワークの構造にも深く影響を及ぼします。

4. 予測プロセス

私たちの脳は常に、次の数秒で何が起こるかを積極的に予測し、実際の状況に基づいて予測の詳細を調整しようとしています。人間が強い好奇心を持つのはそのためです。

これに加えて、私たち人間にはもう一つの原動力があります。それは、良い基礎ができたら、私たちは常にメンタルモデルの認知マップを改善したいという欲求です。

人間は未知のものに直面したとき、常に満足のいく説明を見つけようとします。そうでなければ止まらないでしょう。したがって、この予測プロセスは私たちのエネルギーを節約し、私たちがより良くなるように動機付け、知識とスキルを拡大し、知識とスキルの認知マップを向上させることができます。

つまり、予測処理が私たちの直感の源なのです。明らかに、ディープラーニングにはこの種の予測が欠けています。

5. 資源の有効活用

GoogleのTPU

エネルギーの不足は誰も否定できません。そして、私たちの脳は問題に対処するとき、できるだけ多くのことに「ノー」と言うでしょう。具体的には、脳が連続したデータストリームを処理する際、フィルタリング装置の層を通過して無駄な情報をフィルタリングし、重要な情報を大脳皮質に送ります。

無意識の状態で物事を処理した結果が十分に良好であれば、脳はこの状態に切り替わりません。重要なタスクがある場合、脳はデフォルト状態のいくつかの大規模なニューロンネットワークをシャットダウンし、中央実行ネットワークをオンにします。

研究によると、脳には約86億〜1000億個のニューロンがあり、そのほとんどは小脳に密集して分布しており、主に人体のさまざまな活動を担っています。前述のように、脳は特定のニューロンを選択的にオフまたはオンにしますが、ディープラーニングでは各反復ですべてのニューロンを使用するため、このような規模のニューロンはまだ設計されていません。

さらに、ディープラーニングはエネルギー効率が非常に悪いため、最も強力なプロセッサでさえ、わずか 10～40Hz の周波数で動作する脳に対抗することはできません。

6. 多感覚データ表現

現時点では、音声は人工知能において最も難しい課題です。 AI を使用して優れたテキスト生成システムを設計できるだけでなく、人間向けに優れたテキストを作成することもできます。しかし、このテキスト生成システムの背後には何らかの「理解」があるのでしょうか? それとも、単語間の統計的な関係だけなのでしょうか?

子どもは言語を学ぶ前に、実は多くの感覚刺激にさらされています。子どもがさらされるそれぞれの意味特性は、いくつかのデータセット内の隣接する単語ではなく、視覚、聴覚、嗅覚、味覚、触覚、感情などを含む豊富な経験のセットです。

そして、これらの特徴に基づいて正しいラベルを貼り、子どもに食事やトイレの行き方などを教えます。

さらに、ある「もの」の正確な名前がわからなくても、そのプロパティと既知のクラスの類似性に基づいて、未知のオブジェクトを分類することができます。たとえば、音は簡単に感情的な反応を呼び起こし、匂いは記憶を呼び起こします。

明らかに、現在のディープラーニングニューラルネットワークは強力な個別の処理機能しか備えておらず、同様の接続に匹敵することはできません。

7. 豊富な経験

コンテキストや背景などを考慮せずに、静止画像やテキストデータセットを通じて世界を理解させるだけで、AI に世界を説明するにはどうすればよいでしょうか?

重力が何であるかを知らなければ、どうやって AI に教えることができるでしょうか?

人間のような能力を持つ機械を望むなら、少なくとも私たちの体と脳は生物学的機械であることを認識しなければなりません。

人間の脳は、無色、無音、無味の原子から世界を表現して、入ってくる信号を「解釈してコード化」し、私たちが理解できる現実のモデルを作成します。

そうして初めて、地球上に何かを落とすと、それが落下することがわかるのです。しかし、デジタル地図上で下方向に移動する点は重力の影響を受けません。明らかに、デジタル世界と物理世界のルールは大きく異なります。

ディープラーニングは AI にこれを理解させることはできるでしょうか?

8. 連続ステレオデータストリーム

私たちの体はほぼ左右対称です。2 つの目、2 つの耳、2 つの手、2 つの足、そして 2 つの脳半球があります。これは、私たちが世界を新しい方法で認識し、世界と関わるのに役立ちます。

立体視は視覚的なシーンの奥行きを測定するのに役立ち、音は視覚の源を見つけるのに役立ち、脳の二重性はさまざまな精神的能力に対処するのに役立ちます...

同時に、脳の継続性機能は、ほんの一瞬前まで友達だった人が今も同一人物であることを保証し、視覚や聴覚の属性を通じて再度確認する必要がありません。

脳は、何が起きているかを積極的に予測し、エネルギーを節約し、自信を高め、リアルタイムで学習します。

ディープラーニングは現時点では明らかに手の届かないところにあります。

9. 非ランダム初期化

人間の脳の意味空間

ANN はランダムに初期化され、勾配ベースの方法を使用してネットワークをトレーニングし、すべての値が同じ場合に因数分解します。

ニューラルネットワークを最適化し、その初期化方法を強制的に指定できます。しかし、これは教師あり設定では可能ですが、現実世界での自律型 AI の大規模な展開では、ランダム初期化が明らかに最善の選択肢である可能性が高いことに注意することが重要です。このような場合、私たちが最も期待できるのは、時間や場所に関係なく、AI が同様の方法で適応プロセスを完了することです。

10. 感情状態を普遍的な評価システムとして使う

私たちは感情を人間特有のものであり、厳格な論理よりも劣るものと考えるかもしれません。

しかし、人間の体には普遍的な評価システムがあるため、私たちは感情を通じて自分の状態を素早く評価することができます。つまり、エネルギーと喜びに満ちているのか、それともひどく落ち込んで気分が落ち込んでいるのかを判断するのです。

私たちは決断をしなければならないときはいつも、自分の気持ちに基づいて決断します。さまざまな選択肢を評価するのに長い時間がかかったとしても、最終的には、自分たちが最も「良い」と感じられるものを選択することになります。

私たちは強化学習を使って人間の感情をシミュレートしようとしましたが、まだ小さな一歩しか踏み出せていません。

感情は、セロトニン、ドーパミン、アドレナリンなどのさまざまなレベルの神経化学物質で構成されているため、定量化することができます。

ドーパミンが高くなると、私たちは戦ったり逃げたりしたいという反応を示し、一連の行動を素早く実行する動機づけとなります。ノルエピネフリンが低いと、私たちは恐怖の感情を経験して逃げようとします。一方、ノルエピネフリンが高いと、戦う勇気が生まれ、極端に高くなると、怒りや激しい狂気の感情を経験します。

11. デジタル神経調節薬

デジタル神経調節器により、自律型 AI は神経調節器と同じように大規模な神経サブネットワークのオン/オフを切り替えることができるようになります。

人間の脳では、神経調節物質であるアセチルコリンのレベルが高いと、記憶、内発的認知、思考、推論に関連する神経活動が増加します。

一方、ドーパミンは外部認知の重要性を高め、十分な行動をより迅速に選択します。

オレキシンはエネルギーを調節し、私たちが明晰な状態にあるときには増加し、眠っているときや免疫反応を起こしているときには減少します。デジタルオレキシンは、自律型ロボットなどのデバイスが常に電源から切断されている場合に、最適なエネルギー消費を実現するのに役立ちます。

人体は化学物質を使って自動的に自己調節しますが、この分野でも人工知能には大きな可能性があると思います。

12. 人工的な直感

ディープラーニング自体は、実際には単なるデータ処理の方法であり、入力から出力までの非常に受動的な方法です。人間はまた、ディープラーニングに直感という非常に強力な能力を与えます。

ディープラーニングでは、条件が揃うとネットワーク内のニューラルユニットが事前に活性化されますが、それが最終的に現実に何らかの影響を与えるかどうかはまだわかりません。ただ、何らかの影響があるだろうと感じています。

人間の心には同じようなメカニズムが満ち溢れています。アイデアはどこから来たのかわからないまま頭の中に浮かびますが、脳はこれらのアイデアが将来役に立つだろうと想定します。

直感は、事前に計画を立て、データ処理を容易にするのに役立ちます。たとえば、ディープラーニングでは、コンテキストが正しい場合、オブジェクトや音声の認識のしきい値を下げて、処理フローを簡素化できます。

時には、私たちの直感が間違いを犯す原因になることもあります。たとえば、友人を別の人と間違えたり、誰かが実際には言っていないことを聞いたりすることがあります。

しかし、ほとんどの場合、私たちは直感を活用して多くのエネルギーを節約し、潜在的な危険を早期に警告することで数え切れないほどの命を救います。

13. 隠された脳：グリア細胞

長年にわたり、グリア細胞は脳内の単なる充填物としてしか見られてきませんでしたが、実際には脳の機能に大きな影響を与えています。人間にはニューロンよりも多くのグリア細胞があり、ニューロン部分をサポートし、栄養素を提供し、免疫反応を誘発することで老廃物や毒性代謝誘導体などの外部の危険に対処します。

しかし、現在の人工ニューラルネットワークはグリア細胞をまったく考慮していません。しかし、それらは実際にニューロンを制御します。

ニューロンを維持するだけでなく、ニューロンのスパイクにも影響を与えます。ディープラーニングに応用すれば、データ予測の誤差を計算できるようになるかもしれません。

アストロサイトは短期的な電気刺激ではなく、長期的な化学刺激によって刺激されます。これらは世界規模で相互に作用することができ、必要な場所にリソースを提供するだけでなく、システム全体の運用を改善します。

14. 皮質下成分

現在の人工ニューラルネットワークは、アストロサイトだけでなく皮質下成分も無視します。

データを処理するとき、人間の脳には大脳新皮質に加えて、視床、海馬、線条体、扁桃体など、それをサポートする多数のモジュールがあります。

それらはすべて脳の中で非常に重要な役割を果たします。

海馬と嗅内皮質がなければ、私たちは記憶することができず、物理的な空間内で自分の位置を把握することが困難になるでしょう。視床はデータをフィルタリングし、脳の適切な部分に送信します。線条体と扁桃体は入力データに対する反応を制御します。

前障も脳の非常に興味深い部分です。科学者たちは、電気的に刺激されると、それが意識の「スイッチ」として機能することを発見しました。

https://www.newscientist.com/article/mg22329762-700-consciousness-on-off-switch-discovered-deep-in-brain/

15. 因果推論

人間が持つ最も強力な能力の一つは因果推論です。

精神的なシミュレーション、つまりプロセス全体の手順を想像したり思い出したりすることで、特定の結果につながった考えられる原因を頭の中で見つけることができます。

また、相関関係は因果関係を意味するものではありません。有名な格言にあるように、統計だけでは十分ではなく、関係性、豊富なコンテキスト情報、多感覚的な体験も必要です。

16. メンタルシミュレーター

記事の冒頭で述べたように、人間の脳は実際には無色、無味、無音の原子から現実世界を表現しています。

それは、このように物事を提示するのが非常に上手であり、また、起こっていないことをシミュレートすることもできるからです。これが私たちの想像力が存在する理由であり、私たちが夢を見る理由です。

それにより、私たちは損失なく現実世界で体験し、学ぶことができます。このメンタルシミュレーターは意識的な経験の基礎でもあります。

人間は心の中にのみ存在する抽象的なものを数多く作り出します。実際に何かを発明する前に、私たちはそれを心の中で想像します。これは、人間の進化が他の生物に対して持つ利点の源でもあります。

将来の一般的な人工知能フレームワークでは、メンタルシミュレーターを使用する必要があります。

17. 漸進的学習

増分学習法は、固定データセットを使用してニューラルネットワークをトレーニングする方法とはまったく逆です。

この方法により、機械は常に新しいことを学習し、既存の知識を継続的に更新して自分自身を改善することができます。

もちろん、いつでも新しいデータでモデルを再トレーニングできますが、これはリソースの非効率的な使用であり、より大きなニューラルアーキテクチャを持つモデルのトレーニングには常に問題がありました。

直感的には、増分学習はいわゆる過剰適合につながる可能性がありますが、現在ではこの問題を解決できる技術が数多くあります。さらに、十分なデータ増分をメモリに追加する増分学習法ははるかに簡単です。

人間は宇宙の支配者ではありません。十分な経験がある物事に対処するのは得意であり、常にメンタルモデルを更新してより良い解決策を選択することができます。

18. 究極のアルゴリズム

人工知能の発展を前進させる鍵となる究極のアルゴリズムが見つかると信じています。

その時までには、データ処理は異なり、いわゆるハイパーパラメータもケースごとに異なるでしょう。しかし、人工皮質全体のアルゴリズムは同じであり、どれが関連度が高くどれが関連度が低いか、どれを記憶しておく必要がありどれを破棄する必要があるかを判断します。そして、どれを否定例として記録すべきか。

19. ハードウェア: 専用処理装置

CPU などの汎用処理装置は、専用処理装置ほど効率的ではありません。複雑な認知構造に必要な効率を達成するには、処理ユニットに十分な並列性が必要です。

抽象化のレイヤーが非常に多いため、コンピュータがグラフィカルユーザーインターフェイス、フレームワークと開発ライブラリ、オペレーティングシステム、マシンコードのプログラミング言語などの特定のタスクを実行するときに、処理ユニットはこれらのレイヤー間を切り替えます。また、そうすることは非常に時間がかかります。

これを 1 秒あたりの数十億回の操作数で乗算すると、処理装置がどの程度うまく機能しているかをかなり正確に把握できます。

プログラミング言語はプロトタイピングと実験を容易にし、ニーズに合わせてソリューションを適応させることを可能にします。しかし、プログラミング言語の重要な部分は、すべての CPU 内の算術論理ユニットと同様に、処理ユニットで実行される必要があります。

重要なアルゴリズムをハードウェアに実装する必要があり、多くの企業がすでにこれに取り組んでいますが、正しい方向に進んでいるのでしょうか?

20. 自己組織化か、それとも人間による構築か?

脳は非常に複雑であり、人間はまだそれを完全に理解していません。それだけでなく、脳の構造に関する現在の研究結果の多くは矛盾しています。汎用人工知能の開発には神経科学だけに頼ることはできません。

しかし、脳のより高次の機能、つまり何ができるか、またそれをどの程度までできるかは理解できます。

なぜなら、脳は、自身の生理的、心理的ニーズと限界に応じてさまざまなことを実行する自己組み立て式処理装置だからです。観察される動作や特性の多くは、より高度な知能を必要とするからというよりも、構造が機能し存続するための実際的なニーズと密接に関係しています。

神経科学、コンピューター科学、数学の間で適切なバランスをとることは、最終的には人間のような能力を持つ機械を開発するのに役立つでしょう。

要約する

これらすべての技術は、特に近年、驚異的な進歩を遂げています。私たち人類が将来達成するものと比べると、AI の分野はまだ「石器時代」にあるということを忘れがちです。

コンピューティングの時代は始まったばかりです。現在の AI の発展に対する視点を変えることで、より広い視野がもたらされます。将来私たちをどこかに連れて行ってくれるものは、私たちを再び前進させるものとは異なることがよくあります。

人類の進化は、一人の人間が他の人とは少し違うことをして人類の視野を広げるときに、しばしば大きな飛躍を遂げます。