人工知能に対する2つのアプローチの戦い

[[248047]]

（AIの2つのルート）

ホフスタッターは1995年に予測した。

（人工知能において）論理に基づく形式手法は行き止まりです。 11. ホフスタッター 1995
(AI) 論理に基づく形式的アプローチは行き止まりだ。—Hofstadter 1995

10年後、その予測は現実となり、20年後の今日、ホフスタッターが予測したアナロジーインテリジェンスは、アルファ囲碁の出現により、人工知能のほぼすべての主要な成果を説明するものとなりました。

人工知能のゴッドファーザーであるヒントン氏は、BBVA賞を受賞した際、2つのAIルートの戦いは50年戦争であると語った。

（ヒントンの宣戦布告）

もちろん、最終的にはアナロジーベースのルートが勝利しました。

1. はじめに: ニューラルネットワークは詐欺である

人工ニューラルネットワーク ANN は、ニューラルネットワーク NN とも呼ばれ、脳のニューラルネットワークの構造を模倣して構築された人工知能モデルです。ニューラルネットワークは、多数のニューロンを接続することによって計算され、外部情報によって内部構造を変更します。これは適応プロセス、つまり学習プロセスです。

ニューラルネットワークは、1943 年に Warren S. McCulloch と Walter Pitts によって初めて導入され、最初はしきい値アルゴリズムを使用してニューラルネットワークの計算モデルが作成されました。

(写真提供: chaipp0607)

しかし、マカロックは最初から嘘つきだと思われていた、とジャック・コーワンは回想している。

チューリングはマカロックに会ったが、彼は詐欺師だと思った。マカロックを知らなければ、マカロックは嘘つきだという印象を簡単に受けてしまうかもしれない。
チューリングは実際にマカロックに会ったことがあり、マカロックはペテン師だと思ったが、マカロックをいろいろな意味で過小評価していただけだと思う。よく知らないとマカロックがペテン師だという印象をすぐに受けてしまうかもしれない。ジャック・D・コーワン

当時は、コンピューティングリソースが不足していたため、モデルをテストできませんでした。パターン認識を実行できるパーセプトロンモデルがフランクローゼンブラットによって作成されたのは 1958 年になってからでした。パーセプトロンは当時、ニューラルネットワークの愛称でした。しかし、現状はまったく変わっていませんでした。当時はコンピューターさえもまだ研究室にあり、これらの初期の研究ではテスト環境さえ見つけられませんでした。

2. 凍結から30年：ニューラルネットワークは失敗する運命にある

パーセプトロンモデルの発明から 10 年後の 1959 年頃、マービンミンスキー氏とシーモアパパート氏は、『Perceptrons』という本を出版し、パーセプトロン (およびそれが表す単層ニューラルネットワーク) モデルの限界を分析しました。この本には、基本的な XOR 問題を解くように訓練できる人は誰もいないので、パーセプトロンモデルは失敗する運命にあると書かれていました。「パーセプトロン」の大きな影響により、ニューラルネットワークの研究は30年間ほぼ停止していました。

その後、当時のニューラルネットワークの2つの障害を誰かがまとめました。理由の 1 つは、局所的に効果的に差別化することが不可能であるということであり、もう 1 つの理由は、当時の人々が、脳はコンピューターに似ており、ニューロンはデジタル部品に似ており、出力は 0 と 1 であると信じていたことです。前者は技術的な制限であり、後者は概念的な問題です。バックプロパゲーション（連鎖律を使用してエラーデータを逆方向に伝播する）の発明者である Werbos は、後に次のように回想しています。

1971 年に、私はマービン・ミンスキーのところに行き、ニューラルネットワークの問題を解決できる方法があると述べ、論文を書きました。ミンスキー氏は、私がこの新しい方法を説明した論文の共著者になりたくないと言った。ミンスキーはバックプロパゲーションの功績を他の人と共有することもできたが、彼は「そんなことはしたくない。そんなことをしたらホールから追い出され、MITでの地位も失ってしまう」と言った。ニューロンは 0/1 を出力すると誰もが考えており、今でも多くの人がそう思っているため、私はそのような大きなリスクを冒すことができませんでした。ポール・J・ワーボス著

（バックプロパゲーション、多層ニューラルネットワークの基本アルゴリズム）

3. 分裂：ニューラルネットワークは信頼できない

1993 年頃、Vapnik らは、一般的な型関係のデータインスタンスを高次元に直接マッピングできるカーネルトリックを発明しました。これにより、分離平面を簡単に見つけて、低次元に戻すことができるようになりました。

（トレーニングポイントの3Dマッピング）

当時、より効果的なカーネル法はサポートベクターマシン (SVM) でした。 SVMの発明者であるヴァプニック氏は、人工知能に取り組んでいる人には2種類の人がいて、1つは信頼できる人、もう1つはニューラルネットワークに取り組んでいる人だと言って、ニューラルネットワークに取り組んでいる人々を叱責した。

ニューラルネットワークがディープラーニングモデル (多層ニューラルネットワークモデル) を通じてようやく成果を達成したのは 2006 年になってからでした。しかし、ヴァプニック氏は依然として、ディープラーニングは力ずくで行われ、理論的な指針がなく、悪魔のやり方であり、知能とは何の関係もないと主張している。

しかし、ベンジオ氏は後に、ヴァプニク氏の SVM は基本的にスムーズと呼ばれる事前戦略を使用して機械学習における局所最小値問題を巧みに克服したため、その効果は 2000 年頃のニューラルネットワークよりもはるかに優れていたと述べています。しかし、ニューラルネットワークのトレーニングは複雑であり、適切な戦略は見つかっていません。統計学者は、勾配降下法が使用されるまで、ニューラルネットワークの局所最小値問題に悩まされてきました。もちろん、ベンジオはニューラルネットワークの正式な手法をまだ提示していませんでした。

4. 非難：ニューラルネットワークは錬金術だ

2006年、ヒントン教授の学生2人が音声認識において過去30年間で最大の進歩を達成した。 2009年、画像認識において画期的な進歩がありました。グーグルは2012年にヒントン氏をGoogle Brainの科学者として迎え、その後、2015年のYouTubeの自動字幕、2016年のGoogle翻訳、2017年のAlpha Goなど、一連のニューラルネットワーク技術が実用化されていった。

しかし、それでもニューラルネットワークに対する批判は止むことはありませんでした。それは人工知能だけでなく、数学、統計学、神経生物学、認知科学からも生まれます。最も興味深い主張の 1 つは、ニューラルネットワークは錬金術であるというものです。

[[248049]]

(ML は錬金術、Ali Rahimi NIPS 2017、Ben Recht 2017)

その後、それは有名なミームになりました。それはうまくいきましたが、誰もそれがどのように行われたのか知りませんでした。

5. 2つのルート: ニューラルネットワークはばかげた幻想

ヒントン氏は2017年のBBVA賞受賞スピーチで、ニューラルネットワークの複雑な発展について語った。

50 年以上もの間、人工知能に関する 2 つのビジョンの間で激しい論争が繰り広げられてきました。論理に触発された古典的な見解では、知能とは推論に関するものであり、システムが現実世界で合理的に推論できるようにするには、大量の事実を手作業で入力する必要があり、また、それを適用する際には推論とヒューリスティックルールを大量に入力する必要があるとされています。対立する見解としては、生物学を参考にして脳の神経ネットワークを模倣し、特にこれらのネットワークが経験からどのように学習するかに焦点を当てて、すべての知識を手動で指定しなくても済むようにすべきだというものがあります。ニューラルネットワークアプローチは、ほとんどの人工知能研究者によって不合理な空想だと考えられています。ヒントン
50 年にわたって、人工知能の 2 つのビジョンの間で争いがありました。論理に触発された古典的な見解は、知能とは推論がすべてであり、現実世界で理にかなった推論を行うシステムを作成するには、膨大な数の事実を手動で入力する必要があり、また、それらをいつ適用するかについての膨大な数のルールも必要であるというものでした。対抗する見解は、脳のニューラルネットワークを模倣するべきだというものでした。特に、これらのネットワークが経験からどのように学習するかに焦点を当てるべきであり、そうすれば、すべての知識を手動で指定する必要がなくなります。ニューラルネットワークのアプローチは、AI のほとんどの人々からばかげた空想と見なされていました。Hinton 著

この当たり障りのない説明では、この「戦争」の本当の状況は実際には見えません。記事「人工知能のゴッドファーザー、ヒントンの戦争記録」では、ニューラルネットワークに関する刺激的な議論のうち 3 つを簡単に紹介していますが、当時の実際の状況を再現しているわけではありません。これは蘇士観の著書『ブラックホール戦争』に描かれているような子供じみた賭け事の戦いではなく、実に残酷な「戦争」である。

「戦争」に直面すると、私たちは「なぜ？」と問わずにはいられません。これは、数十年にわたる努力の末に主流となった非主流技術ではないでしょうか? なぜいまだに「戦争」が起こっているのでしょうか?

なぜなら、これは特定の問題に対する解決策ではなく、より深いパラダイムの衝突を伴うように見えるからです。それは論理と類推の間のルートの衝突であり、この新しい人工知能AIは「アナロジーインテリジェンス」と呼ぶことができます。

6. パラダイム衝突

「パラダイム衝突」とは、人工知能の2つのルート間の論争について語ったときに張恩文氏が言った言葉だ。しかし、それは科学の構築と知性の意味に関係しています。

科学という言葉は、知識を意味するラテン語の scientia に由来しています。一般的に言えば、科学とは世界を理解するために使用する知識の集合体です。現代では、何千年にも及ぶ努力の末、数学、論理学、理論計算機科学などを含む形式科学の基礎の上に、壮大な知識の体系が築かれました。この基礎がなければ、世界を正確に理解し記述することができず、生物学や物理学などの自然科学を確立することもできないでしょう。同様に社会を理解し記述することもできず、経済学、心理学、社会学を確立することもできないでしょう。

形式的な科学には限界がありますが、現在のところそれに代わる効果的な方法はありません。形式科学の限界を証明したゲーデルは、「すべての物事には意味がある」（ゲーデルは、すべての物事には原因があるという事実と厳密に同じであると信じていた）を最も重要な論点とした。たとえ科学を使って現実を否定したとしても（時間と空間はアインシュタイン以降、もはや自然法則ではない）、私たちは依然として、科学的建造物は非常に堅固であり、少なくとも現実よりも堅固であると信じています。まだ不確実性はありますが、「私たちは知るでしょう、私たちは知るでしょう」（ヒルベルト）。

しかし、それでも動揺は起こりました。

（チューリング：

未知の世界からのニュース 1954
III 宇宙は創造の円錐の内側の眺めである
IV 科学は微分方程式であり、宗教は境界条件である
アーサー・スタンリー

）

チューリングは、我々は自分たちが作ったものを理解していないと言いました。ニューラルネットワークを通じて期待どおりの結果が得られたとしても、それがどのように機能するかはまだわかりません。初期条件とパラメータはわかっているものの、それを理解できる正式な科学的形式で表現することはできません。

過去には、長い時間（300 年など）が経過した後でも、ニュートンの 3 つの法則などの一連の公式が見つかり、惑星の運動の過去のデータを表現し、それを使用して将来の動きを予測していました。現在、特定のデータモデルを予測することはできますが、その式とその導出プロセス、つまり形式的な表現を記述することはできなくなりました。 Bengio のフレームワークは、「共有現実入力表現状態意識状態言語 (シンボル)」です。追加された抽象化の各レベルは、より複雑なコンピューティングプロセスに対応します。このプロセスは再現可能ですが、日常のコミュニケーションのための記憶可能または記録可能な限られた数の定型句にまで減らすことはできません。外部の補助装置の助けなしに日常生活でそれを使用する私たちにとってさえ、それは理解できないことです。

人工知能パネルでは、

司会者：この方法で作成した AI には副作用があり、リバースエンジニアリングすることはできません。私たちがこの技術を駆使して、最もスマートで、最もパワフルで、最も高速で、そしておそらくこれらすべてのものを生み出すべく競争している中、問題はあるでしょうか。私たちが構築するものを理解するためには、それが内部でどのように機能するかを知らなければならない、ということです。
ヒントン：チューリングが信じていたように、これらの人たちの考え方を私たちが完全に理解することはできないと思います。実際、チューリングは、人間はチューリングマシンではなく、ニューラルネットワークであると信じていました。彼はニューラルネットワークに関する初期の研究を行っていましたが、その仕組みは分からないだろうとどこで言ったのかはよく覚えていません。
サットン：そうですね、私たちも自分たちの仕事のやり方を理解していません。
（「トランプをモデル化することはできるが、ヒラリーをモデル化することはできない」という同じパネルからの発言）

さらに、ニューラルネットワークは、私たちが予想するような論理 (または論理的に不可能なこと) に基づくのではなく、むしろ類推に基づいています。したがって、それは伝統的な科学的アプローチとは根本的に矛盾しており、直感に反しています。これが、それが真剣に受け止められず、合理的に採用されず、抑圧され、包囲されてきた理由です。

しかし、おそらく私たちは過去を振り返り、自分自身をもう一度知る必要があるのでしょう。私たち自身は論理に基づいた動物ではなく、単に類推によって機能する装置です。