Lisp言語はどうやって生まれたのか？LISPとAIは幼なじみ

[[183485]]

LISP 言語の歴史と、いくつかの余談や興味深い逸話は、実際に本として読む価値があります。 3 つの記事を使って、LISP の初期の歴史を簡単に紹介する予定です。 LISP について語るとき、AI (人工知能) について語らずにはいられないので、幼なじみの恋人について噂話をするのもいいかもしれません。

さまざまなプログラミング言語を紹介する本を開いてみると、LISP について言及されているときは必ず「LISP は人工知能 (AI) に適した言語です」という言葉が出てくることに驚かないでしょう。読者がこの文章をどう理解するかは分かりませんが、私が大学に入学したばかりの頃、LISP や人工知能について少しは知っていると思っていたのに、突然この文章を見て「適切」だとは決して思わなかったのです。 その後、SICP を何度も読み返しましたが、なぜ「適している」のかは想像しにくいものでした。LISP は本当に C ではできないことができるのでしょうか。ジョン・マッカーシーのような天才が AI の父であり、LISP の父でもあるので、AI と LISP は完全に一致するのでしょうか。コンピューター科学者は神ではないのに、なぜアダムとイブを創造し、完全に一致させたのでしょうか。両者が同じ根源であるという主張は説得力がありませんが、この主張の根拠は何でしょうか。当時の AI 文献と人工知能の研究状況を読み、当時の人工知能研究の指導理念、当時の研究者が利用できる言語、その他の歴史的背景を組み合わせ、初めてこの 2 つの「適性」を完全に理解できました。 つまり、この記事はゴシップであると同時に私の経験談でもあるのです。一緒に、LISP と AI の幼少時代に戻りましょう。 今ではあまり親しい関係には見えませんが、実は幼い頃は仲の良い幼なじみだったそうです！

機械に知性を与えることは人類の長年の夢でした。なぜなら、機械が人間に代わって知的にいくつかのタスクを完了できるようになるからです。第二次世界大戦中に高速電子コンピュータが登場したことで、この夢は一歩近づきました。第二次世界大戦後、コンピューターは軍隊で十分に使用されなくなり、エリート科学者は原子爆弾の製造を続ける必要がなくなったため、突然、「インテリジェントマシン」と呼ばれるこの魔法のようなものを研究するためのリソースと頭脳が生まれました。 当時盛んに研究されていた例をいくつか挙げると、ウィーナーは 1948 年に「サイバネティクス」を出版しました。その副題は「動物と機械の制御とコミュニケーション」で、生物と機械の間のフィードバックや脳の働きについて論じられています。情報理論の創始者であるシャノンは、1949年にチェスをプレイできるマシン、つまり特定の分野のためのインテリジェントマシンを提案しました。同じ頃、1949 年にカナダの有名な神経科学者ドナルド ヘブが「行動の組織化」を出版し、ニューラル ネットワークの研究の先駆けとなりました。チューリングは 1950 年に「計算機械と知能」と題する有名な論文を発表し、有名なチューリング テストを提案しました。非常に多くの学問分野が創設され、その分野の創始者の多くがインテリジェントマシンに関心を持っていたことから、この分野の研究にとってまさに黄金時代であったことがわかります。

第二次世界大戦が終わって10年後の1956年、知能機械を研究していた研究者たちは皆、自分たちが研究しているものが新しいものだと感じていました。数学、生物学、電子工学に関連していたものの、従来の数学、生物学、電子工学、脳科学とは異なっていました。そのため、新しいブランドを立ち上げることは避けられない流れとなりました。 1956 年の夏休み、ジョン・マッカーシーはドルトムント大学 (当時、アメリカにおけるコンピュータサイエンスの発展の聖地の 1 つでもありました。たとえば、BASIC 言語の発祥の地です) で、シャノン、ミンスキーら (当時は皆若者でした) と会議を開き、人工知能というかっこいい用語を考案しました。これが、人工知能という学問の正式な確立となりました。 AI は知能を研究する機械であるため、その分野が確立されると、答えなければならない重要な質問が 2 つあります。1 つは世界をどのように表現するか、もう 1 つはコンピューターが世界に関する知識に基づいて知能をどのように導き出すか、ということです。 最初のポイントは、専門用語で言うと「知識表現」モデルであり、2 番目のポイントは、専門用語で言うと「インテリジェント計算モデル」です。 これら 2 つの質問を過小評価しないでください。当時の研究者が、一見些細なこの 2 つの質問に対して出した答えが、LISP と AI の恋愛関係に直接つながりました。

私たち一人一人が持っています。 まず知識を表現する方法についてお話しましょう。 AI研究が通常のプログラミングと異なる点は、AIの入力データが通常非常に多様であり、固定の形式がないことです。たとえば、数学の問題を解いたり、英語の段落を中国語に翻訳したり、数独パズルを解いたり、顔の画像を認識したりします。 これらすべては、まず「知識表現」と呼ばれる分野を通じて、コンピューターが処理できるデータ形式で表現される必要があります。当然のことながら、コンピュータ科学者は、さまざまな現実世界のオブジェクトを処理する必要性を表現するために、統一されたデータ形式を使用したいと考えています。これには当然、強力で柔軟なデータ形式の設計が必要です。 このデータ形式はリンクリストです。

ここでは、自分の能力を過大評価せず、限られた知識を基に、リンク リストが理想的なデータ構造である理由の背後にあるロジックをたどってみたいと思います。 SICP を読んだ読者は、リンク リストの柔軟性について深く理解しているはずです。リンク リストの利点を分析するには、他の最新のデータ構造と比較するのもよいでしょう。前回のシリーズで述べたように、当時のデータ構造は非常に限られていたため、リンク リストと、同時代に最も広く使用されていたもう 1 つのデータ構造である配列の長所と短所を比較してみるのもよいでしょう。配列とリンク リストはどちらも線形データ構造であり、それぞれに利点があることは誰もが知っています。FORTRAN は基本的に配列を中心に構築されていますが、LISP はリンク リストを中心に実装されています。チェスや幾何学の問題などの AI の問題の表現を研究することで、読者は AI 研究が数値計算よりも記号計算や論理計算に重点を置いていることに容易に気づくでしょう。たとえば、チェスのプレイを純粋な数値に基づく計算問題に抽象化することは困難です。 このように、数字のみを格納できる配列は適していません。もちろん、配列を拡張して、これらの配列要素にシンボルを格納することもできます。ただし、それでも配列は異なる構造のデータを格納することはできません。たとえば、チェスでは、戦車、馬、大砲はそれぞれ独自のルールを持っており、これらのルールを格納するために必要な構造とユニット サイズが異なるため、各セルの構造を同じにするのではなく、異種のデータ ユニットを格納するモジュールが必要になります。 さらに、AI では、一部のデータはいつでも追加および変更する必要があります。たとえば、チェスでは、ポーンは最初の動きで 2 ステップ移動でき、一番下でクイーンになることができます。これには、ポーンのルールをいつでも修正、追加、削除、変更できることが必要です。他の問題にも同様の要件があります。いずれの問題も、配列の次元が同じサイズであるという制約を緩和し、特定の次元のサイズを動的に増減したり、配列要素を動的かつ効率的に追加したり削除したりできるようにする必要があります。セルが同型であり、いつでも追加および削除できるという 2 つの制約が緩和されると、ランダム アクセス機能が基本的に失われるため、配列は配列ではなくなり、配列は自然にリンク リストになり、リンク リストを使用して実装する必要があります。

したがって、人工知能の統一データ構造として配列ではなくリンク リストを使用することは、確かに天才的なアイデアの結果でしたが、実用的なニーズの影響も受けていました。もちろん、科学的研究よりも実践を重視した LISP バージョンである CommonLISP では、配列がリンク リストの補足として基本的なデータ構造になっており、CommonLISP では画像処理や行列の処理なども実行できることは特筆に値します。この事実は、データ構造を基本単位として選択することが実用的なニーズによって決定されていることを更に示しています。

もちろん、科学者にとって、リストがこれらの現実世界の問題を表現できることを証明するだけでは十分ではありません。さらに 2 つの点を証明または検証する必要があります。1 つ目は、リスト表現がすべての人工知能の問題を完全に表現できること、つまりリスト構造の十分性です。この点を証明して初めて、リンクリストでは表現できない問題が突然現れることを心配することなく、リンクリストを安全に使用できるようになります。また、リンクリストの既存の処理方法では実現できない人工知能の問題を心配することなく、リストの何らかの処理方法を通じて実際に人工知能を実現できます。これら 2 つの質問に対する答えが「はい」の場合にのみ、リスト処理は人工知能の一部になります。

実際のところ、これら 2 つの質問に対する明確な答えはありません。これらは単なる科学者の推測、または一般に受け入れられている研究パラダイムです。 1976年、LISPの前身であるIPLを考案した2人の天才、アラン・ニューウェルとハーバート・サイモンが、ついに歴史的回想という形で記事を書きました。 この論文では、当時のパラダイムを次のように哲学的に要約しています。「物理的な記号システムは、一般的な知能活動に必要かつ十分な手段を備えています。」簡単に言えば、「知能は何らかの記号計算システムに依存しなければならず、また、知能は記号計算システムに基づいて導き出されることもできる。」実際には、この推測、つまりこのパラダイムを受け入れると、記号計算を使用して AI を実装できることを認めることになります。したがって、この予想により、当時のほぼすべての研究者が、普遍的な記号計算システムの実現に賭けるようになりました。記号計算に基づく普遍的なシステムを作成すれば、このシステムを使用して知能を実現できるからです。

上で述べたように、リンク リストの強力な表現力はこの記号計算システムには十分すぎるほどであるため、記号計算をどのように実装するかだけを考慮すれば済みます。上記の推測が正しく、リンク リストがすでにすべての記号を表現できる場合、私たちの問題はすべて、そのような記号計算システムをどのように構築するかになります。後で、LISP が関数型プログラミングを通じてこれらの計算規則の構築を完了することがわかります。

ここで、LISP の正式名称はリスト処理ですが、実際には LISP はリスト処理と関数型プログラミングという 2 つの相互に直交する哲学の組み合わせによって形成されていることに読者の注意を喚起する必要があります。 今後、この 2 つをシームレスに組み合わせる優れた形式である S-Expression を紹介しますが、概念を明確にするために、リスト処理と関数型プログラミングは 2 つの直交する部分であることを強調したいと思います。実際、関数以外の方法でリスト処理言語を構築することもできます。歴史的には、FORTRAN が登場するずっと前に、Alan Newell と Herbert Simon がアセンブリ言語を使用して IPL と呼ばれる言語を実装しました。この IPL 言語は、手続き型のリスト処理言語です。後に McCarthy も、最初は FORTRAN の一連のサブルーチンを使用してリスト処理を行いました。たとえば、LISP の CAR 操作は、実際には、リストの最初の要素であるレジスタのアドレス部分のコンテンツを完了します (レジスタにリストの最初の要素へのポインタが含まれる C での配列の表現方法に似ています)。オブジェクトを基本データ単位として使用する Scala など、リストを基本データ単位として使用しない関数型言語も数多くあります。 したがって、機能処理とリスト処理は必ずしも相互に結合されているわけではありません。では、LISP が関数型プログラミングを選択した理由は一体何だったのでしょうか。また、当時の AI 研究にはなぜこの選択​​の方が適していたのでしょうか。次のセクションでは、当時の AI の研究パラダイム、強い AI と弱い AI の議論、そして当時の AI 研究における関数型プログラミングの利点について引き続き紹介します。

前回、LISP と AI の幼なじみの仲についてお話ししたとき、それは知識表現における LISP の基本データ単位である「リンク リスト」の比較優位によるものだと簡単に触れました。 AI が処理する必要のあるデータ構造と、AI が描写する必要のある現実世界のモデルは非常に複雑であり、配列などの他の単純なデータ構造では処理できないため、「リンク リスト」が最適な選択肢になると言われています。この論理に従えば、「リスト処理言語」である LISP を選択するのが自然に思えます。 しかし、この理由だけでは十分ではありません。 LISP 言語はリスト処理だけではなく、関数型プログラミングなども含んでいます。 一方、リスト処理だけが AI に必須であるならば、汎用プログラミング言語である FORTRAN や Algol などの従来の言語でリスト処理関数を記述する方が直感的で便利ではないでしょうか。結局のところ、LISP には他に何があるのでしょうか。

関数型プログラミングの流れを追っていくと、必然的に AI の初期の歴史に触れることになります。 LISP の特性は、実は当時の AI パラダイムと密接に関係しています。

AIパラダイムの進化

マッカーシーと彼の世代が AI を提唱するずっと前から、フォン・ノイマンと他の人々は知能とは何か、そしてそれをどのように達成するかを研究し始めていました。違いは、脳の内部動作メカニズムの研究に重点を置いており、脳の動作メカニズムをシミュレートすることで知能を実現しようとしていることです。 この学派の哲学は非常に明確です。人間の脳は標準的な知的存在であり、コンピューターに人間の脳の働きをシミュレートさせるだけで、コンピューターは人間の脳と同じ知能を持つようになるというものです。この研究グループは、脳の構造と動作メカニズムが知能を決定すると考えています。脳が脳細胞で構成されているのか、電子回路でシミュレートされているのかは、知能にとって重要ではありません。この分野で有名な研究は、フォン・ノイマンの論文「コンピュータと脳」です。このあまり学術的ではないエッセイで、彼は人間の脳にはニューロンがいくつあり、コンピューターにはトランジスタがいくつあるかを分析し、これらの定量的な比較を使用してコンピューターと人間の脳のギャップを説明しました。当時フォン・ノイマンと同じくらい有名だったもう一人の天才児は、サイバネティクスの先駆者であるウィーナーでした。 フォン・ノイマンと同様に、彼も多くの分野に精通していました。フォン・ノイマンと同様に、彼も職業は数学者でしたが、神経科学や脳科学などの分野にも精通していました。わかりやすい例は『サイバネティクス』という本で、そこにはウィーナーの脳と神経の分析が随所に見られます。脳と神経の分析の伝統はカハール（そう、若き研究者へのアドバイスを書いた偉大な人物）から始まり、AI のコネクショニズム（主にニューラル ネットワークを研究する人工知能の学派）へと引き継がれました。

しかし、当時は脳科学や認知科学の観点から知能を分析することに非常に大きな限界がありました。それは、脳の神経解剖学自体が未熟だったからです。たとえば、今日では脳科学者は一般的に fMRI やその他の神経画像技術を使用して脳機能を分析しています。これらの技術により、脳内の血中酸素の分布をリアルタイムで観察し、特定のタスクを実行するときに脳の活動部分を直接特定することができます。当時の科学者は限られた数の医療画像技術しか使用できず、血管写真の観点から脳を研究することしかできませんでした。 当時の研究条件の制約により、当時の研究者が脳神経のリアルタイムの活動状態を直接観察し、脳のリアルタイムの活動メカニズムを分析することは困難でした。そのため、脳に関する詳細な研究を行うことは困難です。 医学研究条件の制限と、当時の電子機器の開発と統合が十分ではなかったという事実により、電子回路を使用して脳をシミュレートし、知能を生成することは非常に遠いように思われました。したがって、この学派は先進的なアイデアを持っていますが、ほとんどの研究は電子回路で実際に脳をシミュレートすることではなく、脳科学や神経科学そのものを探求すること、または単に電子回路を使用していくつかの単純な神経ダイナミクスの動作や小規模なニューラル ネットワークをシミュレートすることに関するものです。コネクショニズムは、人工知能そのものの実現において大きな進歩を遂げていないため、AI の分野では人気の研究方向となっていません。 1980 年代以前に成功裏に実装された人工知能システムのうち、コネクショニスト学派から生まれたものはほとんどありませんでした。コネクショニズムが再び人気を博したのは、1980 年代に BP アルゴリズムが再発見されてからでした。この時点で、LISP はすでに 20 周年を迎えていました。したがって、コネクショニズムは、AI の分野で使用されるプログラミング言語の選択に大きな影響を与えません。

象徴主義

当時、コネクショニスト学派はあまり人気がなかったものの、AI研究は本格化していました。この繁栄した学派は、私たちが「象徴学派」と呼ぶ異なるアプローチを採用しました。記号学派の起源はチューリングまで遡ることができます。チューリングは人工知能に関して多くの研究を行いましたが、その中で最もよく知られているのが「チューリングテスト」です。 「インターネットでは、あなたが犬だということは誰にも分からない」という格言があります。この文で「犬」を「コンピュータ」に置き換えると、チューリング テストの簡易版になります。もっと「流行の」例えを使うと、チューリングテストとは、コンピューターまたは実際の人間（審査員とも呼ばれる）にオンラインで通信させ、次に審査員に、話している相手が人間であるかコンピューターであるかを推測させることです。裁判官も、話している相手が人間なのかコンピューターなのかを区別できない場合は、コンピューターは「本物と区別がつかない」ほど優れており、「人間と同じ知能」を持っているとみなし、「チューリングテスト」に合格したことになります。

長い間、チューリングテストは人工知能研究の聖杯でした。 つまり、「チューリングテスト」に合格することが人工知能研究の究極の目標となっているのです。したがって、当然ながら、チューリング テストに合格する最も直接的な方法は、コンピューターを人間の脳のように考えさせることではありませんが、コンピューターが会話で使用される単語、文章、記号を処理し、会話の中で人間のようにこれらの単語や記号を操作できる限り、コンピューターがチューリング テストに合格する可能性は大いにあります。最も極端なケースでは、コンピュータはチューリングテストに合格するためにこれらの文の意味を「理解」する必要さえありません。 [詳しくはWikipediaの「中国語の部屋」の項目をご覧ください] ALICE と呼ばれるオープンソースのチャットボットがあり、これは、上で述べた「記号を処理して操作できる限り、チューリングテストに合格できる可能性がある」という考え方をほぼ極端なレベルまで推し進めています。このチャットボットはチューリングテストのコンテストで何度も人間の審査員を騙しており、本物とほとんど区別がつかないほど「知的」です。しかし、チューリング テストに合格しそうなロボットの基本構造は、私たちには想像もできないほど単純です。ALICE のデータベースには、ユーザーの発言を見たときにロボットが何を言うべきかを指示するルールが 1 つずつ含まれています。唯一の「賢い」点は、一部のルールがあなたの文だけでなく、前の文にも依存することです。 [例えば、日常会話では、まず「映画を見るのが好きですか？」と尋ね、次に「どんな種類の映画が好きですか？」と尋ねます。このとき、前の文から質問が「どんな種類の（映画）が好きですか？」であると推測する必要があります。] 「中国語の部屋」の例と ALICE ロボットのシンプルな構造は、コンピューターが記号を操作する能力を持ち、チューリング テストに合格したとしても、必ずしも「インテリジェント」であるとは限らないことを意外に示しています。残念ながら、この発言は私の後知恵に過ぎません。チューリング テストによって推進された AI 開発の初期には、コネクショニズムの相対的な弱さと記号主義の繁栄により、世界中の AI 研究は当然「記号処理」という 1 つの方向に引き寄せられました。

記号処理とLISP補足

実際、アラン・ニューウェルとハーバート・サイモンは、記号計算システムから知能を導き出せると信じていたことは前回の記事ですでに述べたとおりなので、上記の文章は記号パラダイムの小さな歴史的注釈とみなすことができます。 この歴史にLISPを当てはめると、人工知能に適した言語は何かという問いは、当然「記号処理ができる言語は何か」という問いになると思います。この質問に対する答えは、読者の皆さんが推測したとおり、LISP です。

前回の記事では、LISP でのシンボリック処理の利点のいくつかをすでに紹介しましたが、ここでさらにいくつかの点を追加します。 LISP には、プログラムとデータを統一的に表現するための S-Expression と呼ばれるよく知られた方法があります。この S は実際には Symbolic を意味します。 LISP は、プログラムとデータをシンボルとして統一的に扱い、現代のプログラミング言語の観点からメタプログラミングをサポートします。 LISP プログラムは、LISP プログラムを処理、生成、および変更できます。この特徴と、関数が第一階オブジェクトであるという事実を組み合わせることで、LISP は当時の他のどの言語よりもはるかに柔軟になります。私は LISP ユーザーではありません (初心者でもありません) ので、この点に関する知識は限られています。しかし、LISP に関する私の限られた理解に基づくと、LISP の柔軟性は、言語の「強力な表現力」（あらゆる複雑なシステムをモデル化できる）と「高レベルの抽象化機能」に対する記号処理に基づく AI 分野のニーズをちょうど満たしていると思います。最初の点に関して、プログラミング言語の技術やアイデアが提案されるたびに、必ず「これはすでに LISP に存在している」と主張する専門家が出てくるという有名なジョークがあります。具体的な例としては、前述のメタプログラミングやオブジェクト指向言語が挙げられます。ここで暗示されているのは、LISP の強力な表現力であり、これにより、多くのプログラミング パラダイムを実装したり、その影を LISP に見つけたりすることが可能になります。 2 点目については、SICP には多くの例があり、私が説明するよりもはるかに詳しく説明されているので、詳しく説明する必要はありません。

前回の記事で、どんなプログラミング本を開いても「LISP は AI に適したプログラミング言語である」と書かれていることを述べました。さて、当時の私のように AI の研究や探究に携わりたいと考えている人は、必然的に「AI を学ぶには LISP を学ぶべきだろうか?」と疑問に思うでしょう。当時この疑問を抱いてから、もう 8 年近く経ちます。明確な答えはありませんが、より多くの事実を知っています。

今日のAIパラダイム

AI 研究者に初心者に適した本を何冊か勧めるように頼むと、10 回中 9 回は「人工知能: 現代的アプローチ」と「人工知能: 新しい統合」を挙げるでしょう。 これら 2 冊の本の著者は、どちらも AI 分野のベテランである Peter Norvig 氏と Nils Nilsson 氏です。 本のタイトルに敏感な人なら、きっとこう思うでしょう。「おかしいな、こんな本がベストセラーにならないのは、この二人のビッグネームが本が売れないのではないかと恐れて、注目を集めるためにタイトルに「現代」や「新しい」という言葉を加えたからではないか？」実は、この「現代」と「新しい」には、どちらも素晴らしい由来があるのです。 実際、過去 20 年間で、AI 研究の分野ではいくつかの大きなパラダイム シフトが起こりました。従来のシンボルベースの AI 手法はもはや主流ではなく、統計、自動推論、機械学習、集合知、大規模データセットなどに基づくさまざまな研究手法に取って代わられました。 このパラダイムシフトは、分野外の人々にとっては静かなもののように思えるかもしれませんが、実際には、AIの分野ではすでに大きな変化が起きています。だからこそ、本のタイトルには「新しい」や「現代的」といった言葉が出てくるのです。 残念ながら、プログラミング言語の本の著者のほとんどはこの変化に気付いていないため、依然として元のフレームワークに従い、「LISP は AI に適したプログラミング言語である」という主張を書き続けていますが、これはもはや現状を完全に反映したものではありません。 AI研究を行う研究者や科学者がどのような言語を使用しているかを数えてみると、答えはさまざまです。AI検索を行う研究者や科学者はC/C++/Javaを使用し、機械学習を行う研究者や科学者はモデルとマトリックスが密接に関連している場合はMatlabを使用できます。また、統計計算がさらに必要な場合はRを使用することもできます。データマイニングなどに関しては、言語やライブラリはさらに多様化しており、1つの言語が優位であると主張することは不可能です。 LISP は AI に適した言語であるという教科書的な神話は、数え切れないほど多くのそのような例によって長い間打ち破られてきました。