Wolfram言語の父: ChatGPT は何ができるのか?

写真

ChatGPT は非常に人気が高まり、人間の働き方や考え方さえも変え始めています。それを十分に理解し、認識し、将来の機会を見据えることは、誰もが築きたいと願う精神になっています。世界中を見渡しても、GPT の原理と将来を十分説明できる唯一の本は、Stephen Wolfram の「This is ChatGPT」です。

ご存知の方もそうでない方も、この伝説の人物の体験を改めて皆様にご紹介したいと思います。

彼はイリノイ大学の物理学、数学、コンピューターサイエンスの教授であり、「科学の天才」です。 15歳のとき、彼は素粒子物理学に関する最初の学術論文を発表し、19歳のとき、カリフォルニア工科大学に入学して素粒子物理学を学び、1年以内に理論物理学の博士号を取得しました。その後、彼はファインマンとともにセルオートマトンの研究に取り組みました。

彼はソフトウェア エンジニアであり、ビジネス オーナーでもあります。彼が設立したソフトウェア会社、Wolfram Research は、現在世界 4 大数学ソフトウェアの 1 つである Mathematica を開発しました。 Mathematica のリリースは現代の科学計算の始まりを示し、世界で最も強力な汎用計算システムです。この発明により、ヴォルフラム自身も「人類の偉大な恩人」とみなされ、億万長者となった。

1981 年、ウルフラムはマッカーサー「天才」賞を受賞し、同賞の史上最年少受賞者となった。

2009 年 5 月、Wolfram は検索エンジン WolframAlpha をリリースしました。 「真に有用な最初の人工知能。」質問に対して効果的な回答を提供できるため、WolframAlpha はリリース直後から「Google キラー」と呼ばれました。彼はスティーブ・ジョブズの良き友人でもあります。たとえば、Apple のモバイル アシスタント Siri の背後にある知識ベースは、実際には Wolfram|Alpha によってサポートされています。

彼の1,197ページの大著『A New Kind of Science』は、2002年に出版されるとアマゾンのベストセラーリストのトップに躍り出た。

彼は現代に生きる最も賢い人物の一人であり、最も徹底した思想家の一人です。

写真

これはChatGPTです

[米国] スティーブン・ウルフラム、WOLFRAM Media中国語翻訳チームによる翻訳

では、ChatGPT は具体的に何をするのでしょうか?なぜそれができるのでしょうか?

ChatGPT の基本的な概念は、かなり単純です。まず、インターネットや書籍などから人間が作成した大量のテキスト サンプルを取得し、次にニューラル ネットワークをトレーニングして「それに似た」テキストを生成します。具体的には、「プロンプト」から開始して、「トレーニング データに類似したテキスト」を生成することができます。

ご覧のとおり、ChatGPT のニューラル ネットワークは、実際には数十億の要素ではあるものの、非常に単純な要素で構成されています。ニューラル ネットワークの基本的な動作も非常に単純です。基本的に、生成される新しい単語 (または単語の一部) ごとに、それまでに生成されたテキストから取得された入力が、順番に「そのすべての要素に 1 回」渡されます (ループなどはありません)。

写真

注目すべき、そして予想外なのは、このプロセスによって、インターネットや書籍などにあるコンテンツに「類似した」テキストをうまく生成できることです。 ChatGPT は、首尾一貫した人間の言語を生成できるだけでなく、「読み取った」内容に基づいて「プロンプトに従って何かを言う」こともできます。 Wolfram|Alpha の「計算スーパーパワー」を利用せずに、トレーニング教材の「聞こえ方」に基づいて「正しく聞こえる」ことを言っているだけなので、常に「全体的に意味をなす」（または計算的に正しい）ことを言っているわけではありません。

ChatGPT の特定のエンジニアリングは非常に注目に値します。しかし（少なくとも外部ツールを使用できるようになるまでは）ChatGPTは、蓄積された「常識の統計データ」から「一貫性のあるテキストスレッド」を「単に」抽出するだけです。しかし、その結果は驚くほど人間に似ています。

私が論じたように、これは少なくとも科学的に重要なことを示唆しています。つまり、人間の言語とその背後にある思考パターンは、私たちが考えていたよりも構造的に単純で「規則的」であるということです。 ChatGPT はすでにこれを暗黙的に発見しています。しかし、意味文法や計算言語などを使えば、それを明確に明らかにすることができます。

ChatGPT はテキスト生成のパフォーマンスが非常に優れており、その結果は人間が作成したテキストと非常によく似ています。これは ChatGPT が人間の脳のように機能することを意味しますか?その基礎となる人工ニューラル ネットワーク構造は、最終的には理想的な脳のモデルになります。人間が言語を生成するとき、多くの側面が非常に似ているように見えます。

写真

トレーニング（つまり学習）に関しては、脳と現在のコンピューターの「ハードウェア」の違い（およびいくつかの未調査の基盤となるアルゴリズムのアイデア）により、ChatGPT は脳とは非常に異なる（そしてある意味では効率の悪い）戦略を使わざるを得なくなります。

言及する価値のあるもう 1 つのこと: 一般的なアルゴリズム計算とは異なり、ChatGPT 内では「ループ」や「データの再計算」は行われません。これにより、脳は言うまでもなく、現在のコンピューターと比較しても、必然的にその計算能力は制限されます。

この問題を「修正」し、システムが妥当な効率でトレーニングできるようにする方法は明らかではありません。しかし、そうすることで、将来の ChatGPT がさらに「脳のようなこと」を実行できるようになる可能性があります。もちろん、脳が苦手なことはたくさんあります。特に、不可分な計算を伴うものは苦手です。これらの問題については、脳と ChatGPT のようなものは、Wolfram Language のような「外部ツール」に助けを求める必要があります。

しかし今のところ、ChatGPT が何を実現できたかを見るのは非常にエキサイティングです。ある意味、これは、多数の単純なコンピューティング要素がいかにして並外れた驚くべきことを実現できるかを示す素晴らしい例です。また、これは、人間の状態の核となる特徴である人間の言語とその背後にある思考プロセスの性質と原理をより深く理解するための、2,000年以上ぶりの最高の推進力となります。

今後の道

機械学習は、特に過去 10 年間でいくつかの目覚ましい成功を収めた強力なアプローチであり、その最新のものが ChatGPT です。これに画像認識、音声テキスト変換、言語翻訳が加わります…いずれの場合も、通常は突然、ある閾値を超えます。いくつかのタスクは、「基本的に不可能」から「基本的に実行可能」に変わりました。

しかし、結果は決して「完璧」ではありません。おそらく、95% の確率でうまく機能するものが存在するでしょう。しかし、どれだけ努力しても、残りの 5% の時間のパフォーマンスは得られません。一部の人にとっては、これは失敗だと考えられるかもしれません。しかし、重要なのは、さまざまな重要なユースケースでは、95% で「十分」であることが多いということです。その理由は、出力に「正しい答え」がないためか、あるいは、人間 (またはシステム アルゴリズム) が選択または改善できる可能性を単に探ろうとしているだけである可能性があります。

数百億のパラメータを持ち、一度に 1 つのトークンでテキストを生成するニューラル ネットワークが ChatGPT と同じことを実行できるというのは、実に驚くべきことです。

写真

この劇的で予想外の成功を考えると、「十分に大きなネットワークをトレーニング」できれば、何にでも使えると考える人もいるかもしれません。しかし、そうではありません。計算に関する基本的な事実、特に計算不可分性の概念は、それが最終的には不可能であることを示しています。

しかし、気にしないでください。重要なのは、機械学習の実際の歴史で私たちが目にしてきたことです。大きな進歩（ChatGPT など）があり、進歩は止まりません。さらに重要なのは、私たちができることの成功事例を見つけ、それが私たちができないことで妨げられないことです。 RawChatGPT は多くの場合、さまざまなドキュメントや通信に役立つテキストの作成、アドバイスの提供、または生成に役立ちますが、物事を完璧に行う必要がある場合、機械学習は解決策ではありません。人間も同様です。

これはまさに上記の例で見られるものです。 ChatGPT は、正確な「正解」がない「人間らしい部分」に優れています。しかし、正確なコンテンツを提供することを強いられると、失敗することが多いのです。これらの例のポイントは、この問題を解決する優れた方法があることです。つまり、ChatGPT を Wolfram|Alpha に接続して、その計算知識の「スーパーパワー」を最大限に活用するのです。

ChatGPTについて考える

Wolfram|Alpha 内では、すべてが計算言語、つまり正確な Wolfram Language コードに変換されます。これらのコードは、信頼性を持って使用されるためには、ある程度「完璧」でなければなりません。重要なのは、ChatGPT がこれらのコードを生成する必要がないことです。一般的に使用される独自の自然言語を生成することができ、その後、Wolfram|Alpha の自然言語理解機能によって正確な Wolfram Language に変換されます。

写真

多くの点で、ChatGPT は物事を「本当に理解した」わけではなく、「役に立つものを生み出す方法を知っていた」だけだと言えます。しかし、Wolfram|Alpha はまったく異なります。 Wolfram|Alpha が何かを Wolfram 言語に変換すると、その完全かつ正確な形式表現が得られ、それを使用して確実に計算を実行できるようになります。言うまでもなく、「人間の関心事」の中には、正式な計算表現がないものが数多くあります。自然言語でそれらについて話すことはできますが、十分に正確ではない可能性があります。これらの点については、ChatGPT は自分自身に頼るしかありませんが、それだけでも十分に機能します。

私たち人間と同じように、ChatGPT にも時々、もう少しの形式性と正確さが必要になります。重要なのは、Wolfram|Alpha は ChatGPT の母国語に相当する自然言語でコミュニケーションできるため、「形式的で正確な」言語で表現する必要がないということです。 Wolfram|Alpha は、自然言語を独自のネイティブ言語である Wolfram Language に変換するときに、「形式と精度の追加」を行います。これは非常に良い状況であり、大きな実用的可能性を秘めていると思います。

この可能性は、典型的なチャットボットやテキスト生成アプリケーションを超えて、データ サイエンスやその他の形式の計算作業 (またはプログラミング) などにまで広がります。ある意味、これは ChatGPT の人間のような世界と Wolfram Language の正確な計算の世界を組み合わせる非常に直接的な方法です。

ChatGPT は Wolfram 言語を直接学習できますか?答えは「はい」です。実際、すでに学習が始まっています。 ChatGPT のようなものが最終的には Wolfram 言語で直接実行され、その結果非常に強力になることを私は強く望んでいます。

この興味深くユニークな状況は、Wolfram 言語の包括的な計算言語によって可能になりました。Wolfram 言語を使用すると、世界やその他の場所の物事について計算用語で幅広く語ることができます。

Wolfram 言語の全体的なコンセプトは、人間が考え、行うことを計算的に表現し、処理することです。包括的な計算言語である Wolfram 言語は、コンピューターに正確に何を実行するかを指示するという通常のプログラミング言語の目的をはるかに超えています。実際、これは人間とコンピュータの両方が「計算的に考える」ことを可能にする言語となることを目的としています。

写真

何世紀も前、数学的記法が発明されたとき、人類は初めて「数学的に考える」ための合理化された媒体を手に入れました。その発明はすぐに代数学、微積分学、そして最終的にはすべての数学科学につながりました。 Wolfram 言語は、計算的思考に対しても同様のことを行うことを目指しています。これは、人間だけではなく、計算パラダイムが切り開く「計算的 XX」のすべての領域を可能にするためです。

私は個人的に、Wolfram Language を「思考言語」として使用することで大きな恩恵を受けています。過去数十年間に、Wolfram 言語を使用して「計算的に考える」という点でどれほど多くの人々が進歩を遂げてきたかを見るのは驚くべきことです。

では、ChatGPTはどうでしょうか?これも実行できますが、すべてがどのように機能するかはまだわかりません。しかし確かなのは、これは ChatGPT に Wolfram Language がすでに習得している計算の実行方法を学習させることではなく、ChatGPT に Wolfram Language を人間のように使用することを学習させ、ChatGPT に (自然言語ではなく) 計算言語で「創造的な記事」を生成させることなどであるということです。

私はずっと前に、自然言語と計算言語を混合して人間が書いた計算文書の概念について議論しました。ここで問題となるのは、ChatGPT が Wolfram 言語を使用して、人間とコンピューターの両方に「意味のあるコミュニケーション」を提供する方法としてこれらのエッセイを書くことができるかどうかです。はい、Wolfram 言語コードの実際の実行に関連する、潜在的に興味深いフィードバック ループがここにあります。

しかし、重要なのは、Wolfram Language コードが表す「アイデア」の豊かさと「思考」の流れです。これは、通常のプログラミング言語に見られるものと似ており、ChatGPT が自然言語で「魔法のように」処理するものに近いものです。

言い換えれば、Wolfram 言語は自然言語と同じくらい表現力があり、ChatGPT に意味のある「プロンプト」を書くために使用できます。そうです、Wolfram 言語コードはコンピューター上で直接実行できます。しかし、ChatGPT からのリマインダーとして、継続可能な「アイデア」を「表現」するためにも使用できます。計算構造を記述し、その構造について人々が計算的に言うであろうことを ChatGPT に「即興で」実行させることができ、人間が書いた多くの資料を読んで学んだことに基づいて、これは「人間にとって興味深いものになるだろう」としている。

ChatGPT の予想外の成功により、さまざまな刺激的な可能性が突然開かれました。現時点で私たちがつかむことができる即時の機会は、Wolfram|Alpha を通じて ChatGPT に計算知識のスーパーパワーを与えることです。このようにして、ChatGPT は「人間のような合理的な出力」を生成できるだけでなく、これらの出力が Wolfram|Alpha と Wolfram Language にカプセル化された計算と知識の塔全体を活用することも保証します。