GPTモデルが人間のように聞こえるのはそのためです

翻訳者 | 劉涛

レビュー | Chonglou

AIがなぜ機能するのか誰も知らないですよね？

はい、そしていいえ。

基本的に、人間の脳の秘密については、私たちはまだほとんど何も知りません。

しかし、自然言語処理におけるトランスフォーマー（自然言語処理（NLP）やその他のシーケンスツーシーケンス（seq2seq）タスクに使用される人工ニューラルネットワークモデル）と人間の反応は、驚くほど似ています。

理由を説明しましょう。

Transformer に情報表現を保存する

複数の単語またはトークンの入力から生成されたベクトルを使用して、Transformer の埋め込みを作成します。

したがって、情報はベクトルの形式で保存されます。

「表現」の問題を考えると、実は「注目メカニズム」よりも「表現の埋め込み」の方が根本的です。まず、「デコード可能」または「操作可能」な「表現」を取得する必要があります。

GPT-4 のようなトランスフォーマーがインターネット全体でトレーニングされた後にできることすべてとこれがどう関係するのか疑問に思うかもしれません。

情報は、元のデータの文脈上の意味と表現と組み合わされた注意点のドット積と数学的演算を通じてエンコードされます。

したがって、このデータの表現を Transformer に保存します。

重要な要素

すべてのニューラルネットワークは、普遍近似定理に基づいて問題を解決します。

普遍近似定理が何であるか分からない人のために説明すると、普遍近似定理とは、指定された入力を指定された出力に正確に変換するプロセス、つまり入力から出力への関数として近似できるプロセスと定義できます。この関数には特定の形式がありますが、それを知る必要はありません。十分なデータが与えられれば、ニューラルネットワークはあらゆる関数を近似できるからです。

関数とは何ですか?これが私たちが解決しようとしている問題です。

ニューラルネットワークは、その処理アルゴリズムを通じてあらゆる関数を近似できるため、汎用的です。

アーキテクチャは異なり、アルゴリズムは異なり、モデルは異なりますが、基本は同じです。

そのため、ニューラルネットワークは、十分なデータがあり、適切なタスクが与えられ、適切な方法で調整されている場合に機能します。これは、時間の経過とともに向上する技術です。

LLM (大規模言語モデル) では、「犬」という概念の潜在的な表現は何でしょうか?

それを表現する方法は確かに 1 つありますが、実際には複数ある可能性があります。

おそらく、1 匹の犬の x ベクトル、y コンテキスト値、z 位置パラメータ、および元のデータフローアーキテクチャへの正しいパスです。

まだ目的に必要ではないため、詳しく調べていません。

システムは正常に動作しています。

私たちにとってはそれで十分です。

したがって、システムはブラックボックスです。

しかし、脳はどのようにしてデータを保存するのでしょうか?

以前と同じように、正確な詳細はわかりません。

私たちの脳が作られたとき、外部の物体、概念、実体の内部表現が作成されました。まるで成長中の子供のようです。

たとえば、犬の概念には、x 個のニューロン、y 個のシナプス、z 個のアーキテクチャが含まれ、ニューロン間で動的に進化する生データ移行パスのセットが含まれます。

つまり、人間の脳もブラックボックスなのです。 GPT モデルに適用されるのと同じ原理が脳にも適用されると言えます。つまり、脳も普遍的な近似値なのです。

近似の法則は明らかに私たちの脳に当てはまります。

それは同じ原理です。

私たちの脳内の思考も、組み込みシステムを通じて保存/表現することができます。

これらの埋め込みは自然に作成されるだけです。

極めて低い電気エネルギーを持つニューロン、軸索、樹状突起のグループ。

さまざまな形式。さまざまな機能。しかし、最終結果は同じです。

システムは機能します。

私たちにとってはそれで十分です。

他に何を知っていると言えるでしょうか?

経験的に観察できるものだけです。

もう一つのブラックボックス。

では、なぜ自然言語ではそれほど似ているのでしょうか?

私たちは、インターネットから収集されたすべてのデータ、つまり世界のデータを活用して、非常に複雑なプロセスを通じて、できる限り AGI をモデル化しようとしています。

シーケンスツーシーケンスモデルと自然言語テストに関しては、私たちは成功したと思います。

私たちは、人間の脳が多大なコストと体系的な努力をかけて情報を理解し、処理する方法をモデル化しました。

私は不幸で本当に怖かったです。 ChatGPTならこんなこともできるよ〜

それで、GPT-4 は何を達成するのでしょうか?

Microsoft のソフトウェアエンジニアは、GPT-4 モデルの将来のアプリケーションをいくつか特定しました。

彼らはその発見に関する論文も発表した。

https://www.microsoft.com/en-us/research/publication/sparks-of-artificial-general-intelligence-early-experiments-with-gpt-4/

研究報告:

私たちは大きなリスクを負っています。
ジェフリー・ヒントンが研究職を辞任したとき、事態は本当にめちゃくちゃになっていることに気づきました。
お金は世界を動かす。
いかなる規制も、中国と米国の営利重視の企業を止めることはできない。
今後のご多幸をお祈り申し上げます。
AI の意思決定者は利益よりも倫理を優先しなければなりません。

しかし、起業家がこのようなことをしたことがあるでしょうか?

結論は

ヒントンは信じられないことを言った。

「AIが人間より賢くなるかどうかについて、突然考えが変わりました。AIは今、人間よりかなり近いところにいると思いますが、将来的には間違いなく人間より賢くなるでしょう。では、私たち人間はどうやって生き残るべきでしょうか？」

しかし今のところ、それを阻止できるものは何もありません。最後に、ChatGPT が回答する興味深い質問を残しておきます。

Q: AGI をどのように実現しますか?

ChatGPTは返信しました:

汎用人工知能 (AGI) を実現することは、複数の科学および工学分野にわたる大きな進歩を必要とする大きな課題です。 AGI への正確な道筋は依然として多くの議論と探究の対象となっていますが、いくつかの重要な分野の研究者によるより詳細な説明を提供できます。

1. 認知アーキテクチャ: 人間の知能を模倣できる認知アーキテクチャの開発は、AGI の基本的な側面です。これには、人間の脳の構造と機能を理解し、これらのプロセスを捉える計算モデルを設計することが含まれます。研究者は、神経科学、認知心理学、認知科学からインスピレーションを得て、高度な推論、知覚、記憶、学習、意思決定をサポートできるアーキテクチャを構築します。

2. 機械学習とディープニューラルネットワーク: 機械学習、特にディープラーニングは、近年の人工知能の進歩において重要な役割を果たしてきました。ディープニューラルネットワークは、画像認識や自然言語処理などの知覚タスクにおいて目覚ましい成功を収めています。 AGI に向けて、研究者たちは、一般化、解釈可能性、限られたデータと複雑な推論を処理する能力を改善することで、ディープラーニングの機能を強化する方法を模索しています。

3. 強化学習と能動学習: 強化学習は、AGI のもう一つの重要な焦点領域です。 AI が環境と対話し、試行錯誤から学習できるようにトレーニングすることが含まれます。情報豊富なトレーニングサンプルの積極的な選択を含むアクティブラーニングと組み合わせた強化学習手法は、AI がより効果的に環境を探索して学習するのに役立ちます。多様なデータソースから学習し、知識を新しい状況に一般化できるアルゴリズムを開発することは、AGI を実現するために重要です。

4. 認知ロボットと具現化された知能: 真の AGI には、情報処理以上のものが求められます。現実世界と相互作用する必要があります。認知ロボット工学は、ロボットの知覚、認識、行動を統合し、人間と同様の方法で世界について学習し、推論できるようにすることを目的としています。具体化された知能の研究では、AI が感覚運動能力と自身の経験を活用して周囲と対話し、知能を開発する方法を研究します。

5. 記号的推論と知識表現: AGI システムは、複雑な知識表現を記号的に推論し、操作できる必要があります。記号的推論では、論理的ルール、推論メカニズム、構造化された知識表現を使用して、抽象的な推論と問題解決のタスクを実行します。記号推論とニューラルネットワークなどの統計的手法を組み合わせることは活発な研究分野であり、より強力で柔軟な推論機能を実現できます。

6. 転移学習とメタ学習: AGI システムには、ある分野で学習した知識とスキルを新しい分野や未知の分野に転移する能力が必要です。転移学習技術は、既存の知識を活用して、関連するタスクまたはドメインでの学習を加速することを目的としています。メタ学習は、限られたデータで効果的に学習し、新しい状況やタスクに迅速に適応する方法を学習できるモデルの開発に重点を置いています。

7. データとコンピューティングリソース: AGI 開発には、モデルのトレーニング用に大量の高品質データが必要です。複数のドメインにわたる多様なデータセットへのアクセスは、人間の知識の幅と深さを把握するために不可欠です。さらに、AGI 開発には、複雑なモデルをトレーニングして実行するための膨大なコンピューティングリソースが必要です。専用の AI チップや分散コンピューティングシステムなどのハードウェアの進歩により、AGI 研究が大幅に加速される可能性があります。

8. 倫理、安全性、説明可能性: AGI が発展するにつれて、倫理的問題に対処し、堅牢な安全対策を開発し、AGI システムの透明性と説明可能性を確保することが重要になります。研究者たちは、AI システムをより透明性、説明可能性、説明責任を高め、リスクを軽減し、人間のユーザーが AI の行動を理解して信頼できるようにする方法を模索しています。

9. コラボレーションと学際的研究: AGI を実現するには、AI、神経科学、心理学、哲学など、さまざまな分野の専門家間のコラボレーションが必要です。学際的な研究と知識の共有を奨励することで、AGI の開発に新たなアイデアや方法をもたらすことができます。

それぞれの分野で進歩が見られるにもかかわらず、AGI の実現は明確なタイムラインのない未解決の問題のままであることに留意することが重要です。これは、継続的な調査、探索、反復を必要とする複雑で長期的な目標です。