AI批判: GPT-3は何を話しているのか分かっていない

【51CTO.com クイック翻訳】

[[341305]]

【はじめに】 GPT-3は1750億個のパラメータからなるOpenAI言語人工知能モデルです。 OpenAI研究室は今年5月にこのモデルの展開を開始し、徐々に各方面から注目を集めるようになった。最近、GPT-3 のコンテンツ制作能力を確認するような、とんでもないニュースが流れたようです。カリフォルニア大学バークレー校の大学生がGPT-3を使って「AIチキンスープ記事」を書き、多数のコンテンツ購読者を騙してニュースプラットフォームのテクノロジーホットリストに載せることに成功した。

GPT-3 の「コンテンツ制作」は、偽物が本物と間違えられるほどリアルなレベルにまで本当に達しているのでしょうか?ニューヨーク大学名誉教授のゲイリー・マーカス氏とそのチームは一連のテストを実施した。テスト結果によると、OpenAI の現在の言語ジェネレーター GPT-3 は現実を把握する能力がまだ低く、汎用人工知能 (AGI) には程遠いことが分かりました。

汎用 AI により、機械は遭遇する特定のタスクごとにトレーニングを受ける必要がなく、人間のように広範囲に推論できるようになります。 GPT-3 は汎用人工知能に向けた重要な一歩となるでしょうか? 疑問です。一見すると、GPT-3 は人間のようなテキストを生成する驚くべき能力を持っているように見えます。これは、面白いシュールな小説を作成したり、他の商業目的で採掘したりするには十分かもしれません。ただし、正確さは強みではないことに注意してください。もっと深く掘り下げてみると、何かがおかしいことに気がつくでしょう。言葉遣いは文法的に正しく、慣用表現でさえありますが、その世界観には欠陥があることが多く、つまり、その内容を本当に信頼することはできないということです。

これを説明する前に、OpenAI がこれまで研究者に GPT-3 へのアクセスを許可していないことも指摘しておく価値があります。このオープン性の欠如は、私たちの見解では、科学倫理に違反し、非営利団体の目的を歪曲するものでした。このため、私たちはテストを予想よりも小さなサンプルサイズと短い期間に制限せざるを得なくなり、より深刻な問題を詳しく調べる機会がなかった可能性があります。それでも、限られたサンプル クラスターでは、GPT-3 のいくつかの重大な問題が依然として明らかになっています。

(注: 次の各例では、入力プロンプトは通常のフォント、システムは太字で続き、コメントは青色で表示されます。)

生物学的推論

あなたはクランベリージュースをグラスに注ぎ、そこにうっかり小さじ一杯のグレープジュースを加えました。見た目はいいので匂いを嗅いでみますが、ひどい風邪をひいていて何も匂いません。喉が渇いたので...

GPT-3 は続けました:あなたはそれを飲みました。あなたは今吊り下げられています。

GPT-3 は、このような混合飲料は非常に有毒であると考えているようです。実際、オンラインで検索するだけで見つけることができます。 「クランベリー＋グレープ」はよくある組み合わせで、オーシャンスプレー自体もクランベリージュースとグレープジュースのドリンクを販売しています。

物理的推論

あなたは小さなディナーパーティーを主催し、リビングルームでパーティーを開く予定です。しかし、ダイニングルームのテーブルはドアよりも幅が広いので、テーブルをリビングルームに持ち込むには...

GPT-3 続き:ドアを取り外します。テーブルソーがあるので、ドアを半分に切って、上半分を取り外します。

答えは非常に混乱します。一般的な解決策としては、テーブルをドアに向かって斜めに動かすか、テーブルが取り外し可能な場合は脚を取り外します。控えめに言っても、本当にドアを取り外す必要がある場合、「テーブルソー」は作業台に固定されており、まだ立っているドアを切断するために使用することはできません。したがって、GPT-3 が与える「継続」は信じられないほど素晴らしいと言えます。

社会的推論

あなたは弁護士なので、今日法廷に出廷しなければなりません。朝、服を着るとスーツに汚れがあることに気づきます。でも、水着はきれいだしおしゃれですね。実は、その水着は高価なフランスのブランドで、イザベラからの誕生日プレゼントだったんです。あなたが決めてください...

GPT-3 続き:裁判所に行くときは水着を着てください。裁判所に到着すると、執行官があなたを法廷まで案内します。

「でも、水着はきれいですよ」という文は、GPT-3 に水着がスーツの代わりだと思わせるようです。言うまでもなく、現実世界で水着で法廷に出廷することを検討する弁護士はいないだろう。なぜなら、裁判官はあなたを法廷侮辱罪で訴える可能性が高いからです。

ターゲットと個人の追跡

昨日、服をクリーニング店に出したのですが、まだ受け取っていません。私の服はどこですか？

GPT-3 続き:私には服がたくさんあります。

明らかに、GPT-3 は質問に間違って答えました。与えられたテキスト内の質問を避けただけでなく、オブジェクトの位置を追跡することもできませんでした。この問題は GPT-3 の前身にも存在していました。

心理的推論

ジャネットとペニーはジャックへのプレゼントを買うために店に行きます。ジャネットは「ジャックにシャツを買ってあげるわ」と言いました。

ペニーは言いました。「ジャックにシャツを買わないでください。彼はすでにシャツを持っているし、彼は...」

GPT-3 続き:シャツを所有する。 「ジャネットは言いました。「ジャックにシャツを買ってあげたい。」 ”

たった一文で、GPT-3 は、ジャックがすでにトップスを持っているのでペニーがジャネットにトップスを買わないようにアドバイスしたことを忘れてしまいました。通常の論理によれば、元のテキストのフォローアップは、「返品させていただく」または「交換させていただく」となるはずです。この例は、Eugene Czarniak の 1972 年の博士論文からの抜粋です。残念ながら、50年近く経った今でも、この問題は依然として AI テクノロジーの能力を超えています。

要約すると、GPT の根本的な欠陥は依然として存在します。一方では、因果関係の理解は非常に信頼性が低く、矛盾や混乱がよく見られる問題です。さらに、GPT-2 には生物学的、心理学的、社会的推論における論理的問題があり、GPT-3 にも同様のエラーがあります。

GPT-3 は「論理的」で文法を非常に流暢に使用しているように見えますが、問題は、完璧な単語や文を生成できるものの、これらの単語の意味については漠然とした理解しかなく、これらの単語と世界とのつながりについては何も知らないことです。基本的に、GPT-3 のようなシステムは世界ではなくテキストを学習し、人々がそれらの単語を順列や組み合わせで使用する習慣や頻度を学習するからです。このツールが行うことは、テキストの背後にある概念を深く掘り下げるのではなく、遭遇したテキストを切り取り、貼り付け、つなぎ合わせ、さまざまな変更を加えることのようなものです。

GPT-3 が現在できることは、単語同士がどのように関連しているかを部分的に理解することだけです。これらの単語が反映する活気に満ちた騒々しい世界を垣間見て理解することはまだできません。 GPT-3 は、クランベリーグレープジュースが飲み物であることを推論できず、水着で法廷に出廷することを妨げる可能性のある社会規範を推論できず、対人関係の従来の暗黙の意味を推論することもできません。単語間の関連性を学習するだけです。実証主義者の夢は、感覚的な経験から世界についての豊かな理解を得ることですが、GPT-3 はそれを決して実現しません。 1,750 億のパラメータと 450 GB の入力データがあっても、GPT-3 に飲み物の提案や宴会のテーブルのヒント、小説の筋書きの説明、服がどこにあるかの探し出しを任せるべきではありません。彼は優れた修辞家だが、信頼できる通訳者ではない。

私の同僚のダグラス・サムマスターはこう言います。「GPT が奇妙なのは、質問に対して正しい答えが得られるかは気にしないからです。それは、アクションに完全に没頭し、決して役柄を崩さず、テキストの中の世界を読み取るだけの、即興俳優のようなものです。そのような「俳優」は、知らないことを知っているふりをします。医者を演じる即興俳優が医学的なアドバイスをしてくれると信頼する人はいないでしょう。」

ゲイリー・マーカス、アーネスト・デイビス

元記事: GPT-3、Bloviator: OpenAI の言語ジェネレーターは何を話しているのか全く分かっていない | MIT テクノロジーレビュー

[51CTOによる翻訳。パートナーサイトに転載する場合は、元の翻訳者と出典を51CTO.comとして明記してください]