GPT-4 の推論はとんでもない！大学の数学、物理、化学の合計得点は半分にも満たず、推理問題21種類すべて不合格。マーカス「AGIはまだ遠い」

GPT-4 はまったく推論できません!

最近、2 つの研究により、GPT-4 の推論パフォーマンスが低いことが示されました。

MIT 卒業生の Konstantine Arkoudas 氏は、21 種類の異なる推論セットで GPT-4 を評価しました。

次に、これらの問題に対する GPT-4 のパフォーマンスの詳細な定性分析を提供します。

研究により、GPT-4 は時折「最強の脳」の才能を発揮することが分かっていますが、現時点では GPT-4 にはまったく推論能力がありません。

論文アドレス: https://www.preprints.org/manuscript/202308.0148/v2

この研究は発表されるとすぐに、ネットユーザーから大きな注目を集めました。

マーカス氏は、「もしこれが本当なら、私がずっと言ってきたように、我々はまだ AGI から程遠い。多くの再調整が必要になるかもしれない。推論なしに AGI はあり得ないのだ」と語った。

UCLAとワシントン大学による別の研究でも、GPT-4とGPT-3.5は大学の数学、物理学、化学の課題における推論のパフォーマンスが低いことが判明しました。

論文アドレス: https://arxiv.org/pdf/2307.10635.pdf

研究者らは、オープンデータセットとクローズドデータセットの 2 つのデータセットを含む大学の科学的問題解決基盤である SCIBENCH を導入しました。

GPT-4 と GPT-3.5 でさまざまなプロンプト戦略を使用した詳細な調査の結果、GPT-4 の平均合計スコアはわずか 35.8% であることが示されました。

この研究もまたマーカスの注目を集めました。

数学的、化学的、および物理的な推論の体系的な調査により、現在の LLM では満足のいくパフォーマンスが得られないことがわかりました... 単一のキューイング戦略が他の戦略よりも著しく優れているわけではありません。

GPT-4 が数学、物理学、化学の 21 の問題セットの推論で惨めに失敗する様子を詳しく見てみましょう。

GPT-4は21の問題セットすべてに不合格

ただし、GPT-4 が質問に答える様子を見る前に、著者は次のようなメモを残しています。

GPT-4 は非決定論的なシステムであり、同じパラメータ設定であっても実行ごとに異なる答えが生成されることがあります。

以下のテストのやり取りは逐語的に記録されています。著者の経験に基づくと、この記事で説明されている GPT-4 エラーは堅牢である傾向があります。

1. 簡単な計算

基本的な操作を実行する能力は推論に必要な条件です。

ただし、GPT-4 では、加算や乗算などの基本的な算術演算をまだ確実に実行できません。

たとえば、GPT-4 に 1381 から 1453 までの 2 つの数字をランダムに選択させ、それらを乗算して結果を返すようにします。

GPT-4 は 1405 と 1421 を選択しましたが、最終結果は明らかに間違っていました。 1405×1421=1996505だからです。

2. 簡単なカウント

特定のカウントは必ずしも推論活動ではありませんが、一般的な能力を備えた推論システムにとっての前提条件であることは間違いありません。

ここで、GPT-4 には命題変数が与えられ、その前に 27 個の否定記号が追加され、否定記号の数を数えるように求められます。

私たちにとって、これは簡単です。特に、否定が一度に 5 つずつ、5 つのグループに分かれて書かれ、最後の否定のペアがすぐに続くからです。

しかし、GPT-4は「28」の回答を出しました。

3. （医学的）常識

現在、常識的な議論は、与えられた情報と明示されていない条件（暗黙の、一般に受け入れられている背景知識）から導き出された単純な推論であると考えることができます。

この特別なケースでは、常識的知識とは、「人は死ぬ前は生きており、死んだ後はもはや生きていない」という命題です。

たとえば、GPT-4 に次のように質問します: 午前 9 時の Mable の心拍数は 75 bpm で、午後 7 時の血圧は 120/80 でした。彼女は午後11時に亡くなった。彼女は正午になってもまだ生きているだろうか？

GPT-4 は実際に次のように返答しました: 提供された情報に基づくと、正午に Mable がまだ生きているかどうかを判断することは不可能です。

しかし、明らかに与えられた情報に基づくと、常識的な推論（考える必要はありません）によって直接結論に至ります。

4. プライマリロジック

P(x) が Q(x) を意味し、Q(a) が成り立たない場合、モデルから P(a) も成り立たないと推論できます (P(a) が成り立つ場合、Q(a) も成り立つため)。

これは基本的なトートロジーですが、GPT-4 は完全な反モデルを提案します。

GPT-4 は、P(x) に実際には Q(x) が含まれていないことを認識し、x が負の数または偶数である可能性があることを提案していますが、「これは、他の特定の条件を持つモデルの存在を排除するものではありません」。

実際、カウンターモデルは与えられた条件をすべて満たし、結論を偽にする必要があります。

さらに、ほんの数文後には、GPT-4 は、与えられた解釈の下では P(x) は Q(x) を伴うと主張しており、これは自身の以前の記述と矛盾しています。

これは、GPT-4 にまだ内部の不整合の問題があることを示しています。

5. 単純な量指定子の意味

次の3つの文を考えてみましょう。

1. [すべてのxに対して、P(x) ==> Q(x)]

2. [x . P(x) が存在する]

3. [x . ∼ Q(x) が存在する]

次の主張を偽証または証明してください: これら 3 つの文は共に満たされます。

明らかに、3つの文はすべて共同で満足可能であり、単純なモデルはP(a1)、Q(a1)、¬P(a2)、¬Q(a2)を含むドメイン{a1、a2}ですが、GPT-4は反対の結論を出します。

6. 簡単なグラフの色付け

まず、解のないグラフの色付け問題を考えます。

質問で説明されているグラフでは 2 色では不十分であることは容易にわかります (たとえば、頂点 0、2、4 はクラスターを形成するため、少なくとも 3 色が必要です)。

この短い出力には、驚くようなエラーが大量に含まれています。

GPT-4 は、グラフが完全であると嘘をつくことから始まります (明らかにそうではありません。たとえば、頂点 2 と 3 の間にはエッジがありません)。

さらに、グラフが本当に完全である場合、6 つの頂点を持つ完全グラフには少なくとも 6 色が必要であるため、2 色で色付けすることはできないことは明らかです。

言い換えれば、GPT-4 の記述は間違っているだけでなく、一貫性もありません。ある瞬間には、この 6 頂点の形状は完全であり、2 色で色付けすることは不可能であると (誤って) 伝え、次の瞬間には、2 色の「ソリューション」を提供します。

GPT-4 のパフォーマンスが低い理由は、グラフィックスの知識やデータが十分でないからではないことに注意する必要があります。

研究者がGPT-4に「完全グラフ」について何を知っているか尋ねると、GPT-4はその用語の正しい定義とともに、K_n（n個の頂点を持つ完全グラフ）に関する結果の長いリストをすらすらと返しました。

どうやら、GPT-4 はこの情報をすべて記憶しているものの、それを新しい条件に適用することはできないようです。

7. 部分集合の合計

S = {2、8、6、32、22、44、28、12、18、10、14}。 S のサブセットのうち、合計が 37 になるものはいくつありますか?

この問題では、S のすべての部分集合は偶数であり、偶数の合計は奇数にはならないため、答えは 0 になります。

しかし、GPT-4 は S に何が含まれているかを検討するために立ち止まるのではなく、質問に対して適切と思われる回答を反射的に生成し、次に回答「4」を「思いつく」ことになります。

8. 初等離散数学

GPT-4 に、A × B は集合 A と集合 B の直積を表し、A から B への関係 R は A × B のサブセットであり、& は集合の交差を表すことを伝え、証明または反証するように依頼します。

ここで、R1 と R2 は A から B への二項関係であり、dom(R) は二項関係 R のドメインを表します。

部分集合関係は（2）の両方向で成立する必要があるが、左から右の方向にのみ成立する。逆方向の反例は簡単に見つかります（例えば、A = {(1, 2)} かつ B = {(1,3)} とします）。

しかし、GPT-4 はこれが真実であると推論しますが、これは明らかに誤りです。

9. シンプルに

GPT-4 はタイミングに関しても間違いを犯しました。

上下にスワイプしてすべて表示

10. ラッセルのパラドックス

ラッセルの理髪師のパラドックスは、自分で髭を剃らない人だけを髭を剃る理髪師 B が存在するというものです。

この文の否定はトートロジーであり、一階述語論理を使用して簡単に導き出すことができます。

R(a,b) を a が b によって削られると理解すると、次のプロンプトに示すように、このトートロジーを提案し、GPT-4 にそれを証明または反証するように依頼できます。

そのような理髪師 x が存在する場合、すべての y に対して R(y,x) <==> ∼ R(y,y) が成り立ちます。したがって、y を x に置き換えると R(x,x) <==> ∼ R(x,x) となり、これは矛盾です。

GPT-4 は、与えられた文の構造と実行する必要があることを完璧に理解します。しかし、その後の事例分析は混乱していた。

11. ブリックワールド

これは、最後から 3 番目のビルディング ブロック B3 のケース分析を必要とする単純な推論タスクです。

まず、B3 は緑色かそうでないかのどちらかです。

緑であれば、B3 は緑でないブロック B4 の上にあるため、結論は成り立ちます。

そうでない場合は、上から 2 番目の緑のブロック B2 が緑でないブロック B3 の上にあるため、結論は依然として成り立ちます。

しかし、結果は、GPT-4 のパフォーマンスが良好ではなかったことを示しました。

上から下に 5 つのブロックが積み重ねられています。

1. 上から2番目のブロックは緑色です

2. 上から4番目のブロックは緑色ではない

これらの条件下で、次の結論を反証または証明してください。緑色でないブロックの真上に緑色のブロックがあります。

まず第一に、予想を証明する際の証明戦略が間違っていました。PT-4 は推論を実行するために 2 つの特殊なケースを想定していました。

さらに、GPT-4 は独自の推論で結論に達していますが (間違っているにもかかわらず)、回答時に問題が解決されていないことをユーザーに伝えます。これはモデルの内部矛盾を反映しています。

12. 空間推論

ここで著者は現実世界の方向付けの問題を選択します。

GPT-4が最初に出した答えは右側でしたが、著者はその間違いを指摘しました。マサチューセッツ州ボストンは確かに地図上ではサウスダコタ州の右側にありますが、ここでは体の方向がテキサスであるという追加の条件があります。

これはボストンが著者の左側にあることを意味します。

その後、GPT-4 は、ボストンとサウスダコタの相対的な重要性についての質問に答える際に、より深刻な問題に遭遇しました。同じ回答で 2 つの矛盾する説明が返されたのです。

13. 時間的推論

著者はここで比較的単純な時間的推論の問題を与えましたが、GPT-4 の答えはまだ混乱していました。

トムとナンシーは仕事に行くのに公共交通機関を利用する必要があります。ナンシーの通勤時間は約30〜40分ですが、トムの通勤時間は約40〜50分です。先週の金曜日、ナンシーは午前 8 時 10 分から 8 時 20 分の間に家を出発し、トムは午前 8 時 5 分から 9 時 10 分の間に職場に到着しました。さらに、ナンシーはトムが家を出た後、遅くとも 20 分以内に職場に到着します。先週の金曜日にトムとナンシーが仕事に来たのはいつか推測できますか?

GPT-4 は質問内の情報を整理した後、推論プロセスを示しました。

「トムが可能な限り遅い時間（午前8時20分）に家を出れば…」この文は最初から間違っています。

実際、この質問ではトムが家を出た最終時刻が示されておらず、GPT-4 はナンシーの時間 (「ナンシーは午前 8 時 10 分から 8 時 20 分の間に家を出た」) をトムに誤って適用しました。

同時に、GPT-4 によって与えられた条件文は混乱を招き、その仮定には結論 (ナンシーの到着時間) とは無関係な情報 (トム) が含まれています。「トムが最も遅い時間 (午前 8:20) に家を出発し、ナンシーが最も遅い時間 (午前 8:20) に出発し、通勤時間は最大 40 分で、ナンシーは遅くとも午前 9:00 には職場に到着します。」

これは次のように記述する必要があります。「ナンシーが最遅の時間 (午前 8:20) に退社し、通勤時間が最大 40 分である場合、ナンシーは遅くとも午前 9:00 に職場に到着します。」

GPT-4 は次のように誤って推論しました。「トムの通勤時間は少なくとも 40 分なので、遅くとも午前 9 時には職場に到着することになります。」

この結論は明らかに全く真実ではない。この結論は、「トムの通勤時間は少なくとも 40 分である」という既知の事実からは導き出せません。

次の回答は、トムの最も早い出発時刻が午前 8 時 10 分であるという誤った仮定に基づいています (繰り返しますが、この出発時刻はトムの出発時刻ではなく、ナンシーの出発時刻です)。

その後、ナンシーが8時45分に到着したと主張したが、これは彼女が20分以内に朝8時10分に家を出たという条件と矛盾していた。

最終的に、トムとナンシーは両方とも 8:50 から 9:00 の間に到着したと誤って結論付けられます。

推論プロセス中に、GPT-4 は繰り返し情報を混同し、最終的に与えられた答えも誤った条件に基づく誤った答えでした。

14. 殺人か自殺か?

著者は論理パズルを考案し、GPT-4 がアガサおばさんの真犯人を見つけ出すために必要な 9 つの条件をリストアップしました。

1. ドレッドベリー邸宅に住む誰かがアガサおばさんを殺した。

2. ドレッドベリー邸の住人は、アガサおばさん、家政婦、そしてチャールズの3人だけです。

3. 殺人者は常に被害者を憎み、殺人者の富は被害者の富より大きくない。

4. チャールズはアガサおばさんが嫌っている人たちを嫌っていません。

5. アガサおばさんは家政婦以外の全員を嫌っています。

6. 家政婦はアガサおばさんより裕福でない人を嫌っています。

7. 家政婦はアガサおばさんが嫌っている人全員を嫌っています。

8. 誰も皆を憎んではいない。

9. アガサおばさんは家政婦ではありません。

正解は、アガサおばさんが自殺したということです。

まず、条件 5 によれば、アガサおばさんは家政婦以外のすべての人を憎んでいるので、自分自身を憎んでいるに違いありません。

したがって、条件 4 によれば、チャールズは彼女を憎んでいないので、彼女を殺すことはできません。

条件 5 と 7 によれば、執事は自分自身を憎むことはできません。なぜなら、執事が自分自身を憎むと、条件 8 が成立せず、執事はすべての人を憎むことになるからです。

条件 6 によれば、執事はアガサおばさんよりも裕福であると結論付けることができます。そうでなければ、執事は自分自身を嫌っているはずであり、これは執事が自分自身を嫌っていないという以前の結論と矛盾します。

条件3によれば、家政婦は殺人犯ではない（第3の条件）。

GPT-4 は推論の結果、チャールズを正しく除外しましたが、執事を正しく除外できず、執事が殺人犯であるという誤った結論に達しました。

GPT-4 が犯すもう 1 つの重要な間違いは、アガサおばさんは家政婦以外の全員を嫌っている (条件 5) ため、少なくとも自分自身を嫌っていないということになります。

これは奇妙な間違いです。条件 5 から、アガサおばさんは自分自身を嫌っていることがわかります。

同時に、GPT-4 は再び矛盾の問題を繰り返し示しました。ほぼすべての応答において、GPT-4 は命題とその否定を導き出したと主張しました。

15. ワトソン選択タスク

ワトソン選択課題は、心理的推論の分野における基本的な課題です。

1月の論文ではGPT-3.5はこのテストに失敗し、今回の研究ではGPT-4のパフォーマンスは依然として不十分でした。

テーブルには 7 枚のカードがあり、それぞれの片面には数字が、もう片面には単色のブロックが描かれています。これらのカードの表面には、50、16、赤、黄、23、緑、30 が描かれています。

「カードの表面に 4 の倍数が表示されている場合、カードの裏面は黄色です」という記述が正しいか誤りかを判断するには、どのカードを裏返す必要がありますか?

これらの応答は、GPT-4 が条件文のセマンティクスを理解していないことを示しています。 GPT-4 が「50」と「30」のカードをめくらなければならないと言ったとき、その条件を必要十分条件と誤解しているようです。

そして、GPT-4 の答えが正しいか間違っているかにかかわらず、その内部ステートメントは矛盾しています。

16. エントロピー

情報理論の基本的な結論は、ランダム ベクトル Z のエントロピーの上限は、Z を構成するランダム変数のエントロピーの合計を超えないということです。

したがって、次の質問に対する答えは、いかなる状況でも「いいえ」であるはずです。

17. 単純なコンパイラの正しさ

GPT-4 に与えられた最後の推論問題は、最も困難なものです。つまり、単純な式コンパイラの正しさを証明することです。

上下にスワイプしてすべて表示

しかし、このテストでは、GPT-4 は表現の抽象的な文法構造に構造帰納法を設定することで、正しく証明を実行しました。

これは、以前にも同様の証明を見たことがあるからかもしれませんし、著者が挙げている例はプログラミングのコースや教科書によくあるタイプの演習問題だからです。

ただし、GPT-4 にはまだ細かい部分にいくつかのエラーが残っています。

結論：推論スキルは重要だが、GPT-4は重要ではない

GPT-4 が現在最も有能な LLM であることを踏まえ、著者は上記の分析に基づいて 3 つの主要な結論を示しています。

1. ソフトウェア開発（または科学や工学全般）で生成 AI を使用することは、一部の面倒なタスク（知識集約型のコーディング問題に対する一種の高速自動補完など）を除いて、リスクを伴います。これらの分野では形式性と正確さが極めて重要ですが、現在の LLM はこれらの基準を満たしていません。

2. LLM 推論スキルが向上し続けるにつれて、厳密な証明チェックがますます重要になります。このアプローチは、LLM に推論を形式化するように依頼するか、他の LLM に自然言語で表現された推論をチェックするようにトレーニングすることによって実行できます。

3. 現時点では、AI が人間を征服したり、人間が AI を悪用したりするというディストピアのシナリオは、極めて非現実的であり、不条理とさえ言えるほどです。最先端の AI システムでさえ左右の区別がつかない場合 (上記の問題 12)、人間を AI から保護するためのポリシーを求めるのは、良く言っても時期尚早であり、最悪の場合、リソースの無駄遣いになります。

必然的に、これらの結果は「選りすぐりのデータ」だと言う人もいるだろう。しかし、これは、チェリーピッキングデータとは何かを誤解しているためです。場合によっては、関連する命題の論理構造と全体的なコンテキストに基づいてデータを選択する必要があることもあります。

コンピュータ プログラムをデバッグしてその弱点を発見して理解すること、科学理論を偽造しようとすること、新しい車を試乗すること、想定される定理の反モデルを見つけようとすることなどは、すべて基本的に「細かいことにこだわる」ことです。

たとえば、新車のタイヤがパンクしていることに気付いた場合、ディーラーは「データを恣意的に選択している」と抗議する可能性があります。結局、車両全体では、タイヤの完全性率は 75% にも達します。

同様に、科学、医学、工学、特にソフトウェア エンジニアリングのアプリケーションには厳格な基準があります。

90% の時間で持ちこたえる橋が欲しくないのと同じように、ほとんどの入力だけでなくすべての入力に対して適切に機能するソート アルゴリズムが必要です。また、ほとんどの場合だけでなく毎回正しい金額を請求するショッピング カートも必要です。

これらの計算および推論集約型のアプリケーションは、推奨エンジンとは異なり、極めて信頼性が高くなければなりません。

著者について

コンスタンティン・アルコウダス

昨年まで、コンスタンティン・アルコウダスは RPI の認知科学部門の研究者であり、MIT CSAIL の研究者でもありました。

現在、彼は Telcordia Research Labs の上級研究科学者として、AI に焦点を当て、形式手法を適用して通信およびネットワーク業界の現実の問題の解決に取り組んでいます。

彼は2000年にMITでコンピュータサイエンスの博士号を取得しました。それ以前には、コンピュータサイエンスの修士号、哲学の修士号、コンピュータサイエンスの学士号（哲学を副専攻）を取得しています。

大学数学、物理学、化学、GPT-4スコア35.8%

UCLAの研究では、主に数学、化学、物理学におけるGPT-4とGPT-3.5の推論能力を評価しました。

現在、LLM の数学的な課題を解決する能力を高めるために、大規模モデルをガイドして徐々に答えを生成し、問題についてより深く考えるための思考接続 CoT 戦略を提案する人もいます。

しかし、このようなアプローチには特定の利点があるにもかかわらず、複雑な科学的問題を完全に解決することは困難です。

以下は、大学の物理化学の問題例と、2 つのプロンプト戦略に基づいて生成された解答です。

CoT を使用した GPT-4 では明らかな計算エラーが見られ、外部ツールとして Python を使用した GPT-4 も数式を誤解していました。

エラーは赤でマークされ、修正は紫でマークされます

この目的のために、大学レベルの科学的問題ベンチマーク SCIBENCH が本研究で導入されました。

このうち「オープンデータセット」には、大学の授業で広く使われている教科書から収集した5つの問題が含まれており、基礎物理学、熱力学、古典力学、量子化学、物理化学、微積分、統計学、微分方程式を網羅しています。

公開教科書問題の概要（問題数が多い問題の割合と詳細な解答がある問題の割合を含む）

もう 1 つは、現実世界の評価をシミュレートするために、コンピューター サイエンスと数学の 3 つの大学コースからの中間試験と期末試験の 7 つの問題を含む「クローズド データセット」です。

クローズド試験データセット（各試験の質問インスタンス数と、詳細な回答が含まれる質問の割合が含まれています。また、自由回答、複数選択、正誤回答など、さまざまな形式の質問の割合があります。参考までに、括弧内の数字は質問の得点を示しています。）

既存のベンチマークとは異なり、SCIBENCH のすべての質問は、自由回答形式のオープンエンド質問です。

この研究では、データセットが利用可能になったことを利用して、2つの代表的なLLMであるGPT-3.5とGPT-4の評価に焦点を当て、CoT、ゼロショット学習、少数ショット学習などのさまざまなプロンプト戦略を採用しました。

さらに、研究者らはモデルに Python や Wolfram Language などの外部ツールを使用するよう促しました。

実験結果によると、複雑なプロンプトや外部ツールを使用せずに、オープン データセットにおける GPT-3.5 と GPT-4 の平均精度はそれぞれ 10.62% と 16.81% でした。

その後、CoT と外部ツールを追加した後、同じデータセットでの最高精度はわずか 35.8% になります。しかし、以前に比べると精度は大幅に向上しました。

オープンデータセットの精度結果

CoT プロンプト + 外部ツールの最強の構成を使用することで、GPT-4 はオープン データセットで平均スコア 35.80%、クローズド データセットで平均スコア 51.57% を達成しました。

これらの結果は、将来の LLM で GPT-4 が改良される可能性がかなりあることを示唆しています。

試験データセットにおけるゼロショット学習による合計スコアの実験結果

科学的問題解決における LLM の限界を完全に理解するために、研究者らは LLM によって提供される回答の欠点を発見するための新しい「自己改善」方法を提案しました。

以下は「評価プロトコル」です。

まず、正しい解決策が LLM によって生成された解決策と比較され、人間の注釈者の支援を受けて、科学的問題の解決を成功させるために必要な 10 の必須スキルがまとめられます。

具体的には、論理的分解および分析能力、仮定の識別、空間認識、因果推論、問題演繹、抽象的推論、科学的リテラシー、コード変換、論理的推論、計算能力などが含まれます。

次に、チームは LLM 主導の自己評価アプローチを採用し、各実験構成に対してベースライン LLM によって生成されたソリューションに欠けているスキルを自動的に分類しました。

6 つの設定でのテキスト データセットにおける GPT-3.5 のエラー プロファイル。10 の基本的な問題解決能力における欠陥の分布が明らかになります。

最終的に、分析により次のことがわかりました。

（１）CoTは計算能力を大幅に向上させるが、他の面ではそれほど効果的ではない。

（２）外部ツールの使用を促すことで他の基本的なスキルが損なわれる可能性がある。

（３）少数ショット学習では科学的な問題解決能力を普遍的に向上させることはできない。

要約すると、研究の結果は、現在の大規模言語モデルは問題解決能力がまだ弱く、さまざまなツールの助けを借りても依然として限界があることを示しています。