Google Gemini: CMU の総合評価では、Gemini Pro は GPT 3.5 Turbo より劣っていることが判明

少し前に、Google はOpenAI の GPT モデルの競合製品であるGemini をリリースしました。この大型モデルには、Ultra (最も高性能)、Pro、Nano の 3 つのバージョンがあります。研究チームが発表したテスト結果によると、Ultraバージョンは多くのタスクでGPT4よりも優れており、ProバージョンはGPT-3.5に匹敵することがわかりました。

これらの比較結果は大規模な言語モデル研究にとって大きな意義を持つものの、正確な評価の詳細とモデル予測は公開されていないため、テスト結果の再現と検出が制限され、暗黙の詳細をさらに分析することが困難になっています。

Gemini の真の強みを理解するために、カーネギーメロン大学と BerriAI の研究者は、このモデルの言語理解と生成能力について詳細な調査を実施しました。

彼らは、10 個のデータセットで Gemini Pro、GPT 3.5 Turbo、GPT 4 Turbo、Mixtral のテキスト理解および生成機能をテストしました。具体的には、MMLU での知識ベースの質問に答えるモデルの能力、BigBenchHard でのモデルの推論能力、GSM8K などのデータセットで数学的な問題を解決するモデルの能力、FLORES などのデータセットでのモデルの翻訳能力、HumanEval などのデータセットでのモデルのコード生成能力、WebArena での指示に従うインテリジェント エージェントとして機能するモデルの能力をテストしました。

以下の表 1 に比較の主な結果を示します。全体的に、この論文の執筆時点では、Gemini Pro はすべてのタスクの精度において OpenAI GPT 3.5 Turbo に近いですが、まだわずかに遅れています。さらに、Gemini と GPT は、オープンソースの競合モデル Mixtral よりも優れたパフォーマンスを発揮することがわかりました。

この論文では、著者らが各タスクの詳細な説明と分析を行っています。すべての結果と再現可能なコードは、https://github.com/neulab/gemini-benchmark で入手できます。

論文リンク: https://arxiv.org/pdf/2312.11444.pdf

実験のセットアップ

著者はテスト対象として、Gemini Pro、GPT 3.5 Turbo、GPT 4 Turbo、Mixtral の 4 つのモデルを選択しました。

以前の研究では評価時の実験設定に違いがあったため、公平なテストを保証するために、著者らはまったく同じプロンプト語と評価プロトコルを使用して実験を再実行しました。ほとんどの評価では、標準リソース ライブラリからのプロンプト語と評価基準が使用されました。これらのテスト リソースは、Eleuther などのモデル リリースおよび評価ツールに付属するデータ セットから取得されます。その中で、プロンプトワードには通常、クエリ、入力、少数の例、思考連鎖の推論が含まれます。いくつかの特定の評価では、著者らは標準的な実践に若干の調整を加える必要があると判断しました。バイアスの調整は対応するコード リポジトリに実装されています。元の論文を参照してください。

この研究の目的は次のとおりです。

1. 再現可能なコードと完全に透明な結果を通じて、OpenAI GPT モデルと Google Gemini モデルの機能の第三者による客観的な比較を提供します。

2. 評価結果を詳細に研究し、2 つのモデルがどの領域でより優れたパフォーマンスを発揮するかを分析します。

知識ベースのQA

著者らは、STEM、人文科学、社会科学などさまざまなトピックを網羅する MMLU データセットから 57 の知識ベースの多肢選択式質問回答タスクを選択しました。 MMLU には合計 14,042 個のテスト サンプルがあり、大規模言語モデルの知識能力を総合的に評価するために広く使用されています。

著者らは、4 人の被験者の MMLU に関する全体的なパフォーマンス (下図参照)、サブタスクのパフォーマンス、および出力の長さがパフォーマンスに与える影響を比較し、分析しました。

図 1: 5 つのサンプルプロンプトと思考連鎖プロンプトを使用した MMLU における各モデルの全体的な精度。

図からわかるように、Gemini Pro の精度は GPT 3.5 Turbo よりも低く、GPT 4 Turbo よりも大幅に低いです。思考連鎖プロンプトを使用する場合、モデル間のパフォーマンスにほとんど違いはありません。著者らは、MMLU には主に知識ベースの質問応答タスクが含まれており、より強力な推論指向の手がかりから大きな恩恵を受けない可能性があるためだと推測しています。

MMLU のすべての質問は、A から D までの 4 つの回答が順番に用意された多肢選択式の質問であることに留意してください。次の図は、各モデルによって選択された各回答オプションの割合を示しています。図から、ジェミニの回答の分布は非常に偏っており、最後のオプション D を選択する傾向があることがわかります。これは、GPT のさまざまなバージョンによって提供される、よりバランスの取れた結果とは対照的です。これは、Gemini が複数選択問題に関連する指導上の調整をあまり受けなかったために、モデルの回答順序に偏りが生じたことを示している可能性があります。

図 2: テストされたモデルによって予測された複数選択質問に対する回答の割合。

下の図は、MMLU テスト セットのサブタスクでテストされたモデルのパフォーマンスを示しています。 GPT 3.5 と比較すると、Gemini Pro はほとんどのタスクでパフォーマンスが低下します。思考連鎖プロンプトにより、サブタスク間の差異が減少しました。

図 3: 各サブタスクにおけるテストされたモデルの精度。

著者は、Gemini Pro の長所と短所を詳細に検討します。図 4 からわかるように、Gemini Pro は、人間の性別 (社会科学)、形式論理 (人文科学)、初等数学 (STEM)、専門医学 (専門分野) のタスクでは GPT 3.5 に遅れをとっています。 Gemini Pro の方が優れていた 2 つのタスクでも、その差はわずかでした。

図 4: MMLU における Gemini Pro と GPT 3.5 の優位性タスク。

特定のタスクにおける Gemini Pro のパフォーマンスが低いのは、2 つの理由が考えられます。まず、Gemini が回答を返せないケースがあります。ほとんどの MMLU サブタスクでは、API 応答率は 95% を超えていますが、道徳 (応答率 85%) タスクと人間の性別 (応答率 28%) タスクでは応答率が大幅に低くなっています。これは、一部のタスクにおける Gemini のパフォーマンスが低いのは、入力コンテンツ フィルターが原因である可能性があることを示唆しています。第二に、Gemini Pro は、形式論理と基本的な数学のタスクを解決するために必要な基本的な数学的推論において、わずかに劣るパフォーマンスを示しました。

著者らは、図 5 に示すように、思考連鎖プロンプトの出力の長さがモデルのパフォーマンスにどのように影響するかも分析しました。一般的に、より強力なモデルはより複雑な推論を実行する傾向があり、したがってより長い回答を出力します。 Gemini Pro には、その「ライバル」に比べて注目すべき利点が 1 つあります。それは、出力の長さによる精度の影響を受けにくいことです。出力長が 900 を超えると、Gemini Pro は GPT 3.5 よりも優れたパフォーマンスを発揮します。ただし、GPT 4 Turbo と比較すると、Gemini Pro と GPT 3.5 Turbo は長い推論チェーンを出力することはほとんどありません。

図 5: MMLU でのテスト対象モデルの出力長分析。

汎用推論

BIG-Bench Hard テスト セットでは、被験者の一般的な推論能力を評価しました。 BIG-Bench Hard には、算術、記号および多言語推論、事実知識の理解などの 27 種類の推論タスクが含まれています。ほとんどのタスクは 250 個の質問と回答のペアで構成されていますが、いくつかのタスクでは質問の数が若干少なくなっています。

図 6 はテストされたモデルの全体的な精度を示しています。 Gemini Pro の精度は GPT 3.5 Turbo よりもわずかに低く、GPT 4 Turbo よりも大幅に低いことがわかります。比較すると、Mixtral モデルの精度ははるかに低くなります。

図 6: BIG-Bench-Hard でテストされたモデルの全体的な精度。

著者らは、ジェミニの一般推論が全体的にパフォーマンスが低い理由をさらに詳しく調べています。まず、質問の長さによる正確さを調べました。図 7 に示すように、Gemini Pro は、より長く複雑な問題ではパフォーマンスが低下します。 GPT モデル、特に GPT 4 Turbo は、非常に長い問題でもほとんど回帰を示しません。これは、それが堅牢であり、より長く複雑な質問やクエリを理解できることを示しています。 GPT 3.5 Turbo は平均的な堅牢性を備えています。 Mixtral は質問の長さに関しては一貫して優れたパフォーマンスを発揮しましたが、全体的な精度は低かったです。

図 7: 質問の長さ別の BIG-Bench-Hard でテストされたモデルの精度。

著者らは、BIG-Bench-Hard の特定のタスクにおいてテストされたモデルの精度に違いがあるかどうかを分析しました。図 8 は、GPT 3.5 Turbo が Gemini Pro よりも優れたパフォーマンスを発揮するタスクを示しています。

Gemini Pro は、変形されたオブジェクトの位置を追跡するタスクでは特にパフォーマンスが悪かった。これらのタスクには、アイテムの交換や特定のアイテムの所有者の追跡が含まれますが、Gemini Pro では正しい順序を維持するのが困難な場合がよくあります。

図 8: GPT 3.5 Turbo は、BIG-Bench-Hard サブタスクで Gemini Pro を上回ります。

Gemini Pro は、複数のステップで解決する必要がある算術問題や翻訳のエラーの検出などのタスクでは Mixtral に及ばなかった。

Gemini Pro が GPT 3.5 Turbo を上回るタスクもあります。図 9 は、Gemini Pro が GPT 3.5 Turbo を最も大きくリードしている 6 つのタスクを示しています。タスクは多種多様で、世界知識を必要とするタスク (sports_understanding)、シンボルのスタックの操作 (dyck_languages)、単語のアルファベット順の並べ替え (word_sorting)、およびテーブルの解析 (penguins_in_a_table) などが含まれます。

図 9: Gemini Pro は BIG-Bench-Hard サブタスクで GPT 3.5 を上回ります。

著者らは、図 10 に示すように、さまざまな回答タイプにおけるテストされたモデルの堅牢性をさらに分析しました。 Gemini Pro は、formal_fallacies タスクに属する「有効/無効」回答タイプで最もパフォーマンスが悪くなります。興味深いことに、このタスクの質問の 68.4% には回答がありませんでした。ただし、他の回答タイプ (word_sorting タスクと dyck_language タスクで構成) では、Gemini Pro はすべての GPT モデルと Mixtral よりも優れています。つまり、Gemini Pro は、単語を並べ替えたり、正しい順序で記号を生成するのに特に優れています。さらに、MCQ の回答については、質問の 4.39% が Gemini Pro によって回答がブロックされました。 GPT モデルはこの点で優れており、Gemini Pro はそれらと競争するのに苦労しています。

図 10: BIG-Bench-Hard でテストされたモデルの回答タイプ別の精度。

要約すると、特定のタスクにおいて明確な勝者となる単一のモデルはないようです。したがって、一般的な推論タスクを実行するときは、どちらを使用するかを決定する前に、Gemini モデルと GPT モデルの両方を試してみることをお勧めします。

数学的能力

テスト対象モデルの数学的推論能力を評価するために、著者らは数学の問題のベンチマーク テスト セットを 4 つ選択しました。

（１）GSM8K：小学校数学ベンチマークテスト

（２）SVAMP：語順を変えた質問を生成して強固な推論能力をチェックする。

（３）ASDIV：言語パターンや質問タイプが異なる。

（4）MAWPS：算数と代数の文章題が含まれています。

著者らは、4 つの数学の問題テスト セットで Gemini Pro、GPT 3.5 Turbo、GPT 4 Turbo、Mixtral の精度を比較し、全体的なパフォーマンス、さまざまな問題の複雑さでのパフォーマンス、さまざまな思考連鎖の深さでのパフォーマンスを調べました。

図 11 は全体的な結果を示しています。Gemini Pro の精度は、異なる言語モードを含む GSM8K、SVAMP、ASDIV のタスクでは GPT 3.5 Turbo よりわずかに低く、GPT 4 Turbo より大幅に低くなっています。 MAWPS のタスクでは、テストされたすべてのモデルの精度が 90% を超えていますが、Gemini Pro は依然として GPT モデルよりわずかに劣っています。このタスクでは、GPT 3.5 Turbo が GPT 4 Turbo をわずかに上回ります。対照的に、Mixtral モデルの精度は他のモデルよりもはるかに低くなります。

図 11: 4 つの数学的推論テスト セット タスクにおけるテスト モデルの全体的な精度。

図12は質問の長さに対する各モデルの堅牢性を示しています。 BIG-Bench Hard の推論タスクと同様に、長い質問に答える場合、テストされたモデルの精度は低下しました。 GPT 3.5 Turbo は短い質問では Gemini Pro より優れていますが、より早く後退します。一方、Gemini Pro は長い質問では GPT 3.5 Turbo と同等の精度を発揮しますが、それでもわずかに遅れをとります。

図 12: 4 つの数学的推論テスト セット タスクにおけるさまざまな質問の長さに対するモデルが生成した回答の精度。

さらに、著者らは、回答に長い思考の連鎖が必要な場合、テストされたモデルの精度に違いがあることを観察しました。図 13 に示すように、GPT 4 Turbo は推論チェーンが長くても非常に堅牢ですが、GPT 3.5 Turbo、Gemini Pro、Mixtral は COT の長さが長くなると苦戦します。分析により、著者らは、COT の長さが 100 を超える複雑な例では Gemini Pro が GPT 3.5 Turbo よりも優れているが、短い例ではパフォーマンスが低下することも発見しました。

図 13: 異なる思考チェーンの長さにおける GSM8K 上の各モデルの精度。

図 14 は、異なる桁数の回答を生成する際のテスト済みモデルの精度を示しています。著者らは、回答の桁数が 1、2、または 3 以上であるかどうかに基づいて 3 つの「バケット」を作成しました (2 桁を超える数字の回答がない MAWPS タスクを除く)。図に示すように、GPT 3.5 Turbo は複数桁の数学問題に対してより堅牢であるように見えますが、Gemini Pro は桁数が多い問題では性能が低下します。

図 14: 回答の桁数が異なる場合の 4 つの数学的推論テスト セット タスクにおける各モデルの精度。

コード生成

このセクションでは、著者は 2 つのコード生成データセット (HumanEval と ODEX) を使用して、モデルのエンコード機能を検証します。前者は、Python 標準ライブラリ内の限られた関数セットに対するモデルの基本的なコード理解をテストし、後者は、Python エコシステム全体のより広範なライブラリセットを使用するモデルの能力をテストします。どちらの問題の入力も、英語で書かれたタスクの説明（通常はテストケース付き）です。これらの質問は、モデルの言語理解力、アルゴリズム理解力、および初等数学の能力を評価するために使用されます。合計で、HumanEval には 164 個のテスト サンプルがあり、ODEX には 439 個のテスト サンプルがあります。

まず、図 15 に示す全体的な結果から、両方のタスクにおける Gemini Pro の Pass@1 スコアは GPT 3.5 Turbo よりも低く、GPT 4 Turbo よりも大幅に低いことがわかります。これらの結果は、Gemini のコード生成機能を改善できることを示しています。

図 15: コード生成タスクにおけるさまざまなモデルの全体的な精度。

次に、著者らは図16(a)で金溶液の長さとモデル性能の関係を分析した。ソリューションの長さは、ある程度、対応するコード生成タスクの難しさを示すことができます。著者らは、ソリューションの長さが 100 未満の場合 (つまり、より簡単な場合)、Gemini Pro は GPT 3.5 に匹敵する Pass@1 スコアを達成しましたが、ソリューションの長さが長くなると大幅に遅れをとることを発見しました。これは、前のセクションの結果とは興味深い対照です。前のセクションでは、Gemini Pro は英語のタスクでより長い入力と出力に対して一般的に堅牢であることがわかりました。

著者らは、図16（b）で、各ソリューションに必要なライブラリがモデルのパフォーマンスに与える影響も分析しました。 mock、pandas、numpy、datetime などのほとんどのライブラリ使用例では、Gemini Pro のパフォーマンスは GPT 3.5 よりも低下します。ただし、matplotlib の使用例では、GPT 3.5 および GPT 4 よりもパフォーマンスが優れており、コードを介してプロットの視覚化を実行する際の機能が優れていることがわかります。

最後に、著者らは、コード生成において Gemini Pro のパフォーマンスが GPT 3.5 よりも劣るいくつかの具体的な失敗事例を示しています。まず、Gemini は Python API の関数とパラメータを正しく選択するのに少し遅れていることに気づきました。たとえば、次のプロンプトがあるとします。

Gemini Pro は次のコードを生成し、型不一致エラーが発生しました。

対照的に、GPT 3.5 Turbo では次のコードが使用され、目的の効果が得られます。

さらに、Gemini Pro では、実行されたコードは構文的には正しいものの、より複雑な意図に正しく一致できないというエラーの割合が高くなりました。たとえば、次のプロンプトについて:

Gemini Pro は、複数回出現する番号を削除せずに一意の番号のみを抽出する実装を作成しました。

機械翻訳

この一連の実験では、FLORES-200 機械翻訳ベンチマークを使用して、モデルの多言語機能、特にさまざまな言語ペア間の翻訳能力を評価します。著者らは、Robinson et al. (2023) の分析で使用された20言語のうち、異なるサブセットに焦点を当て、さまざまなレベルのリソースの可用性と翻訳の難易度をカバーしています。著者らは、選択されたすべての言語ペアについて、テスト セット内の 1012 の文を評価しました。

表 4 と 5 では、著者らは Gemini Pro、GPT 3.5 Turbo、GPT 4 Turbo を Google Translate などの成熟したシステムと比較しました。さらに、彼らは、幅広い言語をカバーすることで知られる主要なオープンソース機械翻訳モデルである NLLB-MoE をベンチマークしました。結果によると、Google Translate は全体的に他のモデルよりも優れており、9 つの言語で優れたパフォーマンスを発揮し、次に NLLB が 0/5 ショット設定で 6/8 言語で優れたパフォーマンスを発揮しました。一般的な言語モデルは競争力のあるパフォーマンスを示していますが、英語以外の言語への翻訳に関しては専用の機械翻訳システムをまだ上回っていません。

表4：0ショットプロンプトを使用した全言語の機械翻訳における各モデルのパフォーマンス（chRF（％）スコア）。最高スコアは太字で表示され、次点のスコアは下線で表示されます。

表5：5ショットプロンプトを使用したすべての言語の機械翻訳における各モデルのパフォーマンス（chRF（％）スコア）。最高スコアは太字で表示され、次点のスコアは下線で表示されます。

図17は、異なる言語ペアにおける一般的な言語モデルのパフォーマンス比較を示しています。 GPT 4 Turbo は、GPT 3.5 Turbo および Gemini Pro と比較して、NLLB で一貫したパフォーマンス偏差を示します。 GPT 4 Turbo は低リソース言語でも大幅な改善を示していますが、高リソース言語では両方の LLM のパフォーマンスは同様です。対照的に、Gemini Pro は 20 言語のうち 8 言語で GPT 3.5 Turbo および GPT 4 Turbo を上回り、4 言語で最高のパフォーマンスを達成しました。しかし、Gemini Pro は約 10 の言語ペアで応答をブロックする傾向が強く見られました。

図17: 言語ペア別の機械翻訳パフォーマンス（chRF（％）スコア）。

図 18 は、信頼性の低いシナリオでは応答をマスクする傾向があるため、Gemini Pro ではこれらの言語でのパフォーマンスが低いことを示しています。 Gemini Pro が 0 ショットまたは 5 ショット構成で「ブロックされた応答」エラーを生成する場合、応答は「ブロックされた」とみなされます。

図 18: Gemini Pro によってブロックされたサンプルの数。

図 19 を詳しく見ると、シールドされていないサンプルでは Gemini Pro が GPT 3.5 Turbo および GPT 4 Turbo よりもわずかに優れており、信頼性が高いことがわかります。具体的には、5 ショットと 0 ショットの設定でそれぞれ GPT 4 Turbo より 1.6 chrf と 2.6 chrf 多く、GPT 3.5 Turbo より 2.7 chrf と 2 chrf 多く達成します。ただし、これらのサンプルに対する GPT 4 Turbo と GPT 3.5 Turbo のパフォーマンスに関する予備分析では、これらのサンプルの翻訳は一般的に困難であることが示唆されています。 Gemini Pro は、これらの特定のサンプルではパフォーマンスが低く、特に顕著なのは、Gemini Pro の 0 ショットでは応答がブロックされるのに対し、5 ショットではブロックされず、その逆も同様であることです。

図 19: シールド付きサンプルとシールドなしサンプルの CHRF パフォーマンス (%)。

モデルの分析全体を通して、著者らは、少数ショットのヒントが平均パフォーマンスをわずかに向上させ、その分散パターンは「GPT 4 Turbo < GPT 3.5 Turbo < Gemini Pro」の順に増加していることを観察しました。 Gemini Pro の 5 ショット プロンプトは、信頼性が高い言語では 0 ショット プロンプトよりも改善されましたが、hau_Latin などの一部の言語では、モデルの信頼性が大幅に低下し、応答が妨げられました (表 5 を参照)。

図 20 は、言語ファミリーまたは文字体系別の明確な傾向を示しています。重要な観察結果は、Gemini Pro のキリル文字でのパフォーマンスは他のモデルと競合しますが、他の文字でのパフォーマンスはそれほど良くないということです。 GPT-4 はさまざまなスクリプトで優れたパフォーマンスを発揮し、他のモデルよりも優れています。その中でも、少数ショットのプロンプトは特に効果的です。この効果はサンスクリット語を使用する言語で特に顕著です。

図 20: 異なるスクリプトでの各モデルのパフォーマンス (chrf (%))。

ウェブエージェント

最後に、著者らは、長期的な計画と複雑なデータの理解を必要とするタスクである、ネットワークをナビゲートするエージェントとして機能する各モデルの能力を調査しました。彼らは、実行結果を成功基準とするシミュレーション環境である WebArena を使用しました。エージェントに割り当てられるタスクには、情報の検索、Web サイトのナビゲーション、コンテンツと構成の操作などがあります。タスクには、電子商取引プラットフォーム、ソーシャル フォーラム、共同ソフトウェア開発プラットフォーム (GitLab など)、コンテンツ管理システム、オンライン マップなど、さまざまな Web サイトが関係していました。

著者らは、Gemini-Pro の全体的な成功率、さまざまなタスクでの成功率、応答の長さ、軌跡のステップ数、タスクの失敗を予測する傾向をテストしました。表 6 に全体的なパフォーマンスを示します。 Gemini-Pro のパフォーマンスは GPT-3.5-Turbo に近いですが、わずかに劣ります。 GPT-3.5-Turbo と同様に、タスクが完了しない可能性があるというヒント (UA ヒント) が示されている場合、Gemini-Pro のパフォーマンスが向上します。 UAヒントを使用すると、Gemini-Proの全体的な成功率は7.09％になります。

表 6: WebArena での各モデルのパフォーマンス。

図 21 に示すように、Web サイトの種類ごとに分類すると、Gemini-Pro は Gitlab とマップでは GPT-3.5-Turbo よりもパフォーマンスが劣りますが、ショッピング管理、reddit、ショッピング Web サイトでは GPT-3.5-Turbo に近いパフォーマンスを発揮することがわかります。マルチサイトタスクでは、Gemini-Pro は GPT-3.5-Turbo よりも優れたパフォーマンスを発揮します。これは、さまざまなベンチマークのより複雑なサブタスクで Gemini のパフォーマンスが優れていることを示す以前の結果と一致しています。

図 21: さまざまな種類の Web サイトにおける Web エージェントのモデル成功率。

図 22 に示すように、一般的に、Gemini-Pro は、特に UA ヒントが与えられた場合に、より多くのタスクを不完全として予測します。 UA ヒントを考慮すると、Gemini-Pro はタスクの 80.6% 以上が完了できないと予測しますが、GPT-3.5-Turbo は 47.7% しか予測しません。データセット内のタスクのうち実際に達成できないのはわずか 4.4% であることに注意することが重要です。そのため、どちらも達成できないタスクの実際の数を大幅に過大評価しています。

図22: UA予測数量。

同時に、著者らは、Gemini Pro はより短いフレーズで応答し、結論に達するまでにかかるステップ数が少ない傾向があることを観察しました。図 23 (a) に示すように、Gemini Pro の軌跡の半分以上は 10 ステップ未満ですが、GPT 3.5 Turbo と GPT 4 Turbo の軌跡のほとんどは 10 ～ 30 ステップです。同様に、Geminiの応答のほとんどは100文字未満ですが、GPT 3.5 Turbo、GPT 4 Turbo、Mixtralの応答のほとんどは300文字を超えています（図23（b））。 Gemini はアクションを直接予測することを好みますが、他のモデルは最初に推論を実行してからアクション予測を行います。

図 23: WebArena でのモデルの動作。

詳細については原文論文を参照してください。