博士課程の学生がランキングの不正行為を識別するオープンソースのAI数学「魔法の鏡」をリリースした

博士課程の学生がランキングの不正行為を識別するオープンソースのAI数学「魔法の鏡」をリリースした

最近の大物モデルの多くは数学が得意だと主張していますが、本当に才能があるのは誰でしょうか?テスト問題を暗記して「カンニング」しているのは誰ですか?

今年になって問題が発表されたばかりのハンガリーの全国数学期末試験について、誰かが総合的なテストを実施した。

一瞬にして多くのモデルが露出した

まず、緑色の部分を見てみましょう。これらの大規模モデルは、古典的な数学テストセット GSM8k と新しいテスト用紙で同様の結果を達成しており、これらを合わせて参照標準を形成しています

赤い部分を見ると、GSM8Kのスコアは同じパラメータスケールの大規模モデルよりも大幅に高くなっています。しかし、新しいテストペーパーのスコアは大幅に低下し、同じスケールの大規模モデルとほぼ同じです。

研究者らは、これらを「GSM8kで訓練されたと疑われる、または訓練されたことが分かっている」と分類した。

このテストを見たネットユーザーは、これまでに見たことのないトピックについて大規模なモデルの評価を開始する時期が来たと述べた。

このテストと、大規模モデルを使用した全員の実際の経験が、現時点では唯一の信頼できる評価手段であると考える人もいます。

マスク氏のGrokはGPT-4に次ぐもので、オープンソースのLlemmaは優れた結果を達成した。

テスターのKeiran Paster氏は、トロント大学の博士課程の学生であり、Google の学生研究者であり、テストで使用された大規模な Lemma モデルの著者の 1 人です。

巨大モデルにハンガリーの全国高校数学期末試験を受けさせよう。この技はマスク氏のxAIから生まれた。

xAI の Grok 大規模モデルがリリースされたとき、いくつかの共通テスト セットに加えて、モデルがオンライン データ内のテスト問題を誤って認識したという問題を排除するために、この追加テストが実行されました。

この試験は今年 5 月末に完了したばかりであり、現在の大規模モデルでは基本的にこのテスト問題セットを見る機会はありません。

xAIがリリースされた際には、比較のためにGPT-3.5、GPT-4、Claude 2の結果も発表されました。

このデータセットに基づいて、Paster は強力な生成数学機能を備えたいくつかのオープンソース モデルをさらにテストしました。

各モデルのテスト問題、テスト スクリプト、および回答結果はHuggingface 上でオープン ソースとして公開されており、誰でも他のモデルを検証してさらにテストすることができます。

結果から判断すると、GPT-4 と Claude-2 が第 1 階層を形成し、GSM8k と新しいテスト ペーパーの両方で高いスコアを獲得しました。

これは、GPT-4 と Claude 2 のトレーニング データに漏洩した GSM8k の質問がまったく含まれていないことを意味するわけではありませんが、少なくとも一般化能力は優れており、新しい質問を正しく解決できるため、気にする必要はありません。

次に、Musk xAIのGrok-0 (33B)とGrok-1 (非公開のパラメータスケール)が良好なパフォーマンスを示しました。

Grok-1 は「不正行為をしていないグループ」の中で最高得点を獲得しており、新しいテスト用紙での彼の得点は Claude 2 よりもさらに高くなっています。

GSM8k での Grok-0 のパフォーマンスは GPT3.5-Turbo のパフォーマンスに近いですが、新しいテスト ペーパーではわずかに劣ります。

上記のクローズドソース モデルを除き、テスト内の他のすべてのモデルはオープン ソース モデルです。

Code Llamaシリーズは、Llama 2をベースにMetaが独自に微調整したもので、自然言語に基づいたコード生成に重点を置いています。現在では、同規模のモデルに比べると数学的な能力が若干劣るようです

Code Llamaをベースに、いくつかの大学や研究機関が共同でLlemmaシリーズを立ち上げ、EleutherAIがオープンソース化しました。

チームは、科学論文、数学を含むウェブデータ、数学コードから Proof-Pile-2 データセットを収集しました。トレーニング後、Llemma はツールを使用して、それ以上の微調整なしで正式な定理証明を行うことができます。

新しいテスト用紙のLlemma 34Bは、GPT-3.5 Turboのレベルに近いです。

Mistral シリーズは、フランスの AI ユニコーン企業 Mistral AI によってトレーニングされました。Apache 2.0 オープンソース プロトコルは Llama よりも緩やかで、Alpaca ファミリーに次いでオープンソース コミュニティで最も人気のある基本モデルとなっています。

「オーバーフィッティング グループ」OpenChat 3.5MetaMath Mistral は、どちらも Mistral エコシステムに基づいて微調整されています。

MetaMathMAmmoTH Code は、Code Llama エコシステムに基づいています。

実際のビジネスでオープンソースの大規模モデルを選択する場合は、このグループを避けるように注意する必要があります。ランキング結果は良いかもしれませんが、実際の機能は同規模のモデルよりも弱い可能性があります。

多くのネットユーザーは、この実験こそがモデルの実際の状況を理解するために必要なことだと信じ、パスター氏に感謝の意を表した。

懸念を表明した人もいた。

この日から、大規模モデルをトレーニングするすべての人が、過去のハンガリーの数学の試験問題にアクセスできるようになります。

同時に、独自のテストを備えた専用の大規模モデル評価会社を設立することが解決策になるかもしれないと彼は考えています。

もう 1 つの提案は、過剰適合の問題を軽減するために毎年更新されるテスト ベンチマークを確立することです。

<<: 

>>:  Androidスマートフォンを開くと、画面全体に「Big Model」という3つの単語が表示されます。

ブログ    
ブログ    
ブログ    

推薦する

あなたは人工知能(AI)を本当に理解していますか?将来、人工知能によって多くの人が失業することになるのでしょうか?

[[286906]]人工知能 (AI) は、通常は人間の思考を必要とするタスクを実行できるインテリ...

機械学習と AI のトレンド: 何が期待できるか?

ビデオゲーム、医療におけるモノのインターネット、スマートシティなどでは、すでに仮想現実がさらに多く見...

マイア:人間を模倣するが、人間を超えることはないチェスAI

[[378769]]海外メディアの報道によると、AIは長年にわたり、あらゆる古典的なボードゲームで...

この方程式はバイナリツリーの森ですか?データから直接未知の支配方程式と物理的メカニズムを発見する

研究者たちは、機械学習の手法を使用して、高次元の非線形データから直接最も価値があり重要な内部法則を自...

...

...

...

5G、人工知能、音声技術…2020年に注目すべき6つのテクノロジートレンド

あらゆるもののインターネット化への道のりにおいて、自動化、5G、人工知能、音声技術、ブロックチェーン...

...

AmazonのAI研究開発はファッショントレンドをリードするために異なるアプローチを採用しています

テクノロジーサイトEngadgetが北京時間8月25日に報じたところによると、人工知能は現在、ほとん...

2019年に注目すべき5つのAIトレンド

2018 年には、機械学習と人工知能に基づくプラットフォーム、ツール、アプリケーションの劇的な成長が...

...

...

Dubbo 負荷分散戦略コンシステントハッシュ

この記事では、主にコンシステント ハッシュ アルゴリズムの原理とデータ スキューの問題について説明し...

人間と機械の翻訳対決は韓国で行われる。人工知能の未来は過小評価できない

韓国のソウルで人間の翻訳者と人工知能(AI)翻訳機の対決が行われる。人間の翻訳者が明らかに有利である...