2024年のAIトレンド、このグラフをご覧ください、LeCun: オープンソースのビッグモデルがクローズドソースを上回る

2023年ももうすぐ終わりです。過去1年間で、さまざまな大型モデルがリリースされました。 OpenAIやGoogleのようなテクノロジー大手が競争する一方で、もう一つの「勢力」が静かに台頭している。オープンソースだ。

オープンソースモデルは常に疑問視されてきました。それらは独自モデルと同じくらい優れていますか?独自モデルのパフォーマンスに匹敵できますか?これまでのところ、私たちはいくつかの点でしか近づくことができませんでした。それでも、オープンソース モデルは常に、私たちが感心するような実証的なパフォーマンスをもたらします。

オープンソース モデルの台頭により、ゲームのルールが変化しています。たとえば、Meta の LLaMA シリーズは、その高速な反復性、カスタマイズ性、プライバシーの点で人気が高まっています。これらのモデルはコミュニティ内で急速に進化しており、独自のモデルに強力な挑戦をもたらし、大手テクノロジー企業の競争環境を変える可能性があります。

しかし、それ以前は、ほとんどの人の発想は「感情」から生まれたものでした。今朝、Meta の主任 AI 科学者でチューリング賞受賞者の Yann LeCun 氏が突然こう叫びました。「オープンソースの AI モデルは、独自のモデルを超えつつあります。」

ARK Invest チームが作成したこのトレンド チャートは、2024 年の AI の発展を予測する可能性が高いものと考えられています。生成 AI におけるオープンソース コミュニティと独自モデルの開発を図表化します。

OpenAIやGoogleなどの企業が、自社の最新モデルについてより閉鎖的になり、あまり公表しなくなるにつれて、オープンソースコミュニティとその企業支援者であるMetaもそれに倣い、生成AIへのアクセスを民主化し、独自モデルのビジネスモデルに挑戦する可能性があるようだ。

この散布図には、さまざまな AI モデルのパフォーマンス パーセンテージが表示されます。独自のモデルは青で表示され、オープンソース モデルは黒で表示されます。 GPT-3、Chinchilla 70B (Google)、PaLM (Google)、GPT-4 (OpenAI)、Llama65B (Meta) などのさまざまな AI モデルのパフォーマンスをさまざまな時点で確認できます。

Meta が LLaMA を初めてリリースしたとき、パラメータの数は 70 億から 650 億の範囲でした。これらのモデルのパフォーマンスは非常に優れています。130億のパラメータを持つLlamaモデルは、ほとんどのベンチマークでGPT-3（1750億のパラメータ）よりも優れており、単一のV100 GPUで実行できます。また、650億のパラメータを持つ最大のLlamaモデルは、GoogleのChinchilla-70BおよびPaLM-540Bに匹敵します。

Falcon-40B はリリース直後から Huggingface の OpenLLM ランキングでトップとなり、Llama だけが目立っていた状況を変えました。

Llama 2 はオープンソースであり、大規模モデルの世界に再び大きな変化をもたらします。 Llama 1 と比較して、Llama 2 はトレーニング データが 40% 多く、コンテキストの長さが 2 倍になり、グループ化されたクエリ アテンション メカニズムを使用します。

最近、オープンソースのビッグモデルの世界に、Yi モデルという新たなヘビー級メンバーが加わりました。一度に 40 万個の中国語文字を処理でき、中国語と英語の両方を処理できます。 Yi-34Bは、これまでにHugging Faceオープンソースモデルランキングでトップを獲得した唯一の国産モデルとなった。

散布図に示されているように、オープンソース モデルのパフォーマンスは独自のモデルに追いついています。これは、近い将来、オープンソース モデルのパフォーマンスが独自モデルに匹敵するか、それを上回ることが期待されることを意味する可能性があります。

先週末、Mistral 8x7B が最もシンプルな方法で強力なパフォーマンスを備えてリリースされ、研究者は「クローズドソースのビッグモデルは終わりを迎えた」とコメントしました。

一部のネットユーザーは、「2024年はオープンソースAIの年になるだろう」と期待し始めている。「私たちは重要なポイントに近づいています。オープンソースコミュニティプロジェクトの現在の開発速度では、今後12か月でGPT-4のレベルに到達するでしょう。」

オープンソース モデルの将来が順調に進むかどうか、またそれがどのように機能するかについては、待って見守る必要があります。