ミストラルAIの新モデルはGPT-4をベンチマークしており、オープンソースではなくマイクロソフトと協力、ネットユーザー：当初の意図を忘れた

生成AIの分野で、新たな重量級の製品が登場しました。

月曜日の夜、ミストラルAIは「フラッグシップ」の大型モデルであるミストラルラージを正式にリリースしました。これまでのシリーズのモデルとは異なり、今回Mistral AIがリリースしたバージョンは、より強力なパフォーマンスとより大きなサイズを備え、OpenAIのGPT-4を直接ターゲットにしています。新しいモデルの登場は、同社の全体的な方向性の変革も伴います。

Mistral Large のリリースに合わせて、Mistral AI は Le Chat (ChatGPT に相当) と呼ばれるチャットアシスタントをリリースし、誰でも試すことができます。

トライアルリンク: https://chat.mistral.ai/

以前、Mistral AI の Mistral-Medium は、その強力なパフォーマンスと「偶然の」オープンソースで有名になりました。現在、多くの大規模なモデルスタートアップはもはや Llama 2 をターゲットにしておらず、Mistral AI のモデルを直接の競合相手と見なしています。ミストラル・ラージの登場は当然ながらすぐに皆の注目を集めた。

まず注目されるのはパフォーマンスです。Mistral-Large はパラメータ数では GPT-4 に劣りますが、主要なパフォーマンスでは GPT-4 に匹敵し、業界でもトップ 3 に入ると言えます。

Mistral Large の推論精度は、Claude 2、Gemini 1.0 Pro、GPT-3.5 よりも優れています。32k トークンのコンテキストウィンドウをサポートし、正確な命令をサポートし、関数呼び出し機能が組み込まれています。

Mistral Large は推論速度においても GPT-4 や Gemini Pro を上回ることが判明しました。しかし、利点はそれだけです。

ボリュームを増やすことに加えて、モデルには対応するデータも必要です。モデルがリリースされた後、生成されたテキストに ChatGPT との既視感があることが分かりました。

業界で最も先進的な GPT-4 に追いつくことが目標であれば、AI 生成コンテンツをトレーニングに使用することは大きな問題ではないかもしれません。しかし、Mistral Large の登場は、AI コミュニティの人々に危機感をもたらしました。それは、Mistral Large がオープンソースの大規模モデルではないという点です。

今回公開された大型モデルにはベンチマークやAPI、アプリケーションなどが搭載されていますが、いつものようにGitHubやダウンロードリンクは用意されていません。

一部のネットユーザーは、新モデルがリリースされた後、Mistral AI の公式ウェブサイトがオープンソースコミュニティの義務に関連するすべてのコンテンツをひっそりと削除したことを発見しました。

オープンソース企業としてスタートしたMistral AIは、設立から1年も経たないうちに方向転換しようとしているのだろうか？

Mistral Large は現在、Mistral AI 独自のプラットフォーム La Plateforme および Microsoft Azure で利用できます。 Mistral AI は、Mistral Large に加えて、レイテンシとコストが最適化された新しいモデル Mistral Small もリリースしました。 Mistral Small は Mixtral 8x7B よりも性能が優れており、推論の遅延が短縮され、オープンウェイトモデルとフラッグシップモデルの中間的な位置付けを実現します。

しかし、このモデルの価格設定についても疑問が投げかけられている。たとえば、Mistral Small の低レイテンシは Mixtral 8x7B よりわずかに優れていますが、入力では 2.8 倍、出力では 8.5 倍高価です。

大型商用モデルの観点から見ると、Mistral Large の価格設定は GPT-4 に対して優位性がありません。どうすれば顧客を引き付けられるのでしょうか?

「GPT-4 Turboの半分の価格だったら、もっと理解できただろう」と業界関係者は語った。

新しい Mistral AI「Big Cup」モデルのパフォーマンスはどうですか?

Mistral AI は公式ブログで、Mistral Large の機能と利点を詳しく説明しました。

Mistral Large は、いくつかの一般的なベンチマークで優れた結果を達成しており、API 経由で世界で 2 番目によく使用されるモデルとなっています (GPT-4 に次ぐ)。

GPT-4、Mistral Large（事前トレーニング済み）、Claude 2、Gemini Pro 1.0、GPT 3.5、LLaMA 2 70B の MMLU（大規模マルチタスク言語理解の測定）での比較。

Mistral Large には次の利点があります。

ミストラル・ラージは、英語、フランス語、スペイン語、ドイツ語、イタリア語を流暢に話すネイティブスピーカーであり、文法や文化的背景に対する微妙な理解力を持っています。
Mistral Large の 32K トークンコンテキストウィンドウを使用すると、大きなドキュメントから情報を正確に呼び出すことができます。
正確な命令追従機能により、開発者は独自の監査戦略を設計できます。Mistral AI はこれを活用して、le Chat のシステムレベルの監査を設定します。
Mistral Large 自体は関数呼び出しを行うことができます。これは、la Plateforme に実装されている制限された出力モードと組み合わせることで、大規模なアプリケーション開発とテクノロジースタックの最新化を可能にします。

ベンチマーク結果の比較については以下を参照してください。

推論と知識

ミストラルラージは強力な推論能力を発揮します。次の図は、標準ベンチマークにおける事前トレーニング済みモデルのパフォーマンスを示しています。

複数の主要な LLM モデルのパフォーマンスが、MMLU (Measuring Massive Multi-Task Language in Understanding)、HellaSwag (10 ショット)、Wino Grande (5 ショット)、Arc Challenge (5 ショット)、Arc Challenge (25 ショット)、TriviaQA (5 ショット)、TruthfulQA などの他の常識、推論、知識ベンチマークのパフォーマンスと比較されます。

多言語対応

Mistral Large はネイティブに多言語対応です。フランス語、ドイツ語、スペイン語、イタリア語の HellaSwag、Arc Challenge、MMLU ベンチマークで LLaMA 2 70B を大幅に上回ります。

フランス語、ドイツ語、スペイン語、イタリア語の HellaSwag、Arc Challenge、MMLU における Mistral Large、Mixtral 8x7B、LLaMA 2 70B の比較。

数学とコーディング

Mistral Large はコーディングと数学のタスクで最高のパフォーマンスを発揮します。次の表は、いくつかのトップ LLM モデルのエンコードと数学的パフォーマンスを評価するための、さまざまな一般的なベンチマークでのパフォーマンスを報告しています。

一般的なコーディングおよび数学ベンチマークにおける主要な LLM モデルのパフォーマンス: HumanEval pass@1、MBPP pass@1、Math maj@4、GSM8K maj@8 (8 ショット)、および GSM8K maj@1 (5 ショット)。

Microsoft と提携して OpenAI ストーリーを構築

Mistral AI は、Mistral Large などのモデルをリリースすると同時に、Microsoft と連携して Azure 上で独自のモデルを提供することも発表しました。

この提携により、Mistral AI は Microsoft の Azure クラウドコンピューティングプラットフォーム上で商用言語モデルを提供する 2 番目の企業となります。これにより、Mistral AI はモデルを市場に投入できるようになり、Azure の最先端の AI インフラストラクチャを使用して次世代の大規模言語モデルの開発と展開を加速する機会が得られます。

同社は、「Mistral AI の使命は、最先端の AI をあらゆる場所に普及させることです。そのため、本日、当社のオープンで商用のモデルを Azure に導入することを発表します。当社のモデルに対する Microsoft の信頼は、前進です。」と述べています。

この複数年契約は、マイクロソフトが最大の賭けであるOpenAI以外にもさまざまな人工知能モデルを提供し、Azureクラウドサービスの顧客を増やすという取り組みを示すものだ。昨年11月、OpenAIはCEOのアルトマン氏が解雇され（その後復帰）という混乱を経験した。マイクロソフトは筆頭株主として、発表の5～10分前にOpenAIからニュースを受け取ったばかりだった。騒動の余波で、マイクロソフトはOpenAIを管理する非営利団体の理事会に投票権のないオブザーバーの席を確保することに成功した。これにより、Microsoft は OpenAI の内部の仕組みについてより深く理解できるようになりますが、Microsoft は依然として主要な決定について投票権を持っていません。

ミストラルAIはロイターに対し、マイクロソフトが今回の取引の一環として同社の少数株を取得する予定であると語ったが、詳細は明らかにしなかった。

マイクロソフトはミストラルAIへの投資を認めたが、同社の株式は保有していないと述べた。このテクノロジー大手は、OpenAIへの巨額の資金提供をめぐって、欧州と米国の規制当局から厳しい監視を受けている。

発表によると、マイクロソフトとミストラル AI のコラボレーションは、次の 3 つの中核領域に重点を置いています。

スーパーコンピューティングインフラストラクチャ: Microsoft は、Azure AI スーパーコンピューティングインフラストラクチャを使用して Mistral AI をサポートし、Mistral AI のフラッグシップモデルの AI トレーニングおよび推論ワークロードにクラス最高のパフォーマンスとスケールを提供します。
マーケティング: Microsoft と Mistral AI は、Azure AI Studio および Azure Machine Learning モデルカタログの Models as a Service (MaaS) を通じて、Mistral AI のプレミアムモデルを顧客に提供します。 OpenAI モデルに加えて、モデルカタログにはさまざまなオープンソースモデルと商用モデルが用意されています。
AI 研究開発: Microsoft と Mistral AI は、特定の顧客向けに特定目的のモデルをトレーニングするためのコラボレーションを検討します。

MistralAI は、Microsoft に加えて、Amazon や Google とも協力してモデルを配布しています。同社広報担当者は、今後数カ月以内にMistral Largeを他のクラウドプラットフォームでも利用できるようにする予定だと述べた。

Mistral AI は、Meta Platforms と Alphabet の元研究者である Arthur Mensch (現 CEO)、Guillaume Lample、Timothee Lacroix によって 2023 年 5 月に設立されました。設立から4週間も経たないうちに、Mistral AIはシードラウンドの資金調達で1億1,300万ドルを調達し、評価額は約2億6,000万ドルとなった。創業から6か月後、同社はシリーズAの資金調達で4億1500万ドルを調達し、評価額は7倍以上の20億ドルに急上昇した。当時、従業員はわずか22人でした。

一般的に、Mistral AI モデルを入手するにはいくつかの方法があります。

Mistral AI 独自の API: このアクセスポイントは、Mistral AI のヨーロッパのインフラストラクチャ上で安全にホストされており、開発者は幅広いモデルでアプリケーションやサービスを作成できます。
Azure: Mistral Large は、Azure AI Studio および Azure Machine Learning を通じて利用でき、Mistral AI の API と同じ一貫したユーザーエクスペリエンスを提供します。
安全な展開: Mistral AI のモデルの一部は、セキュリティが最も重要となるユースケース向けに、ユーザー独自の環境に展開できます。

興味のある読者はぜひ試してみてください。

参考文献:

https://mistral.ai/news/mistral-large/.

https://azure.microsoft.com/en-us/blog/microsoft-and-mistral-ai-announce-new-partnership-to-accelerate-ai-innovation-and-introduce-mistral-large-first-on-azure/.

https://techcrunch.com/2024/02/26/mistral-ai-releases-new-model-to-rival-gpt-4-and-its-own-chat-assistant/.

https://www.reuters.com/technology/microsoft-partners-with-openais-french-rival-mistral-2024-02-26/.

https://azure.microsoft.com/en-us/blog/microsoft-and-mistral-ai-announce-new-partnership-to-accelerate-ai-innovation-and-introduce-mistral-large-first-on-azure/.

<<:

>>: