Mac専用の大型モデルフレームワークが登場！ 2行のコードでデプロイでき、ローカルデータとチャットでき、中国語もサポートしています

Mac ユーザーは、ついに、RTX を使用した独自の大型モデル チャットを持つ N カード プレーヤーを羨む必要がなくなりました。

偉大なる神によって立ち上げられた新しいフレームワークにより、Apple コンピューターはローカルの大規模モデルを実行できるようになり、わずか 2 行のコードで展開を完了できます。

Chat with RTX をモデルにしたこのフレームワークは Chat with MLX (MLX は Apple の機械学習フレームワーク)と呼ばれ、元 OpenAI の従業員によって作成されました。

黄院士のフレームワークの一部の機能、たとえばローカル ドキュメントの要約や YouTube ビデオの分析などは、MLX のチャットでも利用できます。

中国語を含む 11 の言語が利用可能で、7 つの大規模なオープン ソース モデルをサポートしています。

体験したユーザーによると、Appleデバイスではコンピューティングの負担が少し重いかもしれないが、初心者でも簡単に始められるとのこと。MLXとのチャットは本当に良いものだ。

では、MLX とのチャットの実際の効果は何でしょうか?

MacBookを使用して大規模なローカルモデルを展開する

Chat with MLX は pip コマンドに統合されているため、pip をお持ちの場合は、インストールを完了するために必要なコードは 1 行だけです。

pip インストール chat-with-mlx

インストールが完了したら、ターミナルに chat-with-mlx と入力して Enter キーを押します。自動的に初期化が完了し、Web ページがポップアップ表示されます(初回起動時およびモデルのダウンロード時には Hugging Face サーバーに接続する必要があります) 。

△MLXの実際のテスト結果とチャット

このページを下にスクロールし、使用するモデルと言語を選択して、「モデルの読み込み」をクリックします。システムによってモデル情報が自動的にダウンロードされ、読み込まれます。

途中でモデルを変更する必要がある場合は、新しいモデルを選択する前に以前のモデルをアンロードする必要があることに注意してください。

Hugging Face で利用可能で、MLX フレームワークと互換性がある限り、他のモデルも手動で追加できます。この方法の詳細については、GitHub ページを参照してください。

独自のデータを使用する場合は、まずタイプ（ファイルまたは YouTube ビデオ）を選択し、ファイルをアップロードするかビデオ リンクを入力して、「インデックス作成の開始」をクリックしてインデックスを作成する必要があります。

開発者によると、「停止」をクリックしない限り、新しいファイルを再度アップロードするとデータが蓄積されるとのことです。

もちろん、データを転送せずに通常の大型モデルとして使用することもできます。

長い推論時間を回避するために、テストには小型の Quyen-SE を選択しました。

(Quyen-SEはAlibabaのTongyi Qianwenをベースにしており、Chat with MLXの作者も研究開発に参加しました。)

まずはカスタムデータを追加していないモデルの速度を見てみます。M1チップを搭載したMacBookではこの0.5Bモデルのパフォーマンスはこのようになり、比較的スムーズだと言えます。

しかし、プロモーションでは、Chat with MLX の主なセールス ポイントは依然としてローカル RAG 検索です。

モデルのトレーニング データに元の文書が存在していないことを確認するために、編集者は、オンラインで公開されていない学部論文をボックスの底から掘り出しました。

私たちは論文のさまざまな箇所で詳細を尋ね、記事の内容に基づいてChat with MLX用に合計10の質問を設計しました。

回答のうち 7 つは正解 (コンテキストと一致している) ですが、速度は純粋な生成よりもわずかに遅くなります。

テスト中に、モデルがプロンプト単語を吐き出す確率は一定であるものの、トリガー条件には規則性がないことが判明しました。

しかし、モデルのパフォーマンスを向上させるために、著者はすでにチップなどの新しいプロンプトワード技術を使用していることがわかります。

全体的に、おそらくコンピューティング能力の制約のため、Apple デバイスにローカルの大規模モデルを展開する効果は、NVIDIA の Chat with RTX に匹敵するものではありません。

同時に、GitHub 上では多くのユーザーからさまざまなインストール失敗の問題が報告され、作者は対応したりフォローアップしたりして再度プログラムを更新しました。

しかし、いずれにしても、ローカル展開を選択する場合、データセキュリティはより重要な考慮事項になる可能性があり、このことから、ローカライズされた専用の大型モデルが、コンシューマーグレードの製品に向けて普及する傾向を示し始めていることがわかります。

ネットユーザーの言葉を借りれば、AI PC をアップグレードする時期が来ています。

GitHub: https://github.com/qnguyen3/chat-with-mlx