爆発！ローカル展開、複数のAIモデル間の簡単な切り替え

私は週末に AI で遊んでいて、個人的な知識ベースをローカルに展開しています。基本的には OpenAI のオープン インターフェースに基づいてパッケージ化されていますが、小さなモデルを自分でローカルに展開することもできます。

これら 2 つの要件は、初心者プレイヤーにとっては高すぎると感じます。1 つは科学的なインターネット アクセスが必要であり、もう 1 つはローカルに展開できるようにコンピューターにハイエンドのグラフィック カードが搭載されていることが必要です。

今日は大ヒット商品 gpt_academic をご紹介します。GPT-3、GPT-4、Claude-2 などの海外モデルや、Wenxin Yiyan、Xinghuo、Tongyi Qianwen などの国内大型モデルで遊ぶことができます。

1. 展開プロジェクト

1. 前提条件

docker-compose 経由で起動するといつも問題が発生します。イメージの問題のはずです。この問題を見ると、多くの人が質問しているので、ソースコードに従って直接起動します。

Python 環境をローカルにインストールする必要があります。これについては詳しく説明しません。インターネット上には多くのチュートリアルがあります。

2. ダウンロードとインストール

gpt_academic の GitHub アドレス: https://github.com/binary-husky/gpt_academic

上記のURLにアクセスして直接ダウンロードしてください（Gitをインストールせずに）

写真

ダウンロードしたら、対応する Python プロジェクトの場所に解凍します。起動しようとすると、多くのコンポーネントが表示され、インストールする必要があります。プロンプトに従って、1 つずつインストールできます。

3. 国内モデルの構成

国内の大規模モデルが比較的単純な場合、マッピング関係は次のようになります。

ここでは、iFlytek Spark を例に挙げます。主な理由は、iFlytek の実名登録で Spark Large Model 3.0 のトークンが 200 万個プレゼントされるからです。

写真

実名登録後、Spark API 情報を取得し、config.py ファイルに対応する Spark モデル構成に入力します。

写真

最後に、config.py の AVAIL_LLM_MODELS プロパティに sparkv3 モデルを入力します。

写真

この方法でプロジェクトを直接開始できます。

4. 海外モデルの構成

外部モデルの使用はより複雑です。プロキシを設定し、check_proxy.py ファイルを実行して問題がないか確認する必要があります。

ここでは、Clash ソフトウェアを例として使用し、プロキシ ポートを確認し、プロキシ ページでグローバル モードに切り替えます。

写真

上記で取得したローカル ポートを config.py ファイルに設定し、次の 2 か所を変更します。

1. OpenAIキーを入力してください
2. ローカルプロキシポートを変更します。私のは http://127.0.0.1:7890 です。

写真

check_proxy.py ファイルを実行した結果が次のとおりであれば、合格です。それ以外の場合は、設定を調整する必要があります (使用するソフトウェアが異なるため、自分で解決できます)。

写真

5. 実践的な応用

マルチモデル出力（複数の AI モデルを同時にクエリする）を使用する場合は、設定を変更する必要があります。

 # 定义界面上“询问多个GPT模型”插件应该使用哪些模型，请从AVAIL_LLM_MODELS中选择，并在不同模型之间用`&`间隔，例如"gpt-3.5-turbo&chatglm3&azure-gpt-4" # 默认MULTI_QUERY_LLM_MODELS = "gpt-3.5-turbo&chatglm3" MULTI_QUERY_LLM_MODELS = "gpt-3.5-turbo&sparkv3

ここでは、gpt-3.5-turbo と sparkv3 を設定します。さらにモデルがある場合は、すべてを設定することもできます。

次に main.py ファイルを実行します。正常に実行されると、http://localhost:29717 ページが自動的にポップアップ表示されます。ポートは毎回ランダムです。

写真

右上隅でさまざまなモデルを切り替えることができます。デフォルトのモデルは gpt-3.5 です。 Spark モデルに切り替えて効果を確認してみましょう。

写真

ページの右下隅で、複数のモデルを試すように選択し、結果が同時に出力されることがわかります。

写真

ここでファイルの内容を直接入力することもでき、AI がそれを要約するのに役立ちます。実際には、ファイルの内容をテキストに変換してモデルに送信し、最終的に要約ファイルを返します。

写真

2. 結論

まだ多くの機能があるので、探索してみてください。 Java プロジェクト全体をインポートしようとしましたが、返されたのは各ファイルのコード解釈のみで、実際にはあまり役に立ちませんでした (150,000 トークンかかり、面倒でした)。