1つの命令を使用してGPT-3.5またはLlama 2を微調整する方法

ChatGPT や Llama 2 などの大規模言語モデル (LLM) は、さまざまなタスクでの汎用性から人気があります。ただし、一部のアプリケーションでは、パフォーマンスを向上させるために、カスタム データを使用してこれらのモデルを微調整する必要があります。

残念ながら、特定のアプリケーション向けに大規模言語モデル (LLM) を微調整することは、多くの場合複雑で面倒であり、アプリケーションの種類と必要なデータに大きく依存します。幸いなことに、HyperWrite の CEO である Matt Schumer 氏は、Llama 2 または GPT-3.5 Turbo の微調整プロセスを簡素化する非常に便利なツール、gpt-llm-trainer を開発しました。

gpt-llm-trainer は、LLM を微調整するという複雑なタスクを単一の簡単な指示に簡素化し、ユーザーがこれらのモデルをニーズに合わせて簡単に適応できるようにします。

gpt-llm-trainerはどのように機能しますか

gpt-llm-trainer は、「モデル蒸留」と呼ばれる手法を使用します。このプロセスは基本的に、より大きな機械学習モデル (教師) からより小さな機械学習モデル (生徒) に知識を転送します。 LLM のコンテキストでは、モデル蒸留には通常、タスク固有のトレーニング例を生成する教師モデルが含まれ、その後、そのサンプルが小さなモデルのトレーニングに使用されます。

gpt-llm-trainer は開発者のタスクを記述し、GPT-4 を使用して、トレーニング対象の小さなモデルのトレーニング例を自動的に生成します。これらの例は、開発者が選択したモデル（現在は Llama 2 と GPT-3.5 Turbo が含まれます）を微調整するために使用されます。

モデル蒸留は、LLM を微調整するための万能のソリューションではないことに注意することが重要です。多くの場合、開発者は依然として独自のデータを手動で管理するという困難なプロセスを経る必要があります。ただし、モデルの蒸留は、教師モデルが生徒モデルよりも優れている場合に特に効果的であることが示されています。

蒸留がタスクに適したアプローチであるかどうかを判断するために、開発者はベンチマーク パフォーマンス レポートを参照したり、教師と生徒のモデルに関する独自の実証研究を実施したりすることができます。これにより、開発者は情報に基づいた意思決定を行い、微調整プロセスを最適化できるようになります。

図1: LLMモデルの蒸留

gpt-llm-trainerの使い方

開発者は、関連 Web サイトの gpt-llm-trainer の GitHub ページにアクセスできます。 Matt は、GPT-3.5 Turbo 用と Llama 2 用の 2 つの Google Colab ノートブックも用意しており、独自の Python 環境をセットアップしなくても簡単に実行できます。

gpt-llm-trainer ツールを使用するには、まず OpenAI アカウントと有効な API キーが必要です。このキーは、「YOUR KEY HERE」と書かれたノートに書き留めておく必要があります。

ノートブックの最初のセルに、タスクの説明、必要な例の数、モデルの創造性レベルを調整する温度を入力します。次の手順は簡単です。セルを順番に実行して例を生成し、モデルをトレーニングします。

Llama 2 ノートブックを使用している場合、生成されたモデルは Google ドライブに保存されます。 GPT-3.5 ノートブックを使用している場合、モデルは OpenAI アカウントに保存されます。

特に、OpenAI の利用規約では、競合製品のモデルをトレーニングするために LLM を使用することを禁止しています。つまり、開発者は gpt-llm-trainer によって微調整されたモデルを商用目的で使用することはできません。しかし、これを使用して、個人的な日常使用のための独自のライティング アシスタントやコーディング アシスタント、その他のツールを簡単に作成できます。

また、開発者がモデルを生成して微調整したい例の数によっては、データ生成とトレーニングのプロセスに時間がかかる場合があることにも注意してください。例は GPT-4 を使用して生成されるため、トレーニングのコストを監視することが重要であり、約 50 個の短いトレーニング サンプルを 1 ドル未満で生成できます。ただし、大規模なデータセットを生成する予定の場合は、コストを慎重に検討する必要があります。まず少量の例を生成し、その品質を評価して必要に応じて指示を調整してから、データセット全体の作成に進むことができます。

Llama 2 ノートブックを使用するユーザーの場合、gpt-llm-trainer はデフォルトで「nousresearch/llama-2-7b-chat-hf」モデルを微調整します。このモデルには、申請フォームに記入しなくてもアクセスできます。オリジナルの Meta Llama 2 を微調整したい場合は、コードを変更し、Hugging Face パスワードを入力する必要があります。また、微調整はColabのGPUを使用して行われるため、実行環境は必ずGPUを使用するように設定してください。

gpt-llm-trainer の改善

gpt-llm-trainer は強力なツールですが、Google Colab ベースのインターフェースは、Colab が一般に本番環境向けに設計されていないため、あまりユーザーフレンドリーではありません。

さらに、このツールの使いやすさを向上させる機能がいくつかあります。たとえば、生成されたトレーニング例は保存されず、Colab セッションの終了後に破棄されます。ただし、例はセッション中に Pandas DataFrame に保存され、少しコーディングするだけで、将来使用するために CSV ファイルにエクスポートできます。

興味深いアイデアとしては、gpt-llm-trainer を Streamlit に移植することです。これにより、LLM を微調整するためのよりユーザーフレンドリーなインターフェースが提供され、独自のトレーニング例を使用してブートストラップできるようになり、生成された例を後で使用するために保存できるようになります。 gpt-llm-trainer は LLM 蒸留の良い出発点ですが、それを改善する方法はたくさんあります。

原題: 1 つの命令で GPT-3.5 または Llama 2 を微調整する方法、著者: Ben Dickson

リンク: https://bdtechtalks.com/2023/11/03/gpt-llm-trainer/