1.9k の星を獲得した LLM 微調整ツール Lamini は高速かつ強力で、無料で利用可能

LLM の微調整は、複雑な問題から、継続的な技術改善を通じてアクセス可能な問題へと変化しました。

さて、無料で高速な LLM 微調整が可能になりました。

4月末、スタンフォード大学の開発者グループがLaminiをリリースし、GPT-3からChatGPTにもたらされたスーパーパワーをすべての開発者に提供すると主張しました。

最近、Lamini は新しい Alpha パブリック ベータ バージョンをリリースし、「ワイルド・スピード」を実行するための微調整が可能になりました。今では、微調整はわずか 10 分と 3 ～ 5 行のコードで実行でき、さらに重要なことに、コストはかかりません。

現在、4 億パラメータ以内の LLM 微調整は完全に無料です。これはほんの始まりに過ぎません。

写真

プロジェクトアドレス: https://github.com/lamini-ai/lamini

ラミニの利点

まずはLaminiのメリットを見てみましょう。

写真

• 無料、小規模なLLMに適しています。
• 素早く、10〜15分。
• 最大のプロンプトの 1000 倍のスペースを持つ、非常に大きく、サイズ無制限のプロンプト。
• 学習、検索強化型生成では、既知の情報に基づいてコンテンツを理解しようとするだけでなく、新しいことも学習します。

そして、ラミニのプロジェクトアドレスには

• 1400 の質問回答データセット (これは Lamini の内部エンジニアリング ドキュメントであり、カスタマイズすることもできます)。
• このデータセットで LLM 微調整のコードを実行します。
• 質問（Lamini について、またはその他質問したいことなど）に回答する、オープンソースの微調整された LLM。

ラミニチュートリアル

使用例

ラミニって本当にすごいんですか？参考までに例を挙げます。

まず、微調整が必​​要な LLM があります。この例は、Lamini の内部エンジニアリング ドキュメントに関する質疑応答形式の LLM です。

写真

このモデルは、410M パラメータの Pythia モデルをベースとするチャット インターフェイスを提供します。

この 410M パラメータ LLM のパフォーマンスは満足できるものではないようです。 「Lamini にデータを追加するにはどうすればいいですか？」と質問すると、返される答えは信頼できません。

写真

データを入力することもできます。この例では、Lamini に関する 1400 件の質問と回答のデータセットがあります。小さく見えますが、現在の最大プロンプト サイズ (約 120K) よりもはるかに大きいです。

データを準備するためのプロのヒントをいくつか紹介します。品質は非常に重要です。たった 100 個の高品質な例で、正しい方向に進むことができます。では、高品質とは何でしょうか?

• 高品質: 一貫性があり、明確で、正確な例。
• 多様性: 幅広いトピックとデータを網羅するため、誤った関連付けやデータの偏りは避ける必要があります。
• リアル: LLM によって生成された偽の例ではなく、実際のユーザー データまたは人工的に作成された例を使用して、人間とコンピューターの相互作用のニュアンスを捉え、既存の生成機能を超えてモデルを改善します。

次に、このデータをモデルにロードしてトレーニングするように指示するだけです。

写真

わずか 10 ～ 15 分でこの LLM を実行できます。

もう一度同じ質問をしてみましょう。「Lamini にデータを追加するにはどうすればよいですか?」次の内容です。

今回は正解でした、微調整が大きな役割を果たしたようです。

Laminiを使用してLLMをトレーニングする方法

1. Lamini Types を使用して LLM インターフェイスを定義します。チャットボットにしたいですか?インターフェースは質問と回答です。コード副操縦士になりたいですか?インターフェースはプログラム入力とさらにプログラム出力です。タイプを使用して汎用 LLM (基本モデルまたは基礎モデル) を実行します。

2. 関連データを検索し、ラミニ タイプを作成します。タスクを実行する人間の専門家にとって役立つデータは何でしょうか?そのデータを取得し、そのパターンに一致する (追加の) Lamini タイプを作成します。コード チャットボットのドキュメント内の関数や、ボットに尋ねる質問の例などのサポート ドキュメントにすることができます。

3. Lamini を使用してデータをタイプにロードし、タイプを LLM にロードします。これにより、データが Types 形式に変換され、LLM がデータから最適に学習できるようになります。

4. LLM インターフェイスに一致するデータを取得します。そうでなかったらどうしますか?問題ない。これは、LLM パイプラインが活用されるデータ生成の目的です。まず、Lamini LLM エンジンを使用してデータ生成を実行し、Lamini タイプ (あらゆる種類) のより正確なデータを取得します。次に、Lamini フィルターまたは独自のスクリプトを使用してデータをフィルターし、高品質のデータを取得します。

5. 最適化トレーニングを通じて一般的なLLMを専門化します。 Lamini ライブラリを使用して、すべてのデータに対して独自の LLM をトレーニングします。