任意のデータセットに基づいて LLM (大規模言語モデル) ロボットを作成する

今日、偶然Embedchainというウェアハウスを見つけ、とても便利だと思ったので、皆さんとシェアします。倉庫の住所は以下の通りです。

埋め込みチェーン

OpenAI をベースにしていますが、独自のデータセットを追加して会話型ロボットを生成することもできます。使い方は簡単で、簡単に始めることができます。

Embedchainの紹介

Embedchain は、あらゆるデータセットに基づいて LLM (大規模言語モデル) ボットを簡単に作成できるフレームワークです。データセットの読み込み、チャンク化、埋め込みベクトルの作成、ベクトル データベースへの保存というプロセス全体を抽象化します。 .add 関数と .add_local 関数を使用して 1 つまたは複数のデータセットを追加し、.query 関数を使用して追加したデータセットから回答を見つけることができます。

あなたが偉大な人物、Naval Ravikant を尊敬していて、彼の知識を会話型ロボットに変えたいと考えているとします。彼の YouTube 動画、PDF 書籍、ブログ投稿、およびあなたが提供する質問と回答のペアを Embedchain に追加すると、Embedchain がロボットを作成します。次に例を示します。

 from embedchain import App naval_chat_bot = App() # 嵌入在线资源naval_chat_bot.add("youtube_video", "https://www.youtube.com/watch?v=3qHkcs3kG44") naval_chat_bot.add("pdf_file", "https://navalmanack.s3.amazonaws.com/Eric-Jorgenson_The-Almanack-of-Naval-Ravikant_Final.pdf") naval_chat_bot.add("web_page", "https://nav.al/feedback") naval_chat_bot.add("web_page", "https://nav.al/agi") # 嵌入本地资源naval_chat_bot.add_local("qna_pair", ("Who is Naval Ravikant?", "Naval Ravikant is an Indian-American entrepreneur and investor.")) naval_chat_bot.query("What unique capacity does Naval argue humans possess when it comes to understanding explanations or concepts?") # 答案：Naval 认为，人类在理解解释或概念方面拥有独特的能力，这是在这个物理现实中可能的最大程度。

Embedchainの使用

Embedchain の使用を開始するには、まずパッケージがインストールされていることを確認してください。まだインストールされていない場合は、pip を使用してインストールできます。

 pip install embedchain

Embedchain は OpenAI の埋め込みモデルを使用してブロックの埋め込みを作成し、ChatGPT API を LLM として使用して、関連ドキュメントへの回答を提供します。 OpenAI アカウントと API キーがあることを確認してください。 APIキーをお持ちでない場合は、このリンク[1]にアクセスして作成できます。

APIキーを取得したら、OPENAI_API_KEYという環境変数に設定します。

 import os os.environ["OPENAI_API_KEY"] = "sk-xxxx"

次に、embedchain から App クラスをインポートし、.add 関数を使用してデータセットを追加します。

 from embedchain import App naval_chat_bot = App() # 嵌入在线资源naval_chat_bot.add("youtube_video", "https://www.youtube.com/watch?v=3qHkcs3kG44") naval_chat_bot.add("pdf_file", "https://navalmanack.s3.amazonaws.com/Eric-Jorgenson_The-Almanack-of-Naval-Ravikant_Final.pdf") naval_chat_bot.add("web_page", "https://nav.al/feedback") naval_chat_bot.add("web_page", "https://nav.al/agi") # 嵌入本地资源naval_chat_bot.add_local("qna_pair", ("Who is Naval Ravikant?", "Naval Ravikant is an Indian-American entrepreneur and investor."))

スクリプトまたはアプリにアプリの他のインスタンスがある場合は、次のようにインポートを変更できます。

 from embedchain import App as EmbedChainApp # 或者from embedchain import App as ECApp

これでアプリケーションが作成されました。 .query 関数を使用すると、任意のクエリに対する回答を取得できます。

 print(naval_chat_bot.query("What unique capacity does Naval argue humans possess when it comes to understanding explanations or concepts?")) # answer: Naval argues that humans possess the unique capacity to understand explanations or concepts to the maximum extent possible in this physical reality.

サポートされている形式

以下の形式がサポートされています:

Youtubeビデオ

アプリケーションに Youtube ビデオを追加するには、データ型 (.add の最初のパラメーター) として youtube_video を使用します。例えば：

 app.add('youtube_video', 'a_valid_youtube_url_here')

PDFファイル

PDF ファイルを追加するには、データ型 pdf_file を使用します。例えば：

 app.add('pdf_file', 'a_valid_url_where_pdf_file_can_be_accessed')

パスワードで保護された PDF はサポートされていないことに注意してください。

ウェブページ

任意の Web ページを追加するには、データ型 web_page を使用します。例えば：

 app.add('web_page', 'a_valid_web_page_url')

文章

独自のテキストを指定するには、データ型テキストを使用して文字列を入力します。テキストは処理されず、非常に多様になる可能性があります。例えば：

 app.add_local('text', 'Seek wealth, not money or status. Wealth is having assets that earn while you sleep. Money is how we transfer time and wealth. Status is your place in the social hierarchy.')

注: ほとんどの場合、段落全体またはファイル全体を提供するため、例ではこれは使用されません。