LangChain と Redis が協力して何かを実現しています!財務文書分析の精度を向上させるツールを作成する

著者 | タニスタ

編纂者：Xing Xuan

制作：51CTO テクノロジースタック（WeChat ID：blog）

ChatGPT に SEC 提出書類の複雑な質問に正確に答えさせるのは、多くの落とし穴がありました。

高度な AI モデルの出現により、自然言語処理の分野に革命が起こり、機械が人間の言語をより正確かつ高度に分析、解釈、応答できるようになりました。

しかし、これらのモデルは大幅に進歩しているにもかかわらず、ChatGPT などの一部の AI アシスタントは、SEC 提出書類からの複雑な質問に正確に答えるという課題に依然として直面しています。

Patronus AI の研究者は、最高のパフォーマンスを誇る AI モデル構成である OpenAI の GPT-4-Turbo でも、Patronus AI の新しいテストの質問の 79% しか正しく答えられなかったことを発見しました。

1. RedisとLangChainのコラボレーション

写真

Redis は LangChain と提携して、事実に一貫性のある LLM チャット アプリケーションの作成に最適化された Redis RAG テンプレートを開発しました。このテンプレートは、Redis をベクター データベースとして活用することで、コンテキストの高速取得と情報に基づいたプロンプトの構築を保証し、開発者が AI を活用した応答性に優れた正確な応答を提供するチャット アプリケーションを作成するための重要なツールとなります。

写真

Redis RAG テンプレートは、開発者が Nike の 10k ファイルなどの公開財務文書を操作できるようにする REST API です。アプリケーションは FastAPI と Uvicorn を使用して、HTTP 経由のクライアント要求を処理します。また、UnstructedFileLoader を使用して PDF ドキュメントを生のテキストに解析し、RecursiveCharacterTextSplitter を使用してテキストを小さなチャンクに分割し、HuggingFace の「all-MiniLM-L6-v2」センテンス トランスフォーマーを使用してテキスト チャンクをベクターに埋め込みます。さらに、リアルタイムのコンテキスト検索のためのベクター データベースとして Redis を活用し、ユーザー クエリに対する回答を生成するために OpenAI「gpt-3.5-turbo-16k」LLM を活用します。

Redis の CTO である Yiftach Shoolman 氏は、最近の AIM とのやり取りで、「データは、ラップトップ、AWS s3 上の組織リポジトリ、Google Cloud Storage など、あらゆる場所にあります。そのデータを Redis のようなベクトル データベースに取り込み、関連する知識に基づいてセグメント化するためのプラットフォームが必要です」と述べています。

2. ChatGPTにはプラグインが必要

ショールマン氏は、「ChatGPTはユーザーのデータでトレーニングされていないため、何も知らない」と述べてChatGPTを批判し、ユーザーは自分が作成した知識ベースで自分のリクエストに関連するデータを探す必要があると付け加えた。

RAG テンプレートは、効率性と適応性を兼ね備えた展開可能なリファレンス アーキテクチャを提供し、開発者に、事実に一貫性があり、応答が速く、AI 応答が正確な LLM ベースのチャット アプリケーションを作成するための包括的なオプション セットを提供します。

LangChain のデプロイ可能なアーキテクチャ センターには、API をデプロイする際の摩擦を軽減するツール固有のチェーン、LLM チェーン、テクノロジー固有のチェーンも含まれています。

写真

その中で、LangServe はこれらのテンプレートを展開する中核であり、FastAPI を使用して LLM ベースのチェーンまたはエージェントを運用可能な REST API に変換し、アクセシビリティを強化して本番環境の準備を整えます。

オリジナルリンク:

https://analyticsindiamag.com/ai-models-revolutionised-the-field-of-natural-language-processing/