優れた LLM アプリケーションを構築するための 4 つの重要なポイントのうち、どれを見つけましたか?

これらの提案により、LLM 申請の精度が向上し、適切な LLM を選択する方法についての考慮事項も含まれます。

「LLM を活用したより優れたアプリを構築するための 4 つの重要なヒント」からの翻訳です。著者の Adrien Treuille 氏は、Snowflake の製品管理ディレクター兼 Streamlit の責任者であり、Data Cloud のビジュアル データ製品と Streamlit イニシアチブを担当しています。 Snowflake に入社する前、Adrien は Streamlit (2022 年 3 月に Snowflake に買収) の共同設立者兼 CEO を務めていました。 。 。

OpenAI が最初の ChatGPT モデルをリリースしてから 1 年後、生成 AI への関心が爆発的に高まりました。大規模言語モデル (LLM) 駆動型アプリケーションは現在、生産性と効率性に関する企業の考え方の最前線にあります。生成 AI アプリケーションを構築するためのツールとフレームワークも劇的に拡張されました。しかし、生成 AI 出力の精度については依然として懸念が残っており、開発者は堅牢で信頼性の高いアプリケーションを構築するために、これらの問題に対処する方法を迅速に学ぶ必要があります。

以下は、LLM 申請の精度を向上させるための提案とテクニック、および適切な LLM を選択する際に考慮すべき事項です。これらの問題はそれぞれ本質的に複雑なので徹底的に議論することはできませんが、さらなる調査のための出発点をいくつか提供することはできます。

Streamlit は、機械学習およびデータ サイエンスの Web アプリケーションを迅速に構築して共有するための無料のオープン ソース フレームワークです。同社は最近、Streamlit Community Cloud 上で 13,000 人以上の開発者が構築した 21,000 以上の LLM アプリを分析したレポートを発表しました。これにより、以下の推奨事項のいくつかについて、これまで開発者が使用したツールとテクニックについての洞察が得られます。

たとえば、ベクトル検索ツールは、LLM 駆動型アプリケーションでのコンテキスト推奨の改善に非常に効果的ですが、当社の調査によると、現在ベクトル機能を使用している開発者は少数であり、これは将来に大きなチャンスがあることを示しています。

より多くの開発者が生成 AI の力を活用してアプリケーションを構築するようになると、AI ベースの検索機能や会話型および支援型のエクスペリエンスが、さまざまなカテゴリや業種のアプリに組み込まれるようになるでしょう。ここでは、開発者が LLM を活用したより優れたアプリケーションを構築し、組織に真の変革をもたらすのに役立つ 4 つのヒントを紹介します。

エージェントとオーケストレーションによるよりスマートなアプリケーションの構築

LangChain や LlamaIndexなどのオーケストレーション フレームワークは、追加のツールやエージェントを使用してモデルを補完し、LLM ベースのアプリケーションの機能を強化できます。この文脈では、エージェントは、自然言語で表現された追加機能をアプリケーションに組み込むことができるプラグイン システムと考えることができます。

これらのエージェントを組み合わせることで、AI 推論の改良、バイアスへの対処、外部データ ソースの統合など、LLM 機能を管理および最適化できます。これらのエージェントは、LLM に、間違いを犯していないかどうか、タスクを正常に完了するために必要な手順を振り返る方法を提供することもできます。

例として、開発者が特定の機能を提供する API と API を説明するドキュメントを作成する様子を想像してください。API はコードで表現され、ドキュメントは自然言語で表現されます。エージェントも同様に動作しますが、ドキュメントは LLM 向けであり、他の開発者向けではない点が異なります。したがって、LLM は手元のタスクを確認し、エージェントのドキュメントを確認して、エージェントがタスクの完了を支援できるかどうかを判断します。

これらのエージェントは、アプリケーションが自身の間違いを反映して修正する方法を提供することで、LLM アプリケーションの堅牢性も向上させます。たとえば、LLM アプリケーションがデータベース内の在庫レベルをチェックするなどのタスクを実行するために SQL コードを記述したが、コードに間違いがあったとします。標準的な「単純な」LLM アプリケーションの場合、このエラーはこれで終わりです。

ただし、アプリケーションに SQL を実行するエージェントがある場合は、エラーを確認し、エージェントを使用して、どのように変更すべきかを判断し、エラーを修正できます。これは構文上の小さな変更かもしれませんが、エージェントがなければ、LLM はエラーを判断する方法がありません。

ベクターマジックとRAGを使って幻覚と戦う

場合によっては、使用している LLM が、目的のタスクを完了するために必要なすべての情報にアクセスできないことがあります。ヒントに追加情報を挿入することは可能ですが、ほとんどの LLM ではこれらのヒントのサイズに制限があります。これらの制限を回避するために、LLM はベクトルを使用して外部データベースを照会する必要がある場合があります。これは、検索拡張生成 (RAG) と呼ばれる手法です。

RAG が LLM アプリケーションに対して何ができるかを理解するには、LLM アプリケーションを 3 つの異なるレベルに分割すると役立ちます。

• レベル 1: アプリケーションは、LLM 内の知識を使用して結果を生成できます。
• レベル 2: アプリケーションには、プロンプトが表示されたときに挿入できる追加情報が必要です。ヒントの制限内に留まることができれば、これはかなり簡単です。
• レベル 3: LLM では、タスクを完了するためにデータベースなどの外部情報ソースにアクセスする必要があります。

ここで RAG が登場します。外部データベースは、多くの場合、ベクターを使用して意味的にインデックス付けされるため、最近ではベクター データベースやベクター検索ツールについてよく耳にすることがあるかもしれません。

ベクター データベースとベクター検索を備えたアプリケーションでは、テキスト、画像、ビデオ、オーディオなどの大規模な非構造化データセットを分類することで、高速なコンテキスト検索が可能になります。これは、より迅速かつ正確なコンテキスト推奨を行うのに非常に効果的です。しかし、ベクターツールの使用率はまだ高くありません。 Streamlit の調査によると、生成された AI 搭載アプリのうち、何らかのベクター テクノロジを使用しているのはわずか 20% でした。

チャットボットはユーザーにクエリを絞り込む強力な手段を提供します

チャットボットは生成 AI を主流にしましたが、それが効果的なインターフェースになるかどうかについては懐疑的な見方もありました。チャットボットはユーザーに自由を与えすぎており、LLM アプリケーションがどのように使用されているかについて十分なコンテキストを提供していないと主張する人もいます。過去の失敗に失望した人々もいた。 「Clippy は大失敗だったのに、なぜ今日チャットボットが成功するのか？」

当然のことながら、チャットボットが適切かどうかは、アプリケーションの目的によっても異なります。しかし、チャットボットには見逃せない非常に便利な機能が少なくとも 1 つあります。それは、スムーズな人間とコンピューターのインターフェースを通じて、ユーザーにコンテキストを追加し、回答を絞り込むための簡単で直感的な方法を提供することです。

これがなぜ強力なのかを理解するには、検索エンジンを想像してください。通常、ユーザーが検索エンジンのクエリを改善する方法はありません。結果がわずかに偏っている場合、検索エンジンに「もう一度試して、X に関する回答を除外する」ように指示したり、「Y に重点を置く」ように指示したりすることはできません。これは便利で強力な機能であり、チャットボットが LLM アプリケーションに提供する機能です。

調査によると、Streamlit 上に構築された生成 AI アプリケーションの 28% はチャットボットであり、アプリケーションの 72% は一般的に会話の改善を許可していません。一方、調査では、これらのチャットボットの週ごとの使用率が約 40% に上昇したのに対し、チャットボット以外のアプリケーションの使用率は低下したことが示されました。したがって、チャットボットはエンドユーザーにとって好ましいインターフェースとなる可能性があります。レポートにはさまざまなテキスト入力モードを備えたアプリの例が含まれているため、どのような機能が可能かを確認できます。

オープンソースのLLMを含むGPTの代替案を検討する

GPT の基本モデルは今でも最もよく知られている LLM であり、非常に強力ですが、過去 1 年間でさらに多くのオプションが登場しており、そのうちのいくつかはアプリケーションにより適している可能性があります。考慮すべき要素には、LLM に必要な知識の範囲、LLM の規模、トレーニングのニーズと予算、LLM がオープン ソースか独自のものかが重要かどうかなどがあります。テクノロジーの多くの事柄と同様に、トレードオフが存在します。

社内使用のための生成 AI アプリケーションを構築する場合は、社内データで LLM をトレーニングすることをお勧めします。ほとんどの企業では、セキュリティ上の理由から機密データをパブリック LLM と共有することはできないため、多くの企業は既存のクラウド セキュリティ境界内で LLM を実行しています。これにより、多くの場合、AI21 や Reka などの小規模な LLM に進むことになります。

非常に大規模な LLM はレイテンシも高くなる傾向があり、必要な計算リソースのために実行コストが一般的に高くなります。アプリケーションがテキストの翻訳やドキュメントの要約などの比較的単純なタスクを実行する場合は、より小さな LLM でも十分に機能し、使用と運用にかかるコストがはるかに低くなります。

また、ソース コード、トレーニング データ、重み、その他のモデルの詳細が通常は公開されない OpenAI、Anthropic、Cohere などの企業の独自の LLM よりも、Meta の LLaMA などのオープン ソース LLM を推奨する理由がある場合もあります。オープンソース LLM では、推論のために自己ホスティングまたはホスティング プロバイダーを使用する必要がありますが、ソース コードやその他のモデルの詳細は簡単に入手できます。

今すぐジェネレーティブAIを始めましょう

生成 AI は依然として急速に進化している分野ですが、必要なツールとテクニックは急速に進歩しており、今日から始めるための選択肢は数多くあります。この機会を捉える開発者は、AI アプリケーションを日常のビジネス運用やタスクの標準的な機能として活用することで、組織に多大な価値をもたらすことができます。生成 AI が組織内の役割と責任を再形成し続けるにつれて、LLM 駆動型アプリケーションに飛び込んで専門家になる開発者が目立つようになり、上記のアドバイスは正しい方向に進み始めるのに役立つはずです。