RAGから富へ:人工知能の幻想を払拭する

検索拡張生成は、AI モデルがデータを改善し、幻覚を軽減できるようにする最も有望な技術の 1 つと考えられています。

『From RAG to Riches: Dispelling AI Hallucinations』からの翻訳。著者の Rahul Pradhan は 16 年以上の経験を持ち、Couchbase の製品および戦略担当副社長です。

生成 AI (GenAI) と大規模言語モデル (LLM) は間違いなく 2023 年に最も注目されるテクノロジーであり、この勢いは 2024 年以降も衰えることはありません。企業はこれらのテクノロジーに何十億ドルもの投資を続け、裕福な組織はイノベーションの最前線に立つために M&A を盛んに行うでしょう。

ビジネス ツールとして、GenAI は完璧な意味を持ちます。従業員の生産性を高め、理解とスキルを高め、新たな機会を切り開くことができます。組織が AI への依存度を高めることで生じる危険性は、正しい意思決定を行うために AI の能力を信頼する必要があることです。これがなければ、組織は AI 投資の大部分を、すべてのプロンプトと回答の信頼性を確かめるために二重、三重にチェックすることに費やすことになるかもしれません。さらに、AI は簡単に幻想に陥り、組織を混乱させたり、まったく間違った方向に導いたりする可能性があります。

誇大妄想

LLM は、入力と利用可能なデータを分析し、応答内の次の単語 (または単語のシーケンス) が何であるかを計算する確率エンジンです。これは諸刃の剣のアプローチです。これにより、組織はあらゆる主題に関する問い合わせに、自然で理解しやすく、文法的に正しい言語で回答できるようになります。

しかし、結局のところ、大規模言語モデル (LLM) は賭けです。彼らの学問、そして彼らが学び使用するデータセットがクエリと一致しない場合、彼らに残された唯一の選択肢はブラフすることだ。答えは正確で自信を持って与えられているように見えますが、現実や文脈を追加できる学習した知識に基づいていません。これにより、事実に基づく証拠に基づいてビジネス上の意思決定を行い、ベストプラクティスに従う必要がある組織にとって、AI の信頼性とその有効性が大幅に低下します。

舞台裏

AI の幻覚はさまざまな要因によって引き起こされますが、最終的な問題は、人間には生涯にわたる知識と経験があるのに対し、AI モデルはデータ セットと同じくらいしか賢くないということです。

たとえば、AI が幻覚を起こす最も一般的な課題の 1 つは、データの希薄性です。データセットに欠落した値や不完全な値がある場合、AI はそれらのギャップを埋めるしかありません。人間は状況に対処するための文脈、判断力、批判的思考力を備えていますが、AI は簡単に不正確な結論を導き出す可能性があります。たとえば、トム・ハンクスが出演する映画を一度も見たことがなくても、ほとんどの人は彼が優れた、いや、偉大な俳優であることに同意するでしょう。ただし、データセット内にパフォーマンスがわずかしかない AI は、反対の結論に達する可能性があります。

欠落データに関連するのは不正確なデータです。情報の誤分類やラベル付けの原因となる低品質のデータ、または信頼できないソースから学習する人工知能 (AI) により、AI が誤って誤った情報を広めてしまう可能性があります。これは、たとえばジェイムズ・ウェッブ宇宙望遠鏡が打ち上げの 17 年前に写真を撮影したと主張するなど、単一の不正確な事実を共有するだけの問題ではありません。関連データを相互参照しなかったり、バイアスを理解しなかったりすると、代表性のない医療データを使用して皮膚がんを予測、検出、治療するなど、ますます不正確な結論につながる可能性があります。

最後に、AI モデルをどのようにトレーニングするかという問題があります。モデルを一般化するためにトレーニング データに十分な例がない場合、無関係な「ノイズ」データが多すぎる場合、モデルが単一の例データセットで長時間トレーニングされている場合、またはモデルが複雑すぎて無関係なデータと関連するデータの両方から学習する場合、結果は過剰適合になります。 AI モデルはトレーニング サンプルでは優れたパフォーマンスを発揮しますが、現実世界ではパターン認識能力が非常に低く、不正確さやエラーが発生します。

呪いを解く

AI の幻想を払拭することが、AI がその潜在能力を最大限に発揮できるようにするための鍵となります。データのスパース性、品質、過剰適合に対処することが重要な第一歩です。他のビジネス機能や従業員と同様に、企業は適切な情報とトレーニングがなければ AI が効果的に機能することを期待できません。モデルを微調整または再トレーニングすると、関連性のある正確なコンテンツを生成することもできます。問題は、継続的なトレーニングを行わないと、データが古くなる可能性があることです。これらすべてが、多大なコストと投資回収の遅れを意味する可能性があります。

キューエンジニアリングは幻覚を避けるもう一つの方法であり、急速に期待される AI スキルの 1 つになりつつあります。ただし、これには、モデルが常に非常に詳細なキューと追加のトレーニング投資を受け取るようにするという負担が伴います。

枠にとらわれない考え方

理想的には、適切な支援があれば、AI モデルはデータを改善し、幻覚を軽減できるはずです。検索拡張生成 (RAG) は、この目標を達成するための最も有望な技術の 1 つです。 RAG AI フレームワークは、必要に応じて外部ソースからデータを取得することで、大規模な言語モデルに、応答を改善し、幻覚を回避するために必要な重要なコンテキストを提供します。

仮想アシスタント、チャットボット、その他のコンテンツ作成者などのアプリケーションが正確で関連性の高い応答を生成できるようにするには、組織は、検索拡張生成 (RAG) によって複数の情報ソースを参照し、コンテキストを深く理解する機能が提供されていることを確認する必要があります。他の AI アプリケーションと同様に、これは信頼の問題です。関連性があり、信頼性が高く、最新のソースから情報を引き出し、ユーザーにそれらのソースへのアクセスを提供することで、RAG は AI の信頼性に関する疑問を和らげるのに役立ちます。

RAG は、すべての情報が可能な限り最新、完全、正確であることを確認するために、すぐにリアルタイム データにアクセスする必要がありました。たとえば、セール期間中にユーザーに最適で最もパーソナライズされた製品オファーを提供するように設計されたアプリやチャットボットは、各ユーザーのプロファイルとユーザーセッションのコンテキストに基づいて推奨事項をカスタマイズできない限り、価値がありません。さらに、ユーザーにとって最適なオファーを策定するためには、価格の動的な変化を捉えるためのリアルタイム データへのアクセスも必要です。結局のところ、すでに購入した商品の割引を希望する人は誰もいません。推奨された商品が適切な製品ではなかったことがわかり、適切なタイミングで適切な価格だったり、他の場所でより安い価格で提供されているために過剰に支払ったりすることになるからです。

さらに、検索拡張生成 (RAG) を運用データ ストレージと組み合わせて、その有効性を高める必要があります。データを効率的にクエリするには、データを高次元の数学的ベクトルに保存し、モデルが特定の用語や言語ではなく数値ベクトルを使用して検索できるようにする必要があります。 AI は同じ用語を見つけることに頼ることなく、適切なコンテキストで関連情報を見つけることができます。サポート ベクトルの効率的な保存と検索を使用し、モデルのクエリをこれらの数値ベクトルのデータベースに変換することで、AI モデルはリアルタイムで最新の理解を維持できます。つまり、常に学習し、常に適応し、古くなった情報や不完全な情報によって引き起こされる高価な幻覚の可能性を大幅に減らすことができます。