ジェネレーティブAIを管理する方法

ドム・クッドウェル著

ノアが編集

制作：51CTO テクノロジースタック（WeChat ID：blog）

McKinsey & Company によれば、生成 AI は毎年、世界経済に 2.6 兆ドルから 4.4 兆ドルの経済的利益をもたらすと予想されています。この予測は、複数の市場の顧客に改善、効率性の向上、新製品をもたらすと予想される 63 の新しいユース ケースに基づいています。これは開発者にとっても IT リーダーにとっても大きなチャンスです。

生成 AI の中心となるのはデータです。データは、生成 AI に周囲の世界を理解、分析、対話する能力を与え、その変革能力を強化します。生成 AI の分野で成功するには、企業はデータを適切に管理し、準備する必要があります。

同時に、大規模な AI サービスを構築および運用するための基盤を築き、生成 AI プロジェクトにスマートかつ持続可能な方法で資金を提供する必要もあります。 AI レースは、ゆっくりとスタートして徐々に衰退していくだけでは勝利できません。つまり、データ レベルで十分な準備を整えるだけでなく、AI サービスを戦略的に拡張し、長期的な開発と継続的なイノベーションをサポートするためにプロジェクトの資金源が安定していることを確認する必要があります。

データの管理方法を改善しなかったり、スケーリングやコスト管理の問題に対処するための適切なアプローチをとらなかったりすると、生成 AI の大きな可能性が無駄になってしまいます。ここでは、データ管理へのアプローチを改善し、生成 AI プロジェクトを長期的にサポートする方法についていくつかの考えを示します。

1. データはどこから来ますか?

データにはさまざまな形式があり、各形式のデータを適切に使用すれば、生成 AI の洞察の豊かさと品質を向上させることができます。

最初の形式は構造化データです。これは規則的かつ一貫した方法で整理されており、製品情報、顧客の人口統計、在庫レベルなどの項目が含まれます。このタイプのデータは、生成 AI プロジェクトに追加して応答の品質を向上できる、整理された事実の基盤を提供します。

さらに、天気予報、株価、交通量など、内部の構造化データ ソースを補完する外部データ ソースがある場合もあります。このデータは、意思決定プロセスにリアルタイムの現実世界のコンテキストをもたらし、プロジェクトに組み込むことで追加の高品質データを提供することができますが、このデータを自分で生成する必要がない場合があります。

データセットのもう 1 つの一般的なタイプは派生データであり、分析およびモデリング シナリオを通じて作成されたデータをカバーします。このような洞察には、顧客の意図レポート、季節ごとの売上予測、コホート分析などが含まれます。

最後に挙げる一般的なデータ形式は非構造化データです。これはアナリストが慣れている通常のレポートやデータ形式とは異なります。これには、画像、ドキュメント、オーディオ ファイルなどの形式が含まれます。データは人間のコミュニケーションと表現の微妙な部分を捉えます。生成 AI プログラムは、生成 AI モデルの一般的な入力と出力である画像や音声を中心に動作することがよくあります。

2. 生成AIは大規模に適用する必要がある

これらすべての多様なデータセットは、それぞれ独自の環境に存在します。生成 AI プロジェクトに役立てるには、この多様なデータ ランドスケープにリアルタイムでアクセスできるようにすることが重要です。膨大な量の潜在的データが関係するため、どのようなアプローチでも、需要の増加に応じて動的に拡張し、世界中にデータを複製して、要求されたときにリソースがユーザーの近くに確保され、ダウンタイムが回避され、トランザクション要求の待ち時間が短縮される必要があります。

さらに、このデータは、生成 AI システムで効果的に使用できるように前処理する必要があります。これには、意味を表す数学的な値またはベクトルである埋め込みの作成が含まれます。埋め込みにより、生成 AI システムは特定のテキストのマッチングを超えて、データに固有の意味とコンテキストを網羅できるようになります。データの元の形式に関係なく、埋め込みを作成すると、データの意味とコンテキストを保持しながら、生成 AI システムによってデータが理解され、使用できるようになります。

これらの埋め込みにより、企業は価値と意味の両方を組み込んだ、すべてのデータにわたるベクトル検索またはハイブリッド検索をサポートできます。これらの結果は収集され、結果を統合するために大規模言語モデル (LLM) に返されます。 LLM 自体にのみ依存するのではなく、複数のソースからより多くのデータを提供することで、生成 AI プロジェクトはユーザーにより正確な結果を提供し、コンテンツが捏造されるリスクを軽減できます。

これを実際に実現するには、基盤となる正しいデータ アーキテクチャを選択する必要があります。このプロセスでは、各ソリューションが長期的なサポート、クエリ、管理を必要とするデータ アイランドを表すため、データが異なるソリューション間で断片化されることを可能な限り回避する必要があります。ユーザーは、複数のコンポーネントが応答し、モデルがその結果を評価するのを待つのではなく、LLM にすばやく質問して、迅速な応答を得ることができる必要があります。統合されたデータ アーキテクチャはシームレスなデータ統合を提供し、生成 AI が利用可能なデータ スペクトル全体を最大限活用できるようにします。

3. モジュール方式の利点

生成 AI の実装を拡大するには、重要な資産に対する制御を維持しながら、導入を加速させるバランスを取る必要があります。生成 AI エージェントの構築にモジュール式のアプローチを採用すると、実装プロセスを細分化し、潜在的なボトルネックを回避することで、このプロセスが容易になります。

アプリケーションでマイクロサービス設計が使用される方法と同様に、AI サービスに対するモジュール式のアプローチでも、アプリケーションとソフトウェアの設計に関するベスト プラクティスが促進され、障害点が排除され、より多くの潜在的なユーザーがテクノロジにアクセスできるようになります。このアプローチにより、企業全体の AI エージェントのパフォーマンスを監視しやすくなり、問題が発生している場所をより正確に特定できるようになります。

モジュール化の最初の利点は解釈可能性です。生成 AI システムに含まれるコンポーネントが互いに分離されているため、エージェントの動作や意思決定の分析が容易になります。 AI は「ブラックボックス」と見なされることが多く、モジュール化によって結果の追跡と解釈が容易になります。

2 つ目の利点はセキュリティです。個々のコンポーネントをクラス最高の認証および承認メカニズムで保護できるため、承認されたユーザーだけが機密データや機能にアクセスできるようになります。モジュール化により、個人を特定できる情報 (PII) や知的財産 (IP) を保護し、基盤となる LLM から分離できるため、コンプライアンスとガバナンスも容易になります。

4. 継続的かつ柔軟な資金調達モデルを提供する

マイクロサービス アプローチを採用することに加えて、生成 AI プロジェクト全体でプラットフォームの考え方も採用する必要があります。これは、ソフトウェア プロジェクトの従来のプロジェクトベースの資金調達モデルを継続的かつ柔軟な資金調達モデルに置き換えることを意味します。このアプローチにより、参加者は厳格な資金調達サイクルやビジネスケースに制約されることなく、価値に基づいた意思決定を行い、新たな機会に対応し、ベストプラクティスを開発できるようになります。

このように予算を管理することで、開発者やビジネス チームは生成 AI を組織の既存のインフラストラクチャの一部と見なすようになり、ワークロードのピークと谷を平滑化し、「センター オブ エクセレンス」アプローチを採用して、長期にわたって一貫性を維持することが容易になります。

同様のアプローチとして、生成 AI を単なるソフトウェアではなく、企業自体が運用する製品として捉えるという方法があります。 AI エージェントは製品として管理する必要があります。これにより、エージェントが生み出す価値をより効果的に捉え、統合、ツール、ヒントなどのサポート リソースをより利用しやすくなります。このモデルを簡素化することで、組織全体に生成 AI の理解を広め、ベスト プラクティスの採用を促進し、専門知識の共有と共同生成 AI 開発の文化を育むことができます。

生成 AI には大きな可能性があり、企業は新しいツール、エージェント、プロンプトを業務に導入しようと競い合っています。ただし、これらの潜在的なプロジェクトを本番環境に導入するには、データを効果的に管理し、システムを拡張するための基盤を築き、チームをサポートするための適切な予算モデルを確立する必要があります。プロセスと優先順位を適切に設定することで、あなたとあなたのチームはこのテクノロジーの変革の可能性を最大限に引き出すことができます。

参考: https://www.infoworld.com/article/3713461/how-to-manage-generative-ai.html