クラウド アーキテクチャに生成 AI を追加するためのヒント

デビッド・リンシカム

企画 | ヤン・ジェン

データの可用性とセキュリティからモデルの選択と監視まで、生成 AI の追加はクラウド アーキテクチャの再考を意味します。 したがって、クラウド アーキテクチャを構築する場合は、生成型 AI 駆動型システムも設計することになります。どのような変更を加える必要がありますか?他に何をする必要がありますか?どのようなベストプラクティスが生まれていますか? 著者は過去 20 年間の経験に基づいて、次のようないくつかの提案をしています。皆さんの参考になれば幸いです。

1. ユースケースを理解する

クラウド アーキテクチャで AI を構築する目的と目標を明確に定義します。私が繰り返し目にする間違いがあるとすれば、それは商用システムにおける生成 AI の影響を理解していないことです。コンテンツ生成、レコメンデーション システム、または別のアプリケーションなど、何を達成しようとしているのかを理解します。これは、内容を書き留め、目標、その達成方法、そして最も重要なこととして、成功をどのように定義するかについて合意することを意味します。これは生成 AI にとって目新しいことではなく、クラウドで構築されるすべての移行と新しいシステムで成功するステップです。

私は、ビジネスユースケースを十分に理解していなかったために、クラウドにおける AI プロジェクト全体が失敗するのを何度も見てきました。会社はクールなものを作りましたが、ビジネスには何の価値も追加しませんでした。これは機能しません。

2. データのソースと品質が重要

AI モデルのトレーニングと推論を生成するために必要なデータ ソースを特定します。データはアクセス可能で、高品質であり、慎重に管理される必要があります。また、クラウド ストレージ ソリューションの可用性と互換性も確保する必要があります。生成 AI システムは高度にデータ中心です。私はこれらをデータ指向システムと呼んでいます。データは、生成 AI システムが結果を生み出すための原動力です。ゴミを入れればゴミが出る。

したがって、データのアクセシビリティをクラウド アーキテクチャの主な推進力として考慮すると役立ちます。関連するデータのほとんどにトレーニング データとしてアクセスする必要がありますが、通常は、単一の物理エンティティに移行するのではなく、既存の場所に保持します。そうしないと、データが冗長化し、真実の唯一の情報源がなくなることになります。

データを AI モデルに取り込む前に、効率的なデータ パイプラインを使用してデータを前処理およびクリーンアップすることを検討してください。これにより、データの品質とモデルのパフォーマンスが保証されます。これは、生成 AI を使用したクラウド アーキテクチャの成功率約 80% に相当します。しかし、クラウド アーキテクトは AI システムにデータを提供することよりも、AI システムを生成する処理に重点を置いているため、この点は見落とされがちです。データがすべてです。

3. データのセキュリティとプライバシー

データが重要であるのと同様に、そのデータに適用されるセキュリティとプライバシーも重要です。 AI によって生成される処理により、一見無意味なデータが機密情報を明らかにできるデータに変換される可能性があります。

Generative AI が使用する機密データと Generative AI が生成する可能性のある新しいデータを保護するために、強力なデータ セキュリティ対策、暗号化、およびアクセス制御を実装します。少なくとも、関連するデータ プライバシー規制に準拠してください。これは、最後のステップとしてアーキテクチャに何らかのセキュリティ システムをインストールすることを意味するのではなく、すべてのステップでシステムにセキュリティを組み込む必要があることを意味します。

4. スケーラビリティと推論リソース

さまざまなワークロードとデータ処理のニーズに対応できるように、スケーラブルなクラウド リソースを計画します。ほとんどの企業は、自動スケーリングと負荷分散のソリューションを検討しています。私が目にする大きな間違いの 1 つは、拡張性は高いがコストがかかるシステムを構築することです。

スケーラビリティとコスト効率のバランスを取ることが最善ですが、これは実現可能ですが、適切なアーキテクチャと FinOps プラクティスが必要です。また、トレーニングと推論のリソースも確認してください。クラウド カンファレンスでの話題の多くがこの話題を中心に展開されていることにお気づきかと思いますが、それには十分な理由があります。モデルのトレーニングと推論には、GPU または TPU を備えた適切なクラウド インスタンスを選択します。ここでも、リソースの割り当てを最適化してコスト効率を向上させます。

5. モデルの選択を検討する

特定のユースケースとニーズに基づいて、例示的な生​​成 AI アーキテクチャ (Generic Adversarial Network、Transformer など) から選択します。 AWS SageMaker などのモデルトレーニング用のクラウドサービスを検討し、最適化されたソリューションを見つけます。これは、相互に接続されたモデルが多数存在する可能性があり、これが標準となることを理解することも意味します。

バージョン管理やコンテナ化などの堅牢なモデル展開戦略を実装し、クラウド アーキテクチャ内のアプリケーションやサービスが AI モデルにアクセスできるようにします。

6. 監視とログ記録

AI モデルのパフォーマンス、リソースの使用率、潜在的な問題を追跡するための監視およびログ記録システムの設定はオプションではありません。クラウドで生成された AI を処理するために構築された異常アラート メカニズムと可観測性システムを確立します。

さらに、生成 AI はリソースを大量に消費する可能性があるため、クラウド リソース コストを継続的に監視して最適化します。クラウド コスト管理ツールとプラクティスを使用します。これは、finops がデプロイメントのあらゆる側面を監視し、最小限の運用コスト効率とアーキテクチャが最適かどうかを評価するためのアーキテクチャ効率の両方を監視することを意味します。ほとんどのアーキテクチャでは調整と継続的な改善が必要です。

7. その他の考慮事項

高可用性を確保するにはフェイルオーバーと冗長性が必要であり、災害復旧計画によりシステム障害が発生した場合のダウンタイムとデータ損失を最小限に抑えることができます。必要に応じて冗長性を実装します。さらに、クラウド インフラストラクチャ内に構築された AI システムのセキュリティを定期的に監査および評価します。脆弱性に対処し、コンプライアンスを維持します。

特に、ユーザーに影響を与えるコンテンツを生成したり、決定を下したりする場合には、AI の倫理的な使用に関するガイドラインを策定することをお勧めします。したがって、偏見と公平性の問題に対処する必要があります。現在、AI と公平性に関する訴訟が起こっており、正しいことを行っているかどうかを確認する必要があります。 AI によって生成されたコンテンツがユーザーの期待に応え、エンゲージメントを向上させるために、ユーザー エクスペリエンスを継続的に評価します。

生成 AI を使用するかどうかに関係なく、クラウド コンピューティング アーキテクチャの他の側面は同じです。重要なのは、いくつかの事柄の方がはるかに重要であり、より厳密さが求められること、そして常に改善の余地があることを認識することです。

参考リンク: https://www.infoworld.com/article/3706094/adding-generative-ai-systems-may-change-your-cloud-architecture.html