ベンチャーキャピタル企業がAIについて知っておくべきこと

タレスのグローバル副社長であるアシュヴィン・カマラジュ氏は、AI リスクに関する懸念の高まりについて詳しく説明し、企業が AI を採用する際に生じる最大のリスクについて説明し、リーダーが AI エコシステムを保護するための戦略的アプローチの概要を説明します。

広く利用可能な GenAI プラットフォームとツールの台頭により、企業の意思決定者は、スタック内のどの部分でテクノロジーを活用して業務を強化できるかを評価するよう求められています。 GitHub の調査によると、開発者の 92% がすでに AI コーディング ツールを使用しており、これらのプラットフォームはプロセスからソリューション、考え方まで、企業内のあらゆるものの基盤になりつつあります。

AIの利用拡大に焦点が当てられるにつれ、この技術の潜在的なリスクに関する議論が巻き起こっています。それでも、それが普及するにつれて、より心配な要素、つまり AI へのリスクを考慮する必要があります。

AIが直面する4つの大きなリスクとリーダーが知っておくべきこと

• モデルの盗難: 脅威アクターは、モデルをコピーすることで、パブリック API を使用する機械学習モデルを標的にすることができます。正確なモデルを入手することで、サイバー犯罪者はその機能の詳細を知り、限界をテストし、本物をいかにしてうまくターゲットにできるかを知ることができます。企業が AI の統合を模索しているものの、コストのかかる開発に資金を提供する予算がないため、この脅威ベクトルは拡大しています。彼らは、有料顧客にデータに関する洞察を提供するために、GPT-4 などのよりコスト効率の高いオプションに目を向けています。
• データ汚染: ディープラーニング モデルのトレーニングに使用される公開データセットが改ざんされる可能性があります。悪意のある人物がこれらのコレクションにアクセスできる場合、それらは操作される可能性があり、汚染されたデータでトレーニングされたモデルは誤った、または悪意のある予測や決定を生成する可能性があります。このような事態が発生したという報告例はありませんが、このシナリオが成功した場合、甚大な被害を引き起こす可能性があります。
• 急速な注入: AI に有害であることが示されているリスクは、急速な注入です。大規模言語モデルは AI ツールの基盤であり、次に何が起こるかを予測することで機能します。チャットボットの場合、これは応答を促し、指示を与えるために使用されます。ハッカーは、一連のプロンプトや質問を入力してアプリケーションに既存の指示を上書きさせることでチャットボットを「騙す」プロンプトインジェクション技術を使用しています。
• 機密情報の抽出: これらの AI プラットフォームに何が保存されるかについての懸念が高まっています。土地管理会社はデータに関するトレーニングを受けているため、これらのプラットフォームにアップロードされた情報は保存され、正しく照会されれば再配布されます。企業がテクノロジー スタックに大規模な言語モデルを追加すると、アップロードされるデータが最大のリスクになります。チームが個人を特定できる情報や機密情報をアップロードすると、企業はそのデータが公開されるリスクを負います。

企業は AI が直面するリスクをどのように軽減できるでしょうか?

企業における AI の広範な使用は増加傾向にあり、これは、AI を取り巻くリスクが適切に対処されない限り、存続することを意味します。これらの AI システムを実装する企業は、責任を持って実装し、セキュリティ業界のガイダンスを取り入れ、脅威の状況の中でこれらのシステムを状況に合わせて調整する必要があります。

では、企業は AI の責任をどのように強化できるでしょうか? 次のような適切な AI ビジネス ユース ケースを特定して、脅威に先手を打ってください。

• 柔軟な防御として AI を活用する: 今日の脅威には、事後対応型ではなく、予防型のセキュリティ アプローチが必要です。セキュリティ スタックに AI を追加することで、企業は脅威に先手を打って対応できるようになります。 AI ベースのシステムを使用すると、IT チームとセキュリティ チームは継続的に収集される膨大な脅威インテリジェンス リソースにアクセスできるため、新しい戦略を迅速に実装し、攻撃者の進化する戦術をより深く理解できるようになります。 AI は、現代のリスクを軽減するために必要な洞察とソリューションをチームに提供します。これは、サイバー犯罪者が AI を利用して手口を進化させようとしている中で、非常に重要です。
• GenAI による高度な異常検出: AI システムによって収集された脅威インテリジェンスにより、IT チームとセキュリティ チームはリアルタイムの異常検出を実行できます。誤検知があると、内部チームが結果を精査してシステムが真の異常を識別していることを確認する際に、異常を検出することが困難になる可能性があります。生成モデルは、データを分類するのではなく、「通常のデータ」パターンをよりよく理解するようにトレーニングできるため、誤検知を減らすのに役立ちます。 GenAI は、データ セットから情報を抽出することで、システムを標的とする可能性のあるスパイク、ボット、その他の攻撃を警告するのに役立ちます。正確かつ効率的に攻撃を阻止できるようチームをサポートします。
• 作業負荷の軽減: これまで、セキュリティ チームには、攻撃時の意思決定プロセスを支援するために、特定のプログラミング言語などの分野の専門家が必要でした。 AI により、あらゆる言語の専門家が不要になります。企業が、システムを侵害しようとする悪意のあるスクリプトによる攻撃に直面した場合、IT チームとセキュリティ チームは GenAI を利用してスクリプトを入力し、攻撃から防御するために既存の脆弱性を修正するための指示を即座に受け取ることができます。これにより、迅速な修復が可能になるだけでなく、社内チームの負担も軽減されます。

AIリスクの責任は企業だけの責任ではない

あらゆるテクノロジーにおいて、業界は将来の使用法を形作る上で重要な役割を果たします。ほぼ一夜にして AI は普及し、その進歩も同様に急速でした。米国ではより責任あるAIを開発する必要があるが、明確な規制がないため、この技術にあまり精通していない人々にとってはあまり明確ではない。

AI が職場に浸透し続ける中、企業は、拡大する脅威にさらされないようにしながら、新しい需要を満たすために AI ベースのシステムを迅速かつ安全に導入するという大きな負担に直面しています。この大きな負担は企業が単独で負うことができるものではないため、職場での AI の将来には、規制の策定、ガイダンスとフレームワークの提供が不可欠です。

バイデン政権のAIに関する大統領令は、AIの安全性とセキュリティに関する新たな基準を確立するのに役立つだろう。ホワイトハウスの最近の取り組みにより、大手 AI 企業が安全でセキュリティの高い AI 開発を推進する取り組みを加速しており、これらの企業のソリューションを導入する企業による AI の利用がさらに増加するでしょう。進歩はあるものの、規制が完全に効力を発揮するには時間がかかり、政策の実施を待っている間にも AI の進歩は鈍化しません。

幸いなことに、組織がより厳しい規制を待つ間、AI の適切なビジネス利用と実装を確保するための既存のフレームワーク、ガイダンス、リソースが存在します。たとえば、米国国立標準技術研究所 (NIST) は、個人、企業、社会における AI に関連するリスクをより適切に管理することを目的とした NIST AI リスク管理フレームワークを立ち上げました。

過去1年間で、AIは急速に進歩しました。より明確なプロセスを提供するテクノロジーのさらなる規制を待つ間、企業は NIST のような既存のフレームワークを活用して、最適な装備を整える必要があります。

AIを守るには協力が鍵となる

AI を効果的に活用するには、企業が考え方を変えて、このテクノロジーのリスクに焦点を当てる必要があることは明らかです。 AI の保護にリソースを投入し、ビジネスリーダー、規制当局、業界の専門家に協力を求めることで、AI イノベーションの恩恵を受けるより安全な未来への道が明確になります。