CISO が AI のリスクとメリットのバランスを取る方法

すべての AI プロジェクトにはある程度のリスクが伴い、生成 AI の急速な成長と展開により、セキュリティ制御の限界が浮き彫りになるとともに、新たな脆弱性も生まれています。

市場調査が AI の方向性を示すものであるならば、CISO は企業の 70% が ChatGPT の使用を通じて生成 AI を探求すると予想できます。調査会社プライスウォーターハウスクーパースが今年5月に発表した調査報告書によると、ほぼすべてのビジネスリーダーが、自社が短期的に人工知能システムに関連する取り組みを少なくとも1つ優先していると述べている。

生成AIへの投資ブームが起きています。調査会社ゴールドマン・サックスは、生成AIによって世界のGDPが7%増加する可能性があると予測している。 McKinsey & Company によれば、AI の主な使用例は顧客業務、マーケティングと販売、研究開発、ソフトウェア エンジニアリングです。例えば、ソフトウェア分野では、世界的な戦略コンサルティング会社であるアルトマン・ソロンが実施した調査によると、テクノロジー企業の約25％がすでにソフトウェア開発に人工知能を使用しており、さらに66％の企業が2024年までに人工知能を導入する可能性があるとのことです。

人工知能がサイバー攻撃を誘発する

ガートナーが実施した調査によると、ビジネス エグゼクティブの 68% が生成 AI の利点がリスクを上回ると考えており、リスクが利点を上回ると考える人はわずか 5% でした。しかし、ガートナーのアナリスト、フランシス・カラムジス氏は報告書の中で、投資が深まるにつれて企業幹部の見解が変わり始める可能性があると述べた。 「組織が生成型AIの開発と導入を開始すると、多くの信頼、リスク、セキュリティ、プライバシー、倫理上の問題に直面する可能性が高い」とカラムジス氏は述べた。

最新のリスクの 1 つは、企業にとってまったく新しい脅威ベクトルであるチップインジェクション攻撃です。 「これは新たな攻撃ベクトルであり、新たな侵害ベクトルであり、従来のセキュリティ管理では不十分だ」とガートナーのアナリスト、アビバ・リタン氏は言う。他のケースでは、チャットボットのユーザーは他の人のプロンプトを見ることができると彼女は言う。

「ジェイルブレイクされた」ChatGPTやその他の大規模言語モデルの公開例が数多く見られ、人々を騙していることがわかりました。マルウェアを書いたり、爆弾の製造方法を提供したりといった、本来すべきではないことを行っていました。企業が顧客サービス用などに独自の生成 AI を導入し始めると、ジェイルブレイクされた ChatGPT によって悪意のある人物が他人のアカウントにアクセスしたり、その他の有害な行為を実行したりできるようになる可能性があります。

今年初め、世界的なセキュリティ組織 OWASP は、大規模言語モデルで見つかった重大な脆弱性トップ 10 のリストを公開し、ヒント インジェクションが第 1 位にランクされました。サイバー攻撃者は、これらの大規模な言語モデルを悪用して、悪意のあるコードを実行したり、制限されたリソースにアクセスしたり、トレーニング データを汚染したりすることもできます。ユーザーが自分でモデルをデプロイする場合、プロンプト環境にファイアウォールを設定し、プロンプト環境の周囲で観測性と異常検出対策を講じることができます。 「ユーザーは何が起こっているかを把握し、制御を確立できる」とリタン氏は語った。

サードパーティベンダーの場合は必ずしもそうとは限りません。ベンダーがモデルの作成に使用したトレーニング データに対して最高レベルのセキュリティ制御を備えている場合でも、チャットボットが有用であるためには運用データにアクセスする必要があります。 「従来の保護制御は、モデルに取り込まれるデータやそのタイムリーな注入には適用されません」と Litan 氏は言います。「これらすべてをオンプレミスで維持することは理にかなっていますが、セキュリティ保護を実施する必要があります。」

人工知能の使用によるデータ漏洩のリスクを軽減

求人検索サイト「グラスドア」が米国の9,000人以上の専門家を対象に実施した調査では、回答者全員がChatGPTの導入に非常に前向きであり、回答者の80%がこの技術の禁止に反対していることが明らかになった。しかし、ChatGPT や同様の大規模言語モデルは、ユーザーとのやり取りに基づいて継続的にトレーニングされます。問題は、ユーザーが企業秘密が詰まった文書の編集を手伝ってほしいと頼んだ場合、AI システムがそれらの秘密を学習し、将来的に他のユーザーに漏らしてしまう可能性があることです。 「これらは非常に合理的かつ現実的な懸念だ」とフォレスター・リサーチのアナリスト、ジェフ・ポラード氏は語った。

「医師が患者の状態を説明するために、ChatGPTに患者の情報をアップロードしているのを目にした」とサイバーヘイブンの最高セキュリティ責任者、クリス・ホドソン氏は語った。

フォレスター社のポラード氏は、企業ユーザー向けに特別に設計されたプラットフォームは、この問題を真剣に受け止めていると述べた。 「彼らは、それが導入の障害になることを理解しているため、他人のデータを保持することに興味がない」と彼は語った。

生成 AI を導入する最も安全な方法は、企業が独自のインフラストラクチャ上でプライベート モデルを実行することです。しかし、アルトマン・ソロン氏は、これは最も人気のある選択肢ではなく、これを好む企業はわずか20％だと述べた。企業の約 3 分の 1 は、プロバイダー独自のオペレーティング環境を使用して生成 AI を導入するためにパブリック インフラストラクチャを活用することを選択しています。これは最も安全性の低いオプションであり、企業は生成 AI ベンダーに多大な信頼を置く必要があります。

多くの企業 (48%) は、仮想プライベート クラウドなどのサードパーティのクラウド コンピューティング環境に導入しています。たとえば、Microsoft は Azure クラウドで企業顧客に安全で分離された ChatGPT 展開を提供しています。 Microsoft は、今年 3 月には 1,000 社を超える企業顧客が Azure OpenAI サービス上で ChatGPT やその他の OpenAI モデルを使用しており、今年 5 月中旬までにその数は 4,500 社に増加したと主張しています。このサービスを利用している企業には、メルセデス・ベンツ、ジョンソン・エンド・ジョンソン、AT&T、カーマックス、ドキュサイン、ボルボ、イケアなどがある。

AIガバナンスとコンプライアンスのリスク

生成 AI の記録的な導入率は、企業がこの技術を規制する能力をはるかに上回っています。 「ChatGPT を使って毎週膨大な時間を節約している人たちを私は知っていますが、彼らの組織はそれを知りません」と、サイバーセキュリティと機械学習を専門とするリード・スミス法律事務所のパートナー、ジェリー・ステグマイヤー氏は語る。「従業員は個人レベルでは生産性が大幅に向上していますが、大抵の場合、経営陣はそれに気づいていません。」

今年2月にFishbowlが発表した調査レポートによると、専門家の43%がChatGPTなどのツールを使用したことがあるが、そのうち約70%が企業幹部に知られずに使用していた。つまり、企業は、認識しておらず、測定もできない法的および規制上のリスクという形で技術的負債を抱えている可能性があるとステグマイヤー氏は述べた。

Netskope の使用状況データに基づく最近のレポートによると、ChatGPT の使用量は月ごとに 25% 増加しており、従業員の約 1% が毎日 ChatGPT を使用しています。その結果、現在約 10% の企業が従業員による ChatGPT の使用を禁止しています。

企業は従業員の行動に対する理解が不足している可能性があり、法律や規制に対する理解も不足している可能性があります。 「大企業にはある程度の予測可能性が必要であり、現在の不確実性は計り知れない」とステッグマイヤー氏は語った。

知的財産やモデルに組み込まれるトレーニング データに関する不確実性、プライバシーやデータ セキュリティ規制に関する不確実性があり、新たな法的リスクやコンプライアンス リスクが常に発生しています。たとえば、今年6月、ラジオの司会者が資金を不正流用したというChatGPTの主張をめぐってOpenAIが訴えられた。 OpenAI や他の企業がチャットボットの応答内容をめぐって訴えられた場合、その企業がボットの発言内容に対して責任を負うかどうかは不明だ。それは製造物責任法がどのように適用されるかによって異なります。 「利益が上がると、人々は法的理論を創造的に考えるようになる」とステッグマイヤー氏は語った。

ステグマイヤー氏は、ソフトウェアが製品であるかどうかという疑問は少し変化しており、その潜在的な影響は非常に大きい可能性があると考えています。 EUのAI法など、データプライバシーに関する新しい法律が制定される可能性もあります。同氏は、合意に達するのが難しく、連邦取引委員会がAIについて声明を出していることから、米国が近い将来に同様の法律を導入するとは予想していない。 「AIは消費者にとっても、企業にとっても、規制当局にとっても非常に魅力的です」と同氏は述べた。「この3つが組み合わさると、新たな執行や新たな規制活動が行われる傾向があります。」

時代を先取りするために、彼は企業に対し、生成 AI の学習曲線を加速させ、プライバシー バイ デザイン、セキュリティ バイ デザイン、差別禁止の原則など、現在のベスト プラクティス ツールを適用できるようにアドバイスしています。 「生成AIに関しては、『急いで実行して物事を壊す』という戦略は、特に大企業では大規模には受け入れられないだろう」とステグマイヤー氏は語った。

残念ながら、導入されたモデルによっては、組織は生成 AI で何が起こっているかを認識していても、ほとんど理解していないか、まったく理解していない可能性があります。たとえば、従業員が ChatGPT に顧客への手紙を書くための支援を依頼した場合、少なくとも回答を出すために、ChatGPT は顧客に関する何らかの情報を取得する必要があります。これは、一定期間、データが OpenAI のサーバーに保存されることを意味します。さらに、従業員が ChatGPT を使用して会話履歴を保存する場合、データはこれらのサーバーに無期限に残ります。

Insight Enterprises の著名なエンジニアである Carm Taglienti 氏は、データ ポータビリティの問題は、データ居住地に関する法律があるヨーロッパやその他の法域では特に重要であると述べています。 「人々は、送信されたデータがどこへ向かうのか、何が起きるのかを本当に理解していません」と彼は言う。「それを制御できなければ、脆弱性になります」。彼は、企業が生成型AIの使用を計画している場合、導入する必要がある制御を真剣に検討すべきだと示唆した。彼は、出発点として、米国国立標準技術研究所 (NIST) の AI リスク管理フレームワークがよいのではないかと提案しました。

理想的には、企業はプラットフォームを選択する前にガバナンスの問題を考慮する必要があります。しかし、KPMG が実施した調査によると、AI 生成のリスクを評価し、リスク移行戦略を実行する専任チームを持つ企業はわずか 6% です。さらに、今後 12 か月以内に AI システムのガバナンスの改善に注力する予定であると回答した経営幹部はわずか 35% であり、リスク専門家のうち、生成 AI アプリケーションの計画および戦略段階に現在関与していると回答した人はわずか 32% でした。最後に、責任ある成熟した AI ガバナンス プログラムを導入している組織はわずか 5% ですが、19% の組織はそのようなプログラムを開発中であり、ほぼ半数の組織はそのようなプログラムを開発する予定であると回答しています。

企業はまず何をすべきでしょうか? 「私のアドバイスは、ビジネスリーダーは、ジェネレーティブ AI の使用に伴う潜在的なリスクについて従業員を教育し始めるべきだということです」と、Omdia のエンタープライズ セキュリティ管理担当主席アナリスト、カーティス フランクリンは述べています。「ジェネレーティブ AI の使用を阻止できる可能性は低いですが、それに伴うリスクを従業員に認識させる必要があります。これが当面のステップです。人々はそれをどのように行うかを考えるべきです。」

次のステップは、さまざまな事業部門の関係者で委員会を結成し、生成 AI を企業内で合法的に使用する方法を検討し、メリットとリスクのバランスを取り始めることです。 「どのように使用するかを決定し、潜在的な悪用や不適切な使用から企業を守るために、リスクベースのフレームワークを導入する必要がある」とフランクリン氏は述べた。