2023 年の AI セキュリティに関するトップ 10 の話題

生成 AI は 2022 年末までに世界を席巻し、2023 年には AI 分野が脚光を浴びることになります。

IBMによると、AIの導入が急増し、2023年までに35%の企業がAIを使用し、42%が将来的にAIの導入を検討している一方で、新たな懸念も浮上しているという。

2023 年の AI セキュリティに関するトップ 10 ニュースをご紹介します。

1. ChatGPTのプライバシー問題

2022 年 11 月のリリースから数か月が経過した現在、OpenAI の ChatGPT の企業における最も一般的な用途の 1 つは、プライバシー ステートメントの作成です。皮肉なことに、AI 駆動型チャットボット自体もデータ保護の専門家から精査されています。

大規模言語モデル (LLM) ChatGPT のトレーニングに使用される Web スクレイピング アプローチは、個人データの収集や不正確なデータの処理に関して生じる多くの問題に基づいています。 AI とプライバシーの専門家が、チャットボットが GDPR を含む既存の法律に準拠しているかどうかについて議論します。また、開発元であるOpenAIがこれらのリスクの一部を防ぐために十分な予防措置を講じているかどうかについても調査しています。

2. 悪意のある目的のGPTモデル

2023 年初頭、ChatGPT がポリモーフィック マルウェアの作成やフィッシング メールの作成などの悪意のある目的で使用されているという証拠が明らかになりました。このため、OpenAI と Google (ChatGPT の競合企業 Bard を立ち上げた) は、このような不正使用を防ぐための安全策を実装しました。しかし、それだけでは十分ではないようです。 10月に発表されたSlashNext 2023 State of Phishingレポートによると、ChatGPTの使用により、2022年第4四半期と比較して2023年第4四半期のフィッシングの量が1,265%急増したことが明らかになりました。

一部のブラックハットハッカーは合法的な LLM ベースのツールを活用していますが、独自の悪意のある AI ツールを作成し始めたハッカーもいます。それらのほとんどには、WormGPT、FraudGPT、WolfGPT、XXXGPT、PoisonGPT、DarkBard などの脅迫的な名前が付けられています。

しかし、多くの専門家は、この傾向は衰えつつあるかもしれないと述べている。

Vectra AI の EMEA 最高技術責任者である Christian Borst 氏も同じ見解を示しています。

「LLM の幅広い使用は衰退するだろうが、ディープフェイクは急増するだろう」と彼は言う。「LLM はコンテキストを理解できなかったり、信頼性の高い出力を提供できなかったりするため、使用が難しい場合が多く、LLM の幅広い実用化は限られている。」

しかし、ボスト氏は、ツールがより実用的かつユーザーフレンドリーになるまで待つため、企業は来年 LLM の使用を減らす可能性があると考えています。

「脅威アクターは LLM を使用する場合にも同じ問題に直面するため、AI が生成した悪意のあるコードほど高度な攻撃は見られないでしょう。しかし、サイバー犯罪者が生成 AI を活用して、よりリアルで高度なディープフェイクを作成することは予想されます。これにより、より説得力のある音声や視覚的なフィッシング詐欺によって、ユーザーを騙して機密データを漏らしたり、悪意のあるコンテンツをクリックさせたりできる可能性が高まります。」

3. LLMブームが収まったとき

11月には、Sophos X-Ops レポートでサイバー犯罪者がこれまで生成 AI を使用して攻撃を仕掛けることに消極的だったことが明らかになり、悪意のある活動に対する LLM の採用も疑問視されました。

同社は、4つの主要なダークウェブフォーラムにおけるLLM関連の議論を調査し、脅威アクターがツールの使用にほとんど関心を示さず、それらがもたらすより広範なリスクについて懸念を表明していることを発見しました。調査した 2 つのフォーラムでは、AI に関する投稿は 100 件しか見つかりませんでした。比較すると、同じ期間に暗号通貨関連の投稿は 1,000 件ありました。

研究者らは、LLM関連の投稿のほとんどが、感染したChatGPTアカウントの販売と、「ジェイルブレイク」と呼ばれるLLMの組み込み保護手段を回避する方法に関連していることを明らかにした。

さらに、彼らは、サイバー攻撃を開始したりマルウェアを開発したりするために使用できると作成者が主張する 10 個の ChatGPT 派生プログラムを観察しました。しかし、Sophos X-Ops によると、サイバー犯罪者はこれらの派生製品に対してさまざまな反応を示しており、ChatGPT の模倣品の作成者が詐欺を企てているのではないかと懸念する人が多いという。

研究者らは、LLM を使ってマルウェアや攻撃ツールを作成しようとする試みの多くは「初歩的」であり、他のユーザーから懐疑的な見方をされることが多かったと付け加えた。たとえば、ある脅威アクターは、ChatGPT の可能性を実証する際に、自分の本当の身元に関する情報をうっかり公開してしまいました。多くのユーザーは、運用上のセキュリティ上の懸念や AV/EDR 検出など、サイバー犯罪目的で LLM によって生成されたコードについて懸念を抱いています。

4. AI生成コンテンツ検出の課題

サイバー犯罪者が AI チャットボットを使用して悪意のある活動を実行する限り、たとえ当初予想されていたよりも規模が小さいとしても、防御側がそれに対抗するのは困難です。

10 月に発表された Egress フィッシング脅威動向レポートによると、4 分の 3 のケース (71.4%) で、AI 検出器はフィッシング メールがチャットボットによって書かれたものか人間によって書かれたものかを見分けることができませんでした。その理由は、AI検出器の仕組みにあります。これらのツールのほとんどは LLM に基づいているため、サンプル サイズに応じて精度が向上し、通常は機能するために少なくとも 250 文字が必要です。

フィッシングメールのほぼ半分 (44.9%) は 250 文字の要件を満たしておらず、さらに 26.5% は 500 文字未満です。つまり、現在の AI 検出器は攻撃の 71.4% に対して確実に機能しないか、まったく機能しないことになります。

5. 攻撃的なサイバーは生成AIの保護に役立つ

2023 年、生成 AI メーカーは安全な AI ツールへの取り組みを実証しようとしています。そのため、OpenAIは4月にバグ報奨金プログラムを開始し、同社の製品やサービスにセキュリティホールを見つけたホワイトハットハッカーに最大2万ドルの報奨金を提供している。

12月に開催されたブラックハットヨーロッパでの独占インタビューで、英国国立サイバーセキュリティセンター（NCSC）の最高技術責任者オリー・ホワイトハウス氏は、「AIをめぐる政府と民間企業の間で交わされている対話に特に勇気づけられた」と語った。

同氏はさらに、OpenAIのバグ報奨金プログラムのような取り組みは「製品をリリースし、侵入されてから保護を開始するという従来のサイクルから脱却したことを示している」と付け加えた。

6. 米国のAI規制ロードマップが策定された

生成型 AI が厳しい監視を受ける中、政府は AI システムの安全性を保護するための措置を講じていることを示す必要があります。当初、バイデン政権は自主規制アプローチに大きく依存しているように見え、7月にAmazon、Anthropic、Google、Inflection、Meta、Microsoft、OpenAIの7つの生成AI大手から、AIシステムの安全性と信頼性を優先するという自主的な約束を確保した。

これらの企業の一部は後に、AIの規制を担当する業界団体であるフロンティア・モデル・フォーラムを設立した。

しかし、多くの専門家は自己規制の有効性を批判している。米国政府は、10月に安全でセキュリティが高く信頼できるAIに関する大統領令を発令し、取り組みを強化している。特に、この大統領令では、新たな AI 安全基準を確立する必要性について言及されています。

この課題を達成するため、バイデン政権は11月初旬の英国AI安全サミットで国立AI安全研究所の設立を発表した。新しい研究所は国立技術革新研究所（NIST）の一部となる。

11月中旬、米国サイバーセキュリティ・インフラストラクチャセキュリティ庁（CISA）は、米国政府の完全な人工知能セキュリティロードマップを公開しました。

7. 英国AI安全サミット：成果と批判

11月初旬に開催された英国AI安全サミットは、英国がその強さを示し、AIにおけるリーダーシップを示し、AI安全基準の議題を設定するためのもう一つの素晴らしい機会でした。このキャンペーンは、開始前から「最先端の」AIモデルに焦点を絞っているとして批判されていた。

議論はまだ高いレベルで行われているが、英国政府はこの会合でいくつかの合意が得られたと自慢できる。

このイベントは、最も差し迫った危険なリスクをもたらす「最先端のAI」システムについての機会、リスク、世界的な行動の必要性を概説した、28カ国が署名したブレッチリー宣言で幕を開けた。

会議の最後に、いくつかの国が、Amazon Web Services (AWS)、Anthropic、Google AI、Google DeepMind、Inflection、Meta、Microsoft、Mistral AI、OpenAIの8つのAIプロバイダーと、将来のAIモデルをリリース前にテストするための契約を締結しました。

このイベントでは、英国政府も独自の AI 安全研究所の設立など、いくつかの発表を行った。

8. EUはAI法案を可決し、生成型AIに調整を加えた

英国と米国がAI規制に向けて慎重に動いている一方で、EUは西側諸国初のAI法を導入すると予想されている。

2021年から策定が進められてきたEUのAI法案は、2022年末の汎用AIモデルの大規模な導入を受けて、数回にわたる調整を余儀なくされた。

しかし、EUは最終的に約束を果たし、欧州議会は2023年6月に最新の法案草案を圧倒的多数で承認し、EU機関は3日間の「三者間」協議を経て12月に暫定合意に署名した。技術的な詳細はまだ微調整が必​​要ですが、AI法は早ければ2025年に法律化される可能性があります。

9. ChatGPT 1 年後: 生成 AI がサイバーセキュリティに与える影響

フィッシング以外にも、ChatGPT はサイバー犯罪の状況に限定的な影響を及ぼしています。 Cato Networksのセキュリティ戦略担当シニアディレクターであるEtay Maor氏は、サイバー犯罪者が当初大規模な生成AIツールの導入に消極的だった理由として、いくつかの要因を挙げた。

その 1 つは、ChatGPT などの LLM ツールによって作成されたコード内の実際の問題です。これには、幻覚（実際には正しくなかったり、与えられたコンテキストに関連していない出力）や、一部の LLM が特定の言語（ロシア語など）を適切に理解できない問題が含まれます。

実際、AIチャットボットは過去のデータと既存のコードに基づいてトレーニングされるため、これらの技術を使用してマルウェアを作成するのは良い考えではないと、Outpost24の脅威インテリジェンス運用マネージャーであるBorja Rodriguez氏は述べています。

「最も感染力の高いマルウェアは、マシンに感染したりプロセスに侵入したりするために革新的なアイデアで開発されたものだ」とロドリゲス氏は語った。

SenseOn の創設者兼 CEO である David Atkinson 氏は、生成 AI 技術の使用はサイバー犯罪者の関心の対象ではあるものの、現時点では優先事項ではないと考えています。彼は、MFA をバイパスするツールは ChatGPT が作成できるものよりも価値があるだろうと指摘しました。

10. ディープフェイク：偽情報の迫りくる脅威

2024年には世界中で40の国政選挙が実施され、史上最大の選挙年となる。

これは、情報操作キャンペーンでディープフェイクツールを確実に使用する偽情報提供者にとって恩恵となる可能性がある。

ISACAによると、AIによる偽情報について懸念しているのは政治家だけではない。 2023 年 10 月の Generative AI 調査では、デジタル トラストの専門家の 77% が、現在 Generative AI がもたらす最大のリスクは誤情報と偽情報であると述べています。

「一枚の写真は千の言葉に匹敵するが、我々は見たものに疑問を持つようには訓練されていない」と、アイルランドのダブリンで開催された同協会のデジタル・トラスト・サミットでISACAのグローバル最高戦略責任者、クリス・ディミトリアディス氏は述べた。「我々は聞いたり読んだりしたことに疑問を持つようにしか訓練されていない。だからこれは、我々が正当だと信じていることや正当でないと信じていることに疑問を持つという人類の新たな出現だ」