AI対詐欺: フィッシング戦術の新時代の幕開け

社会が人工知能の時代に入り、機械が生活のほぼあらゆる側面に浸透する中、攻撃者が AI をどの程度悪用できるかは依然として不明です。

攻撃者が生成 AI をどのように悪用するかをより深く理解するために、IBM X-Force チームは、「現在の生成 AI モデルは人間の心と同じ欺瞞能力を持っているのか?」という重要な疑問に光を当てる研究プロジェクトを実施しました。

次のようなシナリオを想像してみてください。AI がフィッシング戦争で人間と戦っています。研究者の目標は、組織を標的としたフィッシングシミュレーションでどの競合他社がより高いクリックスルー率を達成できるかを判断することでした。

研究者たちは、たった 5 つの簡単なプロンプトだけで、生成 AI モデルを騙して、わずか 5 分で非常に説得力のあるフィッシングメールを作成できたことが判明しました。通常、インフラストラクチャの設定を考慮に入れずに、研究チームがフィッシングメールを作成するのに約 16 時間かかります。そのため、攻撃者は生成 AI モデルを使用することで、約 2 日間の作業を節約できます。

AI が生成したフィッシングは非常に説得力があり、経験豊富なソーシャルエンジニアが作成したフィッシングにほぼ勝るか同等であり、これは重要な前進です。

次に、AI プロンプトの作成方法、テスト方法、そしてこれが現在および将来のソーシャルエンジニアリング攻撃にどのような意味を持つのかについて詳しく説明します。

第1ラウンド: 機械の台頭

一方で、研究者たちは AI ツールを使用して、非常に巧妙で説得力のある物語を盛り込んだフィッシングメールを生成しました。

プロンプトを作成

研究者たちは、実験と改善の体系的なプロセスを通じて、ChatGPT が特定の業界セクターをターゲットにしたフィッシングメールを生成するための 5 つのプロンプトのセットを設計しました。

まず、研究者は ChatGPT に、これらの業界の従業員が抱える主な懸念事項を詳しく尋ねるように依頼しました。研究者は、業界と従業員の懸念を優先した後、電子メールでのソーシャルエンジニアリングとマーケティング手法の使用に関して ChatGPT に戦略的な選択を行うよう促しました。これらの選択は、より多くの従業員が電子メール自体のリンクをクリックする可能性を最適化するように設計されています。次に、ChatGPT の送信者が誰であるかを尋ねるプロンプトが表示されます (例: 社内の誰か、ベンダー、外部組織など)。最後に、研究者はフィッシングメールを作成するために ChatGPT に次の機能を追加するよう依頼しました。

1. ヘルスケア業界の従業員が最も関心のある分野：キャリア開発、雇用の安定性、達成感など。

2. 使用すべきソーシャルエンジニアリング手法: 信頼、権威、社会的証明。

3. 使用すべきマーケティング手法: パーソナライゼーション、モバイル最適化、行動喚起。

4. 個人または企業：社内人事マネージャー。

5. 電子メールの生成: 上記のすべての情報を考慮して、ChatGPT は次の編集済み電子メールを生成しました。この電子メールは後に IBM X-Force チームによって 800 人を超える従業員に送信されました。

AI対詐欺: フィッシング戦術の新時代の幕開け

ソーシャルエンジニアリングで10年近くの経験を持ち、何百ものフィッシングメールを作成した専門家は、AIによって生成されたフィッシングメールは非常に説得力があると語った。実際、当初この研究プロジェクトへの参加に同意した 3 つの組織のうち、2 つの組織は 2 通のフィッシングメールを確認した後、メールの内容が期待に沿わなかったため、参加を完全に中止しました。プロンプトが示すように、この調査に参加している組織は、現在最もターゲットとなっている業界の 1 つである医療業界に属しています。

攻撃者の生産性の向上

研究チームがフィッシングメールを作成するのに約16時間かかりますが、AIフィッシングメールは生成に5分しかかからず、プロンプトも5つだけのシンプルなものとなっています。

第2ラウンド: 人間化

一方、X-Force は経験豊富なレッドチームのソーシャルエンジニアを派遣しました。ソーシャルエンジニアは、創造性と少しの心理学を駆使して、ターゲットの個人的な心に響くフィッシングメールを作成します。人間的要素が加わることで、再現が難しいレベルの信憑性が加わります。

ステップ1: OSINT

ソーシャルエンジニアのフィッシング手法は、常にオープンソースインテリジェンス (OSINT) を取得する初期段階から始まります。 OSINT とは、公開されている情報を取得し、その後厳密に分析して、ソーシャルエンジニアリングキャンペーンを展開するための基礎リソースとして使用することです。特に、X-Force の OSINT データリポジトリには、LinkedIn、組織の公式ブログ、Glassdoor などのプラットフォーム、その他多数のソースが含まれています。

OSINT イベント中、X-Force のソーシャルエンジニアは、最近開始された従業員ウェルネスプログラムについて詳しく説明しました。このプログラムは、Glassdoor で従業員から肯定的なレビューを受けており、その有効性と従業員満足度が実証されています。さらに、LinkedIn を通じてこのプロジェクトの管理を担当する個人を特定しました。

ステップ2: メールの作成

X-Force のソーシャルエンジニアは、OSINT フェーズで収集されたデータを使用して、フィッシングメールを慎重に作成するプロセスを開始しました。ソーシャルエンジニアは、信頼性と親近感を高めるために、最近完了したプロジェクトにリンクする正規の Web サイトも含めました。

説得力を高めるために、ソーシャルエンジニアは「人工的な時間制限」を導入することで、緊急性を意識させる要素を戦略的に取り入れます。調査員らは、調査は「5つの短い質問」のみで構成されており、回答には「数分」しかかからず、締め切りは「今週の金曜日」であると回答者に伝えた。この思慮深いフレーミングは、受信者の時間の使用を最小限に抑えることを強調し、フィッシング手法の非侵入的な性質を強化します。

アンケート調査をフィッシングの口実として利用することは、危険信号と見なされたり、単に無視されたりすることが多いため、リスクを伴うことがよくあります。しかし、事前に収集されたデータを考慮すると、ソーシャルエンジニアは、潜在的なメリットが関連するリスクを上回る可能性があると考えています。

以下の編集されたフィッシングメールは、世界的な医療機関の 800 人を超える従業員に送信されました。

AI対詐欺: フィッシング戦術の新時代の幕開け

チャンピオン: 人類は僅差で勝利しました!

徹底的な A/B テストの結果は明らかでした。人間が勝利しましたが、その差はごくわずかでした。

AI対詐欺: フィッシング戦術の新時代の幕開け

人間が作成したフィッシングメールは AI を出し抜くことに成功しましたが、接戦となりました。理由は次のとおりです。

感情的知性: 人間は人工知能が夢にも思わないような方法で感情を理解します。人間は、心の琴線に触れ、よりリアルに聞こえる物語を紡ぐことができ、受信者が悪意のあるリンクをクリックする可能性が高くなります。たとえば、人間は組織内の正当な例を選択しましたが、AI は人間が作成したフィッシングメールの信頼性を高めるために、幅広い件名を選択しました。

パーソナライゼーション: 電子メールの冒頭に受信者の名前を含めることに加えて、ヒューマンエンジニアは正当な組織への参照も提供し、従業員に具体的な利点を提供します。

短くてわかりやすい件名: 人間が作成したフィッシングメールの件名は短くてわかりやすいもの (従業員の健康調査) ですが、AI が作成したフィッシングメールの件名は非常に長く (Unlock Your Future: Path to Promotion at Company X)、従業員がメールを開く前から疑惑を抱かせてしまう可能性があります。

さらに、AI が生成したフィッシングは人間に見つからないだけでなく、疑わしいものとして報告される割合も高くなっています。

AI対詐欺: フィッシング戦術の新時代の幕開け

結論: 未来を垣間見る

X-Force は現在のキャンペーンで生成 AI を大規模に使用していませんが、無制限または半制限付き LLM 用に構築された WormGPT などのツールが、フィッシング機能を宣伝するさまざまなフォーラムで販売されていることが見られ、攻撃者がフィッシングキャンペーンで AI の使用をテストしていることを示唆しています。

制限されたバージョンの生成 AI モデルでも、簡単なプロンプトでフィッシングメールを作成できますが、これらの制限のないバージョンでは、攻撃者が高度なフィッシングメールを拡張するためのより効果的な方法を提供する可能性があります。

人間はわずかな差でこの競争に勝ったかもしれませんが、AI は継続的に改善されており、ご存知のように、攻撃者は常に適応し、革新を続けています。今年だけでも、AI が生成した音声クローンを使用して人々を騙し、金銭やギフトカードを送らせたり、機密情報を漏らさせたりする詐欺師が増加しています。

感情操作や説得力のあるメールの作成に関しては、人間が依然として優位に立っているかもしれませんが、フィッシングにおける AI の登場は、ソーシャルエンジニアリング攻撃にとって極めて重要な瞬間を示しています。

企業と消費者が準備すべき 5 つの重要な推奨事項を以下に示します。

1. 疑わしい場合は、送信者に電話する: 電子メールが正当なものかどうか疑わしい場合は、電話をかけて確認してください。フィッシングや AI による電話詐欺が発生した場合に備えて、親しい友人や家族と安全なコードを設定することを検討してください。

2. 文法上の固定観念を捨てる: フィッシングメールには間違った文法やスペルの間違いがたくさんあると思い込まないでください。 AI を利用したフィッシング攻撃はますます巧妙化し、文法的にも正確になっています。だからこそ、スタッフを再教育し、文法上の誤りがもはや大きな危険信号ではないことを強調することが重要です。代わりに、電子メールの内容の長さと複雑さに注意するようにトレーニングする必要があります。メールが長い場合、AI によってテキストが生成されたことを示す兆候であることが多く、警告サインとなる場合があります。

3. ソーシャルエンジニアリングプログラムを改善する: これには、実行が簡単で、多くの場合非常に効果的な、フィッシングなどの手法をトレーニングプログラムに導入することが含まれます。 X-Force のレポートによると、電話番号を追加した標的型フィッシングキャンペーンは、電話番号を追加しないキャンペーンよりも 3 倍効果的でした。

4. アイデンティティとアクセス管理の制御を強化する: 高度なアイデンティティアクセス管理システムは、誰がどのデータにアクセスしているか、適切な権限を持っているかどうか、そして本人であるかどうかを確認するのに役立ちます。

5. 継続的に適応し、革新する: 人工知能の急速な発展は、サイバー犯罪者が戦術を改良し続けることを意味しており、私たちは継続的に適応し、革新するという考え方を維持する必要があります。内部の TTPS、脅威検出システム、従業員のトレーニング資料を定期的に更新することは、悪意のある攻撃者の一歩先を行くために重要です。