犯罪者をターゲットにした新しい生成AIツールについて知っておくべきこと

OpenAI の ChatGPT などの大規模言語モデル (LLM) に基づく生成 AI チャットボットは、今年、世界中で大きな話題となりました。 ChatGPT は、AI のパワーを何百万人もの人々に利用できるようにすることで、主流になります。

この動きは、長年研究室で同様の AI に取り組んできた他の企業に刺激を与え、独自の公開 LL.M. サービスを立ち上げ、それに基づいた何千ものツールが登場しました。

残念なことに、悪意のあるハッカーはすぐにこれらの新しい AI リソースを利用し、ChatGPT 自体を利用してフィッシングメールを改良して作成しました。しかし、OpenAI、Microsoft、Google の主要な LLM には詐欺や犯罪行為に利用されるのを防ぐための安全対策が講じられているため、主流の LLM を使用することは困難であることが判明しています。

その結果、悪意のあるサイバー攻撃に対抗するために特別に設計されたさまざまな AI ツールが登場し始めました。

WormGPT: 脅威アクター向けのインテリジェントツール

サイバー攻撃に最適化された LLM チャットボットに関する議論と宣伝が、ダークウェブフォーラムで、その後 7 月初旬に Telegram メッセージングサービスで始まりました。これらのツールは通常、サブスクリプションの形で潜在的な攻撃者に提供されます。これらは一般的な LLM に似ていますが、ガードレールがなく、攻撃を可能にするために選択されたデータでトレーニングされます。

生成 AI を活用する AI ツールの主要ブランドは WormGPT と呼ばれます。これは、2021年に開発されたGPTJ言語モデルに基づくAIモジュールであり、ビジネスメール詐欺（BEC）攻撃やその他の悪意のある目的で使用されています。

ユーザーは、詐欺メールを作成するための指示を入力するだけです。たとえば、「受信者をだましてログイン資格情報を渡させることを目的とした銀行からのメールを作成する」などです。

その後、このツールは、独特で、時には巧妙で、多くの場合文法的に完璧な電子メールを生成します。一部のアナリストによると、この電子メールは、ほとんどの BEC 攻撃者が自分で書くものよりも説得力があるそうです。たとえば、独立系サイバーセキュリティ研究者のダニエル・ケリー氏は、WormGPT が「非常に説得力があるだけでなく、戦略的に巧妙な」詐欺メールを生成できることを発見しました。

WormGPT の作成者とされる人物は、このツールが EleutherAI という会社が開発したオープンソースの GPTJ 言語モデルに基づいて構築されていると主張しています。彼は、Google Lens の統合 (チャットボットがテキスト付きの画像を送信できるようにする) と API アクセスに取り組んでいると伝えられています。

これまでのところ、詐欺的なフィッシングメールを識別する最も一般的な方法は、疑わしい言葉遣いを確認することです。現在では、WormGPT のような AI ツールのおかげで、その「防御」は完全になくなりました。

犯罪のためのAIツールの新たな世界

WormGPT に触発された模倣ツールの中で、最も有名なのは FraudGPT と呼ばれるツールです。これは WormGPT に似ており、フィッシングメール、クラッキングツールの作成、カードスキミング (クレジットカード詐欺の一種) に使用されます。

犯罪 LLM の暗い世界に出現した他の「ブランド」としては、DarkBERT、DarkBART、ChaosGPT などがあります。 DarkBERT は、実際には S2W Security という韓国の会社がダークウェブのデータでトレーニングして開発したサイバー犯罪対策ツールですが、このツールがサイバー攻撃に使用された可能性があります。

一般的に、これらのツールはサイバー攻撃の 3 つの側面を強化するために使用されます。

フィッシングの強化。サイバー攻撃者は、WormGPT や FraudGPT などのツールを使用して、完璧な言葉遣いで説得力のある巧妙なフィッシングメールを複数の言語で大量に作成し、その配信を大規模に自動化することができます。
知能が向上しました。攻撃者は、潜在的な被害者に関する詳細を手動で調査するのではなく、ツールを利用してその情報を収集することができます。
マルウェアの作成を容易にします。 ChatGPT と同様に、そのコードは悪意のある模倣者によって作成される可能性があります。つまり、初心者の開発者でも、これまで必要とされていたスキルを持たなくてもマルウェアを作成できるということです。

AI軍拡競争

悪意のある LLM ツールは確かに存在しますが、これまでのところそれらがもたらす脅威は最小限にとどまっています。これらのツールは信頼性が低く、多くの試行錯誤が必要であると言われています。そして、それらは高価で、使用するのに年間数百ドルかかります。熟練した、支援のない人間の攻撃者が、依然として圧倒的に最大の脅威です。しかし、これらの犯罪法学修士号が実際に行っていることは、多数の未熟な攻撃者にとって参入障壁を下げることです。

しかし、悪意のあるサイバー攻撃に対する AI ツールの開発はまだ初期段階にあります。機能が向上し、価格が下がることが期待されます。

悪意のある LLM の台頭は、攻撃 AI と防御 AI 間の新たな軍拡競争を表しています。 AI ベースのセキュリティソリューションは、増大する LLM 対応攻撃の脅威に対する防御において最高レベルにランクされています。