ChatGPT は EDR 検出を回避する変異型マルウェアを作成します

ChatGPTは昨年末のリリース以来、世界中で大きな話題を呼んでいます。しかし、消費者やIT専門家の間でChatGPTが人気を博したことで、システムの脆弱性が悪用されるというサイバーセキュリティの悪夢も引き起こされました。サイバーセキュリティの専門家は、問題はChatGPT やその他の大規模言語モデル (LLM) が、エンドポイント検出および応答 (EDR) システムを回避するために多態的または変異したコードを生成する能力にあることを実証しました。

最近の一連の概念実証攻撃では、一見無害な実行可能ファイルを作成し、実行するとChatGPT へのAPI 呼び出しを行う方法が実証されました。 ChatGPT は、すでに記述されたコード スニペットの例を複製するだけでなく、悪意のあるコードの動的で変化するバージョンをプロンプトで生成することもできるため、結果として生じるエクスプロイトをサイバー セキュリティ ツールが検出することが困難になります。

「ChatGPT はハッカーのハードルを下げました。AIモデルを使用する悪意のあるアクターは現代の『スクリプト キディ』と見なすことができます」と、サイバー セキュリティ企業 GitGuardian の開発者であるマッケンジー ジャクソン氏は語ります。「 ChatGPT がマルウェアを作成するように仕向けられたことは画期的なことではありませんが、モデルが改良され、サンプル データがさらに消費され、さまざまな製品が市場に投入されるにつれて、AI は最終的に、防御に使用されている他の A​​I システムでしか検出できないマルウェアを作成する可能性があります。このゲームで誰が勝つかは誰にもわかりません。」

フィルターを回避して悪意のあるコードを作成するためのヒント

ChatGPTやその他の LLMには、一部のコマンドに従わないようにしたり、悪意のあるコードなどの有害なコンテンツの生成を促したりすることを禁止できるコンテンツ フィルターがあります。ただし、コンテンツ フィルターは回避できます。

ChatGPT 経由で報告されたほぼすべてのエクスプロイトは、いわゆる「プロンプト エンジニアリング」、つまり入力プロンプトを変更してツールのコンテンツ フィルターを回避し、目的の出力を取得する手法によって達成されました。たとえば、初期のユーザーは、ChatGPT を「脱獄」し、プロンプトに「what-if」シナリオを作成することで、ChatGPT に作成されるべきではないコンテンツを作成させることができることを発見しました。たとえば、ChatGPT に何かを依頼するのは AI ではなく、危害を加えようとする悪意のある人物であると想定するなどです。

「ChatGPTは、質問の文脈を評価することでChatGPTが提供できる回答の範囲を制限するフィルターなど、システムにいくつかの制約を課します」と、Kubernetesに重点を置くサイバーセキュリティ企業KSOCのセキュリティ研究ディレクター、アンドリュー・ジョセフィデス氏は語る。「 ChatGPTに悪意のあるコードを書くように依頼すると、その要求は拒否されます。実装しようとしている悪意のある機能を効果的に実行するコードを書くようにChatGPTに依頼すると、ChatGPTはおそらくそのコードを作成します。」

ジョセフィデス氏は、アップデートのたびに ChatGPT がマルウェアになりにくくなると考えています。しかし、さまざまなモデルや製品が市場に登場しているため、 LLM が悪意のある目的で使用されるのを防ぐためにコンテンツ フィルターだけに頼ることはできません。

ChatGPT を騙してフィルターでブロックする機能を悪用すると、一部のユーザーにとって効果的な悪意のあるコードが生成される可能性が高くなります。また、 ChatGPTを使用して結果を変更および微調整することで、コードをポリモーフィックにすることもできます。

たとえば、一見無害な Python 実行可能ファイルでも、実行可能ファイルが実行されるたびに、ChatGPT API に送信するクエリを生成し、異なるバージョンの悪意のあるコードを処理できます。このようにして、悪意のある操作が exec() 関数の外部で実行されます。この手法は、変異する多形的なマルウェア プログラムを生成するために使用された場合、脅威スキャナーによる検出が困難になります。

ポリモーフィック型マルウェアの既存の概念実証

今年初め、脅威検出会社 HYAS InfoSec の主任セキュリティエンジニアである Jeff Sims 氏は、このような脆弱性の実用的なモデルを提供する概念実証のホワイトペーパーを公開しました。彼は、ヒント エンジニアリングを使用し、実行時に ChatGPT API をクエリして、BlackMamba と呼ばれるポリモーフィック キーロガー ペイロードを構築する方法を実演しました。

実際には、BlackMambaは Python実行ファイルであり、ChatGPTの APIに、実行時に各呼び出しを変異させてポリモーフィック化し、エンドポイントと応答 (EDR) フィルターを回避する悪意のあるキーロガーを構築するように指示します。

「Pythonのexec() 関数は、実行時にPythonコードを動的に実行できるようにする組み込み機能です」と Sims 氏は言います。「実行するコードを含む文字列を入力として受け取り、そのコードを実行します。exec() 関数は、プログラムを動的に変更するためによく使用されます。つまり、プログラムの実行中に新しいコードを実行することで、実行中のプログラムの動作を変更できます。」

BlackMambaの文脈では、「生成応答を生成する際の多態性の上限は、プロンプトエンジニアの創造性（入力の創造性）とモデルトレーニングデータの品質によって制限されます」と Sims 氏は述べています。

BlackMambaの概念実証では、キーストロークが収集された後、データはWeb フック ( API 間のイベント駆動型通信を可能にするHTTPベースのコールバック関数) を介して Microsoft Teams のチャネルに抽出されました。シムズ氏によれば、BlackMamba は「業界をリードする」EDRアプリケーションを何度も回避したという。

サイバーセキュリティ企業 Cyber​​ArkのEran Shimony 氏と Omer Tsarfati 氏は、マルウェアに ChatGPT を使用した別の概念実証を作成しました。このマルウェアは「定期的にChatGPTにクエリを実行し、悪意のある動作を実行する新しいモジュールを探すPythonインタープリター」で構成されていると、シモニー氏とツァルファティ氏は概念実証を説明するブログに記している。 「コードインジェクション、ファイル暗号化、永続化などの特定の機能を ChatGPT に要求することで、新しいコードを簡単に取得したり、既存のコードを変更したりできます。」

Black Mamba とは異なり、ChattyCat は特定の種類のマルウェアをターゲットにしているわけではありませんが、ランサムウェアや情報窃盗マルウェアなど、さまざまなマルウェアを構築するためのテンプレートを提供します。

「私たちの POC である ChattyCaty は、 GPTモデルを使用してポリモーフィック プログラムを作成するためのインフラストラクチャを実証するオープン ソース プロジェクトです」と Tsarfati 氏は語ります。「ポリモーフィズムは、ウイルス対策プログラムやマルウェア プログラムによる検出を回避するために使用できます。」

Shimony 氏とTsarfati 氏はまた、 ChatGPT API のコンテンツ フィルターが元のオンライン バージョンよりも弱いように見えることも発見しました。

「興味深いことに、 ChatGPT システムは API を使用する際にコンテンツ フィルターを利用しないようです。なぜそうなるのかは不明ですが、Web バージョンはより複雑なリクエストで行き詰まる傾向があるため、これにより作業がはるかに簡単になります」と Shimony 氏とTsarfati 氏はブログに書いています。

安全性向上のためのAI規制

世界各国の政府が人工知能による危害を防ぐためにどのように規制するかに取り組んでいるが、今のところ新たな規則を制定した主要国は中国だけだ。専門家は、生成 AI の潜在的な害を制御するためのさまざまなアプローチを提案しています。

「AIを制御する問題に対する現在の解決策は『AIをさらに追加する』ということのようだが、それはおそらく現実的ではないと思う」とフォレスター社のアナリスト、ジェフ・ポラード氏は語った。 「これらのソリューションに適切な制御レイヤーを本当に追加するには、システム内のコンテキストをより適切に解釈し、観察する必要があります。これらをAPI と組み合わせて、意味のある詳細を提供し、現在は存在しないと思われる管理機能を提供する必要があります。」

しかし、テクノロジー業界はまだ生成AIの能力を理解する初期段階にあるため、生成AIを規制するのは難しいだろうと、コンサルティング会社エンタープライズ・マネジメント・アソシエイツのアナリスト兼リサーチディレクターのクリス・ステフェン氏は述べた。

「規制の見通しは良くありません。その理由は、 ChatGPTには無限の可能性があり、 GPTインスタンスがカバーする可能性のあるすべての状況に備えることは非常に難しいからです」とステフェン氏は語った。 「特に、どのように規制するか、どのようなプロセスを採用するか、誰が責任を負うかといった分野では、より困難になるだろう。」

シュエタ・シャルマ

オリジナルリンク: ChatGPT は EDR による検出を回避する変異型マルウェアを作成 | CSO Online