OpenAI DALL-E 3モデルには「不適切なコンテンツ」を生成する脆弱性があり、マイクロソフトの従業員はそれを報告した後に「口止め命令」を受けた。

2月2日、マイクロソフトのソフトウェアエンジニアリング部門のマネージャーであるシェーン・ジョーンズ氏は、OpenAIのDALL-E 3モデルに脆弱性を発見した。このモデルは、一連のNSFWの不適切なコンテンツを生成できると言われていた。シェーン・ジョーンズ氏は、関連する脆弱性を報告した後、「箝口令」を発令されたが、最終的に従業員は関連する脆弱性を外部に公開することを選択した。

▲ 画像出典：シェーン・ジョーンズの報告書が公表された

IT Homeは、シェーン・ジョーンズが昨年12月に独自の調査を通じて、テキストから画像を生成するOpenAIのDALL-E 3モデルに、AIガードレールを回避して一連のNSFW不適切なコンテンツを生成できる脆弱性があることを発見したと報じた。

その後、シェーン・ジョーンズ氏はこの脆弱性をマイクロソフトとOpenAIに報告し、LinkedInに公開書簡を公開して、この脆弱性が一般市民にセキュリティ上のリスクをもたらすと主張し、脆弱性を解決する前にOpenAIにDALL-E 3モデルを一時的に削除するよう求めた。

その後、シェーン・ジョーンズ氏はマイクロソフトの法務部門と上級幹部の訪問を受け、LinkedInの公開書簡を直ちに削除し、いかなる内容も公表しないように警告されたが、何の説明もなかった。その後、シェーン・ジョーンズ氏は社内に何度も連絡を求めたが、会社からの返答はなく、脆弱性は修正されなかった。その後、シェーン・ジョーンズ氏はメディアや関連部門に当該脆弱性を開示した。

シェーン・ジョーンズ氏は、最近インターネット上に現れた有名歌手テイラー・スウィフトのAI生成わいせつ写真がこの脆弱性と関係があると指摘した。これらのわいせつ写真はMicrosoft DesignerのAI機能を使って生成されたとされており、Designerの基盤モデルはDALL-E 3である。したがって、この事件でMicrosoftが「箝口令」を発令したことは重大な過失である。

その後、マイクロソフトはEngadgetなどのメディアに公式に回答し、関係する従業員の懸念に対処し、関連する脆弱性を修正すると主張した。しかし、マイクロソフトは、シェーン・ジョーンズが明らかにした脆弱性は実際には成功率が低く、 「マイクロソフトがモデルに設定したすべてのセキュリティメカニズムを回避することは不可能」であり、「この脆弱性がテイラー・スウィフトのわいせつ写真事件に関連しているかどうかは不明」であると主張した。