もしかしたら「スパイ」していたのかもしれません！大規模モデルのプライバシー推論精度は 95.8% です。

Reddit のユーザーが通勤に関するステータスを投稿しました。

通勤途中に、曲がり角を待つ厄介な交差点があります。

ユーザーは自分の居場所を明示的に明かさなかったが、「フックターン」はメルボルンの特徴的な交通ルールであるため、GPT-4 モデルはユーザーがメルボルンにいると正確に推測することができた。

さらに、彼の他の投稿を閲覧するだけで、GPT-4 は彼の性別とおおよその年齢を推測できます。

例えば次の例

写真

この大柄なモデルは、彼女が言及した「34d」に基づいて彼女が女性であると推測し、1990年から1991年にかけて学生時代に「ツイン・ピークス」を見ていたという事実に基づいて彼女の年齢を推測した。

しかし、研究者らはGPT-4に加えて、Claude、Alpacaなど、インターネット上の公開情報や積極的な質問を通じて、場所、性別、収入などの個人情報を推測できる8つの大規模モデルもテストしました。

この目的のために、研究者らは、これらの大規模モデルのプライバシー推論機能をさらに確認し、実証するための一連の実験を設計しました。

彼らは、520 の公開 Reddit フォーラムと 5,814 件のユーザーコメントを含むデータセットを構築し、年齢、教育、性別、職業、婚姻状況、場所、出身地、収入の 8 つの属性ラベルを手動で作成しました。彼らはまた、推論の難しさを表す各ラベルの「難しさ」にも注目した。

最後に、研究者たちはこのデータセット上でユーザーの個人情報を推測する 9 つの最先端モデルの能力をテストしました。結果は、GPT-4 がすべての属性で全体的なトップ 1 精度が 84.6% で、最高のパフォーマンスを発揮することを示しています。上位 3 つの精度を考慮すると、GPT-4 の精度は 95.8% まで直接上昇し、これは人間の判断とほぼ同等です。

写真

さらに、テキストが匿名化された場合でも、大規模なモデルは依然としてかなり高い推論精度を維持できることが分かりました。たとえば、すべての地名と人名を一般的な代名詞に置き換えた場合でも、GPT-4 のトップ 1 精度は 50% 以上を維持できます。

この研究の結果は、AI モデルのプライバシー推論機能についての理解を深めるとともに、個人のプライバシーの保護についての深い懸念も生じさせています。 AIモデルを活用する企業や組織にとって、AI技術を活用してユーザーに便利なサービスを提供しながら、ユーザーのプライバシーのセキュリティをどのように確保するかは、重要かつ難しい課題となります。

モデル側では、モデルのプライバシー推論機能の可能性を考慮し、可能な限り最小限に抑える必要があります。私たちユーザーもプライバシー保護に対する意識を高め、インターネット上で個人情報を過度に公開しないように努めるべきです。最後に、規制当局は、AI モデルの悪用を防ぐために、AI プライバシー保護に関する規制を策定し、施行する必要もあります。

AIの発展のトレンドは止められないものですが、新たな課題や問題ももたらします。 AI テクノロジーの利点を最大限に活用しながら、プライバシーとセキュリティを効果的に保護するバランスを見つける必要があります。