AIの文章検出ツールは信頼性が低く、米国憲法は実際にはロボットによって書かれたと考えられている

7月16日、一部のネットユーザーは、米国で最も重要な法律文書である米国憲法を、人工知能による執筆を検出するために特別に設計されたツールに入力すると、米国憲法がほぼ間違いなく人工知能によって書かれたという驚くべき結果が得られることを発見した。ジェームズ・マディソン（アメリカ合衆国第4代大統領であり「合衆国憲法の父」）がタイムトラベラーでない限り、これは明らかに不可能である。では、なぜこれらの AI 検出ツールはこのような間違いを犯すのでしょうか?海外メディアArstechnicaは、その理由を明らかにするために複数の専門家とAI検出ツールGPTZeroの開発者にインタビューした。

教育の分野では、AI ライティングが多くの論争を引き起こしています。長い間、教師たちは伝統的な教授法に頼り、あるテーマに対する生徒の習熟度を測る手段としてエッセイを使ってきた。多くの教師は、AI によって生成された文章を検出するために AI ツールに頼ろうとしますが、これまでの証拠はそれらが信頼できないことを示唆しています。 GPTZero、ZeroGPT、OpenAI のテキスト分類器などの AI 検出ツールは、誤検知が発生するため信頼性が低く、記事が大規模言語モデル (LLM) によって生成されたかどうかを判断するために使用することはできません。

GPTZeroに米国憲法の一部が入力されると、その文章は「おそらく完全にAIによって書かれた」と表示された。同様の結果を示す他の AI 検出ツールのスクリーンショットは、過去 6 か月間にソーシャル メディアで何度も話題になっています。実際、聖書の内容を入力すると、同じことが起こります。これらのツールがなぜこのような明らかな間違いを犯すのかを説明するには、まずそれらがどのように機能するかを理解する必要があります。

IT Home によると、さまざまな AI 文章検出器がわずかに異なる検出方法を使用していますが、基本的な原理は似ています。AI モデルを通じて、大量のテキスト (何百万もの文章例を含む) と一連の想定ルール (文章が人間によって生成された可能性が高いか AI によって生成された可能性が高いかを判断するために使用) に基づいてトレーニングされます。

たとえば、GPTZero の本質は、「英語の散文に重点を置いた、人間の文章と AI 生成テキストの両方を含む大規模で多様なコーパス」でトレーニングされたニューラル ネットワークです。次に、システムは「困惑度」や「バースト性」などの特性を使用してテキストを評価し、分類します。

機械学習において、困惑度とは、テキストが AI モデルがトレーニング中に学習した内容からどの程度逸脱しているかを示す尺度です。困惑度を測定する背後にある考え方は、AI モデルが書き込みを行う際に、トレーニング データから得られる最も馴染みのあるコンテンツを自然に選択するというものです。出力がトレーニング データに近いほど、困惑度は低くなります。人間はより混乱を招く書き手ですが、特に法律文書や特定の種類の学術文書で使用される正式なスタイルを模倣する場合は、混乱を少なくして書くこともできます。そして、私たちが使うフレーズの多くは驚くほど一般的なものなのです。

たとえば、「I’d like a cup of _____」というフレーズの次の単語を推測するように求められたとします。ほとんどの人は、空欄に「水」、「コーヒー」、「お茶」のいずれかを入力するでしょう。大量の英語テキストでトレーニングされた言語モデルも同様のことを行いますが、これらのフレーズは英語の文章に頻繁に出現するため、これらの結果のいずれも困惑度は低くなります。

GPTZero が測定するテキストのもう 1 つの特性は「バースト性」です。これは、テキスト内で特定の単語やフレーズが連続して急速に出現する、つまり「バースト」する現象を指します。本質的に、バースト性はテキスト全体にわたる文の長さと構造の変動性を評価します。人間の書き手は動的な文体で書くことが多く、その結果、文章の長さや構造が変化するテキストが作成されますが、AI が生成したテキストはより一貫性があり統一されている傾向があります。ただし、バースト性は AI 生成コンテンツを検出するための確実な指標ではありません。 Perplexity と同様に、例外もあります。人間の書き手は、高度に構造化された一貫したスタイルで書く可能性があり、その結果、バースト性スコアが低くなります。代わりに、AI モデルは、文の長さと構造における人間の多様性をより模倣するようにトレーニングすることができ、それによってバースト性スコアが向上します。実際、AI 言語モデルが改良されるにつれて、AI の文章は人間の文章にますます似てくることが研究でわかっています。