検出器がミスを犯し、英語を母国語としない人が書いた英語の記事の半分以上がAIによって書かれたと判定された。

7月13日、スタンフォード大学の研究者らは、英語を母国語としない人が英語の語彙力を十分持っていない場合、英語の記事を書く際にGPT検出器によってAI生成コンテンツと誤認されやすい可能性があることを発見した。

この研究はスタンフォード大学の生物医学データサイエンスの助教授であるジェームズ・ゾウ氏が主導し、Patterns誌に発表されたと報じられている。現在のGPT検出器には実は欠陥があり、論文がAIによって書かれたものかどうかを評価するのは難しいことが示されており、

▲ 出典：ジャーナル記事

研究者らは、7つの一般的なGPT検出器を使用して、実際の人間が書いた合計179の記事をチェックし、これらの検出器が英語を母国語としない人が書いた記事の半分以上をAI生成として分類したことを発見しました。

▲ 出典：ジャーナル記事

IT Homeが論文を調べたところ、研究者らは実験に使用したGPT検出器の名前を明らかにしていないが、研究結果によると、現在のGPT検出器は「TOEFL記事がAIによって書かれたものかどうかを識別する」際に61.3％のエラー率を示している。エラー率が最大97.8％のGPT検出器もあり、すべての検出器は、実際の人間が書いたこれらの記事の内容の19.8％が「間違いなくAIによって生成された」ことに同意している。

▲ 出典：ジャーナル記事

研究者らはさらなる分析を通じて、認識エラーの主な原因は、英語を母国語としない人の言語の多様性と語彙の選択が限られていること、また彼らが習得している英語の語彙が比較的「フォーマル」で、生活の場面ではあまり使われないことから、AIが誤った判断を下す結果になっていることを突き止めた。

▲ 画像出典: Pexels