ChatGPTが公式検出ツールを削除、AIテキストは識別できないことを認める

OpenAI は、何の発表もなく、ひっそりと AI テキスト検出ツールをシャットダウンし、ページは直接 404 になりました。

これに対して公式の回答はなく、半年前にツールがリリースされたブログページに隠された簡単な説明が数日後にようやく誰かによって発見されました。

…AI検出器は精度が低いため利用できなくなりました…当社はより効果的なテキスト検出技術に取り組んでおり、音声および視覚検出技術の開発に取り組んでいます。

多くのネットユーザーは、 CloseAI OpenAIがアナウンスを出さずに製品を終了するという行動に不満を抱いている。

しかし、多くの人々、特に学生は、AI検出器自体をシャットダウンすることに賛成しています。

あまりに多くの教師が、これが効果的だと信じているため、多数の生徒がAIを使って不正行為をしていると誤って非難され、魔女狩りのような状況になっています。

精度は推測とほぼ同じです

この公式検出ツールの精度はどれくらい低いのでしょうか?

OpenAI 自身が提供したデータによれば、AI が生成したテキストの 26% しか正しく識別できず、人間が書いたテキストの 9% を誤って識別していることがわかりました。

1月に初めて発表された際、ネットユーザーらはこれを「単なる推測」と総括した。

さらに、市販されているさまざまな検出ツールは、聖書やアメリカ合衆国憲法などの歴史文書をAIが書いた可能性が高いと判断するという実験を行った人もいます。これらの内容を書いた歴史上の人物が全員タイムトラベラーだったというのはあり得ませんよね？

しかし、生徒の宿題をチェックするためにさまざまなテスト方法を使おうとする教師はまだたくさんいます。

最も有名な事件は、テキサス A&M 大学の教授がクラスの半分の卒業をほぼ延期した事件です。

最近の傾向としては、教師が生徒にオンライン文書で課題を書かせ、編集記録をチェックさせることだが、賢い生徒はこれを回避する方法を見つけることができます。

最後に、教育の分野では、大量の課題や講義論文が過去のものとなり、持ち込み禁止の試験や口頭試験が主流になるだろうと主張する人もいます。

現在の検出方法では回避できる

ネットユーザーらは、OpenAIが生成ツールと検出ツールを同時に開発するのは矛盾していると指摘した。

一方がうまくいけば、もう一方はうまくいかないということになり、利益相反が生じる可能性もあります。

しかし、サードパーティによって開発された検出方法はあまり信頼できるものではありません。

「ChatGPTのキラー」と呼ばれた最初のものは、プリンストン大学の学部生エドワード・ティアンが開発したGPTZeroで、複雑さと文の長さの変化を利用して記事がAIによって生成されたかどうかを測定します。

当時、GPTZero プロジェクトは教育者向けに特別に設計されており、教師はクラス全体の宿題をテスト用にそこに投入することができました。

しかし7月、作者は学生の不正行為の検出をあきらめたことを認め、GPTZeroの次期バージョンではテキストがAIによって生成されたかどうかを検出せず、人間の文章に最も似ている部分を強調表示する計画だと述べた。

もう一つの注目されている検出方法は、メリーランド大学が開発した透かし法です。この方法では、テキストを生成する際に大規模なモデルで透かしを隠し、統計的手法を使用して透かしを識別する必要があります。

しかし、それを回避する方法も非常に簡単です。たとえば、統計的特性を破壊できる簡単な同義語置換ツールを開発した人もいます。

なぜこのような区別をしなければならないのかと疑問に思う人もいました。

数字が人間によって計算されたのか、コンピューターによって計算されたのかを誰も気にしなくなったのと同じです。

講演者が原稿を自分で書くか秘書が書くかなんて誰も気にしないですよね？

人間の行動研究はAIを被験者として利用している

AI と人間のコンテンツを区別できないことは、必ずしも悪いことではないようです。

研究をスピードアップするために、人間の被験者の代わりに AI を使用する心理学実験はすでに行われています。

Cell 誌の記事では、慎重に設計された実験シナリオでは、ChatGPT の応答が人間の参加者の約 95% の応答と相関していることが指摘されています。

また、機械の被験者は疲れることがないため、科学者は前例のないスピードでデータを収集し、人間の行動に関する理論を検証することができます。

ウォータールー大学の心理学教授イゴール・グロスマン氏は、サイエンス誌の最近の意見記事で次のように述べています。

「AIは社会科学研究に大変革をもたらす可能性があり、慎重なバイアス管理とデータの忠実性が鍵となります。」

参考リンク:
[1]https://twitter.com/KevinAFischer/status/1683898199981928450.

[2] https://www.reddit.com/r/ChatGPT/comments/159j8rc/openai_quietly_kills_its_own_ai_classifier_citing/.

[3] https://news.ycombinator.com/item?id=36862850.

[4] https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(23)00098-0.

[5] https://www.science.org/doi/10.1126/science.adi1778.

[6] https://theconversation.com/beyond-the-hype-how-ai-could-change-the-game-for-social-science-research-208086.