新しいモデルは99%の精度で、ChatGPTによって生成されたテキストコンテンツを認識できます。

IT Homeは11月8日、sciencedirectに掲載された最新の論文によると、科学者は20の特徴と機械学習アルゴリズムを利用して、コンテンツが人間の論文著者によって書かれたものか、ChatGPTによって生成されたものかを正確に区別しており、その精度は最大99%であると報じた。

AI Detectorの研究者らは、このモデルは人間の書いたものとChatGPTが生成したテキストを区別する精度が99%を示し、ChatGPTの開発元であるOpenAIが提供するAI検出ソフトウェアGPT-2 Output Detectorよりも大幅に優れていたと述べた。

研究者らはまた、このコンペティションでモデルアルゴリズムをテストするためのサンプルデータが現段階では十分ではないことを認めた。彼らは13の化学ジャーナルと3つのメディアの記事のみをテストした。20のテキスト機能とXGBoostを通じて、人間による共同作業とGPT-3.5/GPT-4で生成されたコンテンツを効果的に区別することができる。

研究者らは、テストによって彼らのアプローチが単純かつ効果的であることが示されたと述べた。彼らは、プロンプトとモデルに応じて、このツールは AI 生成テキストの認識において 98% ～ 100% の精度を示していることを強調しています。

研究者らは、OpenAIの現在の検出精度は10～56％で、このツールはOpenAIのものよりも進んでいると述べた。

研究者らはさらに、この研究と発明の背後にある目標は、科学界に「ChatGPTの化学ジャーナルへの浸透を評価し、その使用の結果を特定し、問題が発生した場合に迅速に緩和戦略を導入する」方法を提供することだと明らかにした。

IT Home では、論文のアドレスをここに添付していますので、興味のあるユーザーは詳しく読むことができます。

Heather Desaire、Aleesa E. Chua、Min-Gyu Kim、David Hua、「ChatGPT に化学者のように書くように指示された場合の AI テキストの正確な検出」、Cell Reports Physical Science、2023、101672、ISSN 2666-3864、 https://doi.org/10.1016/j.xcrp.2023.101672。