ChatGPTの不正行為から逃れるのは難しいです！ 99%のヒット検出、カンザス大学の新しいアルゴリズム、Cellジャーナルに掲載された研究

これまで、多くの人が ChatGPT 検出器を開発してきましたが、実際に効果的に識別できるものはありませんでした。

カンザス大学の研究者らは、ChatGPTが不正行為に使用されているかどうかを99%以上の精度で検出できる新しいアルゴリズムを導入した。

最新の研究は6月7日にCell Reports Physical Science誌に掲載された。

写真

カンザス大学の化学教授であり、この論文の著者の一人であるヘザー・デセア氏は次のように述べた。

「私たちは、高校生でも最小限の指導で、さまざまな種類の文章を検出できる AI 検出器を構築できるように、使いやすいアプローチを作成するために一生懸命取り組みました。」

4つの主要機能、認識率99%

研究者らが指摘するように、90パーセントの精度では十分ではないことが多い。しかし、より高い精度を達成するためには、トレードオフが普遍的であることが多いです。

研究者らは、この研究のために、生物学から物理学まで幅広い分野を網羅し、人間の著者によって書かれたサイエンス誌の研究論文64本を選んだ。

このデータは ChatGPT に送られ、このデータを使用して 128 件の AI 記事のデータセットが生成されました。

このトレーニング データ セットには、1,276 個のチャットボットの例文が含まれています。

研究者たちはこのデータを活用してChatGPT検出アルゴリズムを構築しました。

モデルが完全に開発され最適化された後、2 つのテスト セットも生成されました。各テスト セットは、実際の記事 30 件と ChatGPT によって作成された記事 60 件 (合計 1210 段落) で構成され、最新のアルゴリズムをテストするための新しいデータセットを形成します。

実験結果によると、最新のアルゴリズムは ChatGPT によって書かれた記事全体を 100% 検出できることがわかりました。

段落レベルでは、精度は低かったものの、それでも印象的でした。アルゴリズムは、AI が生成した段落の 92% を検出しました。

写真

この論文では、いくつかの詳細から、どのコンテンツが ChatGPT によって作成されたかがわかると述べられていることは注目に値します。

研究者たちは、トレーニング セット内の多数の例を手動で比較することで、4 つの特徴のカテゴリを特定しました。これらの特徴は、人間による文章とチャットボットを区別するのに役立ちます。

（1）段落の複雑さ、（2）文の長さの多様性、（3）句読点、（4）流行語や数字

一般的に、人間の筆者はより長い段落を書き、より幅広い語彙を使用し、より多くの句読点を含めました。

さらに、彼らは自分の発言を「しかしながら」「しかしながら」「とはいえ」などの言葉で限定する傾向があります。 ChatGPT は、数字を引用したり他の科学者に言及したりする際に、あまり具体的ではありません。

下の表に示すカテゴリでは、人間は ChatGPT よりもはるかに優れています。

写真

これらの 4 つの機能カテゴリのうち、2 つ (1 と 3) は、ChatGPT によって生成されるコンテンツが人間のコンテンツよりも複雑でない点です。最も大きな特徴は、段落あたりの文の数と段落あたりの総単語数です。

どちらの場合も、ChatGPT の平均パフォーマンスは人間のパフォーマンスよりも大幅に低くなります。

研究者らはまた、人間は文章の構造を変えることを好むことも発見した。人間は ChatGPT よりも文の長さが変わります。人間は、長い文（35 語以上）と短い文（10 語以下）をより頻繁に使用します。

残りの 2 つの特徴的なカテゴリは、より「スタイル上の」選択として説明できます。

一方、人間の科学者は疑問符、ダッシュ、括弧、セミコロン、コロンをより頻繁に使用しましたが、ChatGPT は一重引用符をより多く使用しました。

人間は数字だけでなく、固有名詞や頭字語も数多く使用します。

デセア氏が構築したこのモデルは、高校生の不正行為を罰したい教師には役立たない。

このアルゴリズムは学術的な文章、具体的には科学雑誌で読まれるような学術的な文章のために構築されました。

同社によれば、理論的には同じ技術を使用して、他の種類の書き込みを検出するモデルを構築できるという。

しかし、チャットボットの文章にちょっとした調整を加えるだけで、不正行為として検出されにくくなるという事実によって、事態はさらに複雑になります。

著者がチャットボットの文章に簡単に小さな調整を加え、検出を困難にすることができるという事実を考慮すると、事態は悪化します。

それでも研究者らは、この研究を「概念実証」と表現し、将来的にはより大規模なデータセットを用いて、より安定した正確なツールを開発できる可能性があると述べた。

人工知能が今後も非常に速いペースで発展し続ければ、このような検出方法が依然として有効であるとは誰も保証できません。

大規模な言語モデルが人間の発話能力を再現することに近づくほど、ロボットの発話の痕跡を識別することが難しくなるからです。

AI検出がなぜ難しいのか

ChatGPT は発売以来、多くの大学生や教師が日常の宿題や授業に使用しています。

しかし、制限されなければ、ChatGPT は史上最強の不正行為ツールとなり、学生が宿題を書いたり、試験問題を完成させたりするのを助けることになるでしょう。

偵察に対抗するために、シンプルで使いやすい検出器は教師にとって待望のものとなっている。プリンストン大学の22歳の学生、エドワード・ティアンさんは、独自の検出器「GPTZero」を開発しました。

写真

OpenAI も、AI Text Classifier と呼ばれるファイル検出器という新しいツールのリリースを正式に発表しました。

しかし、これらの検出器の性能は満足できるものではありません。

写真

AI によって生成されたコンテンツを検出するのは、とても簡単なように思えます。しかし、手書きのメールと ChatGPT によって生成されたメールを見ると、違いはほとんどわかりません。

ターニティンの人工知能担当副社長エリック・ワン氏は、AIによる文章を検出するソフトウェアの使用には統計学が関係していると述べた。統計的な観点から見ると、AI と人間を区別する点は、平均レベルで非常に安定していることです。

はっきり言ってAIレベルは非常に安定しています。しかし、実際はそうではありません。

「ChatGPT のようなシステムは、オートコンプリートの高度なバージョンのようなもので、次に書かれる可能性が最も高い単語を探します。それが、とても自然に読める理由です。AI による文章は、人間の文章の最も可能性の高いサブセットです。」