アメリカ合衆国憲法と聖書はどちらも AI によって生成されたのでしょうか? AI検出器は信頼性が低く、人間のデータが限られているためAI開発は制限される

AI 生成コンテンツは効果的に識別できますか?

いくつかの例を見てみましょう。

テキストが AI モデルによって生成されたかどうかを検出するように設計された GPTZero などのツールに米国憲法を入力すると、その文書が AI によって生成されたことはほぼ間違いないことがわかります。

写真

この状況により、多くのアメリカのネットユーザーが建国の父の正体を疑うようになった。

写真

彼らは皆タイムトラベラーであり、この写真がその証拠です。

写真

同様に、テストツールも聖書の内容に対して同じ態度をとります。

写真

海外の大学教授は、学生がAIを使って論文を書いているのではないかと疑い、学生たちの論文を上記のようなAI検出ツールにかけたところ、検出ツールの結果、ほとんどの学生が不合格という結果が出ました。

しかし、実際にはほとんどの学生が自分で論文を書いているため、教授や学校にとって大きな頭痛の種となっているのです。

写真

では、なぜ AI 検出ツールはこのような驚くべき検出結果を出すのでしょうか?

海外メディアは、その理由を探るため、業界の専門家数名とAI文章検出ツールGPTZeroの創設者にインタビューした。

言語の難解さを利用してAIを識別するのは信頼できない

さまざまな AI 書き込み検出器は検出方法が若干異なりますが、原理は似ています。

大量のテキスト（何百万もの文章例を含む）でトレーニングされ、一連の推論ルールを確立した AI モデルを使用して、文章が人間によって書かれた可能性が高いか、AI によって生成された可能性が高いかを判断します。

たとえば、GPTZero を見てみましょう。その中核となるのは、「人間の文章と AI が生成したテキストの大規模かつ多様なセットでトレーニングされたニューラル ネットワークですが、トレーニング データは英語の散文に重点を置いています」。

次に、システムは、困惑度やバースト性などの特徴を使用してテキストを評価し、分類します。

機械学習において、困惑度とは、テキストが AI モデルがトレーニング中に学習した内容からどれだけ逸脱しているかを示す尺度です。

AI企業Hugging Faceのマーガレット・ミッチェル博士はこう述べている。「混乱は『私がこれまで見てきたものに基づいて、この言語は私にとってどれほど驚くべきものか』という関数です。」

したがって、困惑度を測定する原則は、ChatGPT などの AI モデルがテキストを生成するときに、最も得意とするものを自然に選択するというものです。

そして、これらのコンテンツはトレーニング データから取得されます。

出力がトレーニング データに近いほど、困惑度は低くなります。

しかし、人間はもっと乱雑な書き手である、少なくともそれが理論である。

しかし、人間は、特に法律文書や特定の種類の学術文書の正式なスタイルで書かれた場合には、混乱度の低いテキストを作成することもできます。

さらに、人間が使用するフレーズの多くは驚くほど一般的であったり、予測可能なものであったりします。

たとえば、人間として、「私は_____を一杯飲みたい」という文の次の単語を推測します。

おそらくほとんどの人は、この空欄に「水」「コーヒー」「お茶」と答えるでしょう。

これらのフレーズは英語の文章に頻繁に出現するため、大量の英語のテキストでトレーニングされた言語モデルでも同じことを行います。

したがって、予測はかなり正確であるため、これら 3 つの結果のいずれについても困惑は非常に低くなります。

さて、あまり一般的ではない空欄補充の答えはどうでしょうか。「スパイダーコーヒーを一杯飲みたい。」

人間も十分に訓練された言語モデルも、かなり驚く（または「混乱する」）ので、混乱度は高くなります。

テキスト内の言語がモデルのトレーニングに基づいて予想外のものでない場合、困惑度は低くなるため、AI 検出器はテキストを AI 生成として分類する可能性が高くなります。

これが米国憲法の例の背後にある理由です。

本質的に、憲法の文言はこれらのモデルに深く根付いていたため、AI検出器はそれをAI生成であると誤分類していた。

「アメリカ合衆国憲法は、多くの大規模言語モデルのトレーニングデータに繰り返し入力されるテキストです」とGPTZeroの作成者であるエドワード・ティアン氏は語った。

したがって、これらの大規模な言語モデルをトレーニングした結果、憲法やその他の一般的に使用されるトレーニング テキストに類似したテキストを簡単に生成できるようになります。

この興味深い現象は、GPTZero が大規模な言語モデルによって生成される可能性のあるテキストを予測するために発生します。 「

問題は、人間が非常に低い困惑度でコンテンツを作成することがまったく可能であるということです（たとえば、「コーヒーを一杯ください」などの一般的なフレーズを主に使用する場合）。

これにより、AI検出器の結果は非常に信頼性が低くなります。

突然では問題は解決できない

GPTZero が測定するテキストのもう 1 つの特性は「バースト性」です。これは、特定の単語やフレーズがテキスト内で急速に連続して出現する、つまり「バースト」する現象を指します。

本質的に、バースト性はテキスト全体にわたる文の長さと構造の変動性を評価します。

人間はより動的な書き方をする傾向があり、さまざまな長さや構造の文章を作成します。

たとえば、長くて複雑な文の後に短くて単純な文を書いたり、ある文では形容詞の列を使い、次の文では形容詞をまったく使わないといったことが考えられます。

この多様性は、人間の創造性と自発性の自然な産物です。

一方、AI が生成したテキストは、少なくとも現時点では、より一貫性があり、整理されている傾向があります。

より規則的な長さと構造を持つ文を生成する、初期段階の言語モデル。

この変動性の欠如によりバースト性スコアが低くなり、テキストが AI によって生成された可能性があることが示されます。

ただし、バースト性は AI 生成コンテンツを検出する確実な方法ではありません。

しかし、困惑と同様に、人間も高度に構造化された一貫したスタイルで書くことがあり、その結果、バースト性スコアが低くなります。

その結果、AI モデルは、文の長さや構造における人間のような変動性を模倣するようにトレーニングされ、バースト性スコアが向上する可能性があります。

実際、AI 言語モデルが改良されるにつれて、生成される結果はますます人間の文章に似てくることが研究でわかっています。

結局のところ、人間が書いたテキストと機械が書いたテキストを区別する非常にシンプルでエレガントな方法は存在しないかもしれません。

AI 書き込み検出機能は推測することはできますが、誤差の範囲が大きすぎるため、正確な結果を出すことは期待できません。

AI生成コンテンツの検出は今後ますます重要になる

AI 生成コンテンツ、特にテキストコンテンツの検出は、今後ますます重要になります。

なぜなら、将来、ChatGPT 規模の言語モデルをトレーニングしたい場合、既存の人間のデータだけでは不十分になる可能性があるからです。

昨年11月、MITを含む研究者らによる調査では、機械学習データセットによって2026年までに「高品質な言語データ」がすべて使い果たされる可能性があると推定された。

写真

論文アドレス: https://arxiv.org/pdf/2211.04325.pdf

そのため、多くの有力者は、将来的には AI が生成したデータが AI のトレーニングに使用される可能性があると述べています。

しかし、この美しい願いは非常に現実的な問題に直面するかもしれません。

少なくとも現時点では、AI によって生成されたデータは AI のトレーニングにとって有害で​​ある可能性があるようです。

最近、ライス大学とスタンフォード大学のチームは、AI が生成したコンテンツをモデルに取り込むとパフォーマンスが低下するだけであることを発見しました。

研究者たちは、これについて「モデルオートファジー障害（MAD）」と呼ばれる説明を考案した。

写真

研究では、AI データを使用する場合、モデルはトレーニングの 5 回目の反復後に MAD の影響を受けることが判明しました。

写真

合成データでAIモデルをトレーニングすると、アーティファクトが徐々に増幅される

言い換えれば、モデルに「新鮮なデータ」、つまり人間がラベル付けしたデータが提供されない場合、その出力の品質は深刻な影響を受けることになります。

一方、研究者たちは、AI が生成したデータに簡単に透かしを入れ、新しく生成された AI データを簡単に識別し、AI のトレーニングに使用されないようにする方法を研究しています。

一方、将来的には透かしのないAI生成データが大量に出現する可能性があり、それを人間のデータと区別することが非常に重要です。

これは、学生が教師から誤って非難され、コースで不合格になるかどうかという懸念だけでなく、より深刻なことに、データの繰り返しトレーニングの問題により AI の開発が妨げられることになります。

ZeroGPT のようなプラットフォームが、既存の技術的制限をできるだけ早く克服し、将来 AI のトレーニングに使用されるデータが可能な限り人間のネイティブデータとなることを保証できることが期待されます。