GPT-4を使用すると、成績の悪い生徒は成績の良い生徒よりも有利になる

学生が AI を使用して「不正行為」を行うことが許可された場合、成績分布はどのように変化するでしょうか?

この問題に対して、実際に数人の大学教授が真剣な研究を行い、62ページにわたる研究論文を書きました。

結果は、GPT-4の使用後、生徒の「能力曲線が圧縮され」、成績の悪い生徒と優秀な生徒の間の格差が狭まったことを示しました。

ウォートン校の教授がこの研究を共有した後、多くのネットユーザーの間で議論が巻き起こった。ネットユーザーもこの結果に驚いた。

これは私の予想とは全く違いました。みんなの点数が上がると思っていました。

一部のネットユーザーはこれを「真のゲームチェンジャー」と呼んだ。

AI は教育環境を変え、格差を縮小しながら基準を向上させています。

しかし、ネットユーザーの中には異なる見解を持つ人もいる。

AI の使用が得意な人は成績が非常に良い可能性があり、差が縮まっているように見えるのは、GPA の上限が 4.0 であることだけによるのかもしれません。

AIは「イコライザー」となるのか？

上記に加えて、私たちは論文を調べたところ、研究者らが次のような結論に達したことも分かりました。

GPT-4 の使用は、参加者の全体的なタスク完了の質に小さく不安定な影響を及ぼしました。
GPT-4 を使用すると、参加者がタスクを完了するのにかかる時間が大幅に短縮されました。
スキルレベルの低い参加者は、GPT-4 を使用した後にタスク完了品質が最も大幅に向上しましたが、すでに独立して高品質でタスクを完了できた参加者は、品質の向上が小さかったです。
GPT-4 は、生徒が最初にタスクをどれだけ速く完了したかに関係なく、すべての生徒に同様の時間の節約をもたらします。
参加者は、各タスクにおける自分の具体的なパフォーマンスを理解していなくても、GPT-4 が最も効果的なアプリケーションシナリオを明確に指摘できます。

実験の詳細を以下で見てみましょう。

具体的には、南カリフォルニア大学グールド法科大学院とミネソタ大学法科大学院の数名の教授が、AI 支援による法的分析の影響を例として取り上げました。

実験に参加したミネソタ大学ロースクールの学生60名には、若手弁護士によくある4つの課題、すなわち、訴状の起草、契約書の起草、従業員ハンドブックの起草（EEハンドブック）、顧客メモの起草（クライアントメモ）が与えられた。

違いは、参加者がランダムに 2 つのグループ(グループ A とグループ B)に分けられ、各グループに 30 人ずつ含まれていたことです。グループ A の参加者は、苦情書と契約書の起草のタスクを完了するために GPT-4 を使用する必要があり、グループ B は、従業員ハンドブックと顧客覚書の起草のタスクを完了するために GPT-4 を使用しました。

実験の前に、すべての学生は、法的分析に GPT-4 を効果的に使用する方法を学ぶために約 2 時間のトレーニングを受けました。タスク中、参加者はタスクを完了するのにかかった時間を記録する必要がありました。

その後、研究者らは参加者の身元やその他の情報を知らされずに、匿名ですべての作品の採点を行った。

具体的な実験結果は以下のとおりです。

4.0 GPA メカニズムでは、GPT-4 支援を使用した後、4 つのタスクにおける学生の平均スコアは +0.17、+0.24、+0.07、-0.07 で変動しました。

視覚的なチャートはより直感的です:

全体的に、契約書作成タスクのみが 95% の信頼度レベルで統計的に有意な改善を示しました。

GPT-4 を使用した参加者と使用しなかった参加者がタスクを完了するのにかかる平均時間を見てみましょう。

参加者がタスクを完了するのにかかる時間が大幅に短縮されたことが直感的にわかります。

さらなるデータと分析については、興味のある方は論文をご覧ください。

論文の最後には、数人の教授が弁護士、法律関係の顧客、裁判官、ロースクール、ロースクールの学生に向けてさまざまな提案をした12ページにわたる啓示を書いたことも特筆に値します。

報告書は、法科大学院は、将来の実務のニーズによりよく適応するために、学生がいつ、どのようにAIを使用するか、またどのような状況下でAIの適用を制限すべきかを再考する必要があると指摘している。

さらに、さまざまな集団を対象とした同様の研究も数多くあります。

AIは職場の「バランサー」となるでしょうか?

ハーバード・ビジネス・スクール、ウォートン・スクール、MITスローン経営大学院などの研究者らがボストン・コンサルティング・グループと共同で調査を実施した。

彼らはボストンコンサルティンググループから高学歴の従業員を何人か選び、分析、創造的発想、説得力などのスキルを含む 18 のタスクテストを完了するために AI を使用するよう依頼しました。

結果によると、もともとチームの下位半分に属していたコンサルタントは AI の助けにより成果が 43% 向上したのに対し、通常は上位半分に属していたコンサルタントは成果が 17% しか向上しなかったことがわかりました。

GPT-4 を使用する前は、トップパフォーマーとその他のパフォーマーの間の平均ギャップは 22% でしたが、使用後はこのギャップが 4% に大幅に減少しました。

MITの調査でも、ChatGPTを使用した後、高レベルライターと低レベルライターのパフォーマンスの差が半分に減少したことが示されました。

同様の現象は、創作の分野でも見られています。ロンドン大学ユニバーシティ・カレッジとエクセター大学の研究者による実験では、創作作家間のスキル格差が縮まり、GPT-4 が提供する 5 つの創作インスピレーションが「さまざまなレベルの創作作家の創造性スコアを効果的に均衡させた」ことが示されました。

しかし、AIの使用によって人々のスキル格差を縮小できることを示した研究が複数あるにもかかわらず、論文の著者であるウォートン校のイーサン・モリック教授は次のように述べている。