科学：ChatGPTは労働者と非労働者の間の格差を縮小する

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

サイエンス誌は、ChatGPTに関する調査レポート「生成型人工知能が生産性に与える影響の実験的証拠」を発表しました。

一部の事務作業では、ChatGPT は時間を 40% 節約し、パフォーマンスを 18% 向上させるだけでなく、異なる人の間でのパフォーマンスの差も減らします。

写真

MIT関係者もこの研究結果を報告した。

写真

対照群も秘密裏に

合計 453 人の被験者がこの実験に招待され、実験グループと対照グループに分けられました。

被験者はさまざまな分野の高度な教育を受けた専門家でした。

2 つのグループの人々の給与水準、職業、その他の情報は、次の表に示されています。

写真

1か月にわたる実験中、被験者はキャリアに関連した文章作成課題を完了するよう求められました。

これらのタスクには、プレスリリース、短いレポート、分析計画、電子メールの作成が含まれ、所要時間は約 20 ～ 30 分です。

評価指標には効率性と品質が含まれており、各結果は関連分野の専門家 3 名に提出され、ブラインド評価 (1 ～ 7 点) が行われます。

結果、実験グループが要した時間は 0.75 標準偏差 (約 11 分) 短縮され、スコアは 0.41 標準偏差増加したことが示されました。

パーセンテージに換算すると、時間短縮と品質向上はそれぞれ 40% と 18% となります。

写真

具体的には、実験グループには最初にタスクを完了するよう割り当てられ、その後 ChatGPT (バージョン 3.5) に登録されました。

ChatGPT が役に立つと感じた場合は、2 番目のタスクで使用するように指示されました。

対照群には LaTex エディターを登録するように求められましたが (登録の複雑さは ChatGPT と同程度でした)、同様の通知は提供されませんでした。

その結果、実験グループの 80% が 2 番目のタスクで ChatGPT を使用し、対照グループでは 5% 未満が LaTex ツールを使用しました。

2 番目のタスクでは、実験グループは平均 17 分かかり、対照グループよりも 10 分短くなりました。

品質の面では、実験グループの平均スコアは 4.53 でしたが、対照グループの平均スコアは 3.802 でした。

写真

ChatGPT は、品質と効率性を向上させるだけでなく、人によって異なる作業品質の差も減らします。

次に研究者らは、被験者が最初のタスクをどれだけうまく完了したかに基づいて、2 番目のタスクのスコアに線形近似を実行しました。

結果は、実験グループのスコアのフィッティング傾きが 0.414 であり、対照グループのスコアよりも 0.272 低いことを示しました。

写真

では、これらの人々は ChatGPT をどのように使用しているのでしょうか?出力はそのまま使用されるのでしょうか、それとも微調整のみされるのでしょうか、それともドラフトとしてのみ使用されるのでしょうか?

追跡結果によると、被験者の 33% がオリジナルの ChatGPT 結果を提出し、53% が修正を加えたことがわかりました。

ただし、これらの変更は、フォーマットを調整するだけなど、非常に小さなものである可能性があります。

この結論に至る理由は、ChatGPT で返信を生成した後の平均アクティビティがわずか 3.3 分であり、そのほとんどが 0 ～ 2 分の間に収まっているためです。

写真

注目すべきは、実験が始まる前に、被験者の 70% が ChatGPT について聞いたことがあり、32% が以前に使用したことがあるということです。

そのため、実験中に研究者は、対照群の10〜20％の人々もChatGPTを使用していたことを発見しました。

この現象は実験結果に一定の影響を及ぼしたため、研究者らは統計的手法を用いてこれを修正した。

実験後、研究者らは被験者に対して2回の追跡調査を実施し、それぞれ92%と83%の被験者が回答した。

写真

最初の追跡調査は実験終了から2週間後に行われ、実験グループと対照グループのそれぞれ34％と18％がまだChatGPTを使用していました。

実験終了から2か月後の6週間後、これらの数字はそれぞれ42%と27%に上昇しました。

まとめると、研究者たちはChatGPTが仕事の質と効率性の向上に重要な役割を果たすと考えていますが、それが人間に取って代わることができるかどうかはまだ不明です。

著者について

この研究は、MITの中国系アメリカ人経済学博士課程の学生ホイットニー・チャンさんと彼女のクラスメートであるシャケド・ノイさんによって行われた。

張氏は2017年からMITで学んでおり、現在は行動経済学や経済学の他の分野を研究しています。

張さんはボストン中国コミュニティカレッジの新入生支援プログラムのメンターも務めている。

ノイ氏はニュージーランド出身で、2022年にMITに入学し、経済学の博士号を取得する予定です。

論文アドレス: https://www.science.org/doi/10.1126/science.adh2586