調査によると、ChatGPTはプログラミングの質問に答える際に50%以上のエラー率があることが判明

米パデュー大学の調査によると、OpenAIが開発した人工知能チャットボット「ChatGPT」は、ソフトウェアプログラミングの質問に答える際に誤り率が半分以上あり、質問者の3分の1を騙す可能性があることが判明した。

研究チームは、Stack Overflow ウェブサイト上の 517 件の質問に対する ChatGPT の回答を分析し、その正確性、一貫性、包括性、簡潔性を評価しました。また、回答の言語と感情の分析を実施し、12人のボランティア参加者を対象にアンケート調査を実施しました。調査報告書では、 ChatGPT の回答の言語スタイルは良好であったものの、回答の 52% が誤りであり、77% が長すぎると結論付けられました。参加者は、明らかな場合のみ、回答の誤りを認識することができました。そうしないと、ChatGPT のフレンドリーで権威があり、詳細な言語スタイルに惑わされてしまいます。

Stack Overflow は、プログラマー向けの質疑応答サービスを提供する Web サイトであり、開発者がコード スニペットを入手して問題を解決するための重要な情報源と考えられています。しかし、近年、同サイトはトラフィックの減少、コンテンツの質の低下、ユーザーの信頼の低下といった問題にも直面している。 SimilarWebの4月のレポートによると、同サイトの月間トラフィックは2022年1月以降6%減少し、3月には13.9%減少しており、その減少の理由の1つはChatGPTだった可能性がある。 Stack OverflowはSimilarWebの評価に異議を唱え、そのトラフィックは検索アルゴリズムとChatGPTへの関心の高まりの影響を受けたと述べた。

OpenAIは、自社のChatGPTウェブサイトで、同社のソフトウェアが「人物、場所、事実について不正確な情報を生成する可能性がある」と認めた。記事執筆時点で、同社はまだパデュー大学の研究に反応していない。