研究によると、ChatGPT は科学的仮説の偽のデータセットを生成し、学術的誠実性に脅威を与える可能性がある。

ネイチャー誌は11月24日、現地時間水曜日に、今月初めに米国医師会眼科学会誌に掲載された論文で、著者らがチャットボットGPT-4と高度なデータ分析ツールADAを使用して、「未確認」の科学的主張を裏付けるための偽の臨床試験データセットを作成したと報じた。

IT ホーム 注: ADA は、統計分析を実行し、視覚的なデータを作成するために使用できる、Python と組み合わせたモデルです。

報道によると、論文の著者らは、GPT-4とADAに角膜炎患者のデータセットを生成し、「視力と眼の画像検査の点では、深部前角膜移植術（DALK）の方が全層角膜移植術（PK）よりも優れている」という結論を裏付けるよう依頼したという。

AIが生成したデータには、男性参加者160人と女性参加者140人の実験結果が含まれており、上記の結論を裏付けましたが、この結果は実際の臨床試験で示された結果とは一致しませんでした。

専門家らは偽造データセットを詳細に調査し、明らかな捏造の兆候を発見した。 「少なくとも表面的にはもっともらしく見えるデータセットを作成するのは簡単だ。そして、訓練を受けていない目には、それが本物のデータセットに『違いない』と映る」と、英国マンチェスター大学の生物統計学者ジャック・ウィルキンソン氏は言う。

研究の著者らは、データセットを「綿密に調べた結果」には欠陥があったことを認めたが、データセットをざっと見ただけでは、データ内の人間以外の情報源を「特定するのは困難」になるだろうと述べた。

AIによって捏造された「信頼できるデータ」により、研究者やジャーナル編集者の間で学術研究の誠実性に対する懸念が高まっている。ジャーナル「EMBO Reports」の編集長ベルント・プルベラー氏は、「現実世界の査読では、データの包括的な再分析が行われないことが多く、そのため、AIを使用して慎重に設計された整合性の抜け穴を検出する可能性は低い」と述べた。同氏は、ジャーナルはAIによって生成された合成データを識別するために品質チェックを更新する必要があると付け加えた。