生徒のエッセイ採点における新たな傾向: 教師と AI の共同モデル

テクノロジーが進歩するにつれ、それが従来の人間の仕事をどのように変えたり、置き換えたりするのかという疑問が長年続いています。スーパーマーケットのセルフサービスチェックアウトから、医療スキャンで重篤な病気を検出する AI の能力まで、あらゆる分野の労働者は、自分の仕事の一部を代替できるツールとともに働くようになっています。パンデミックにより教室での AI ツールの導入が加速し、この傾向は衰えることなく、教育は AI などのツールと専門的な作業を共有する新たな分野となりました。

私たちは、教育における AI の具体的な応用、つまり学生の学習成果の評価に強い関心を抱いています。生徒の課題の採点とフィードバックは、多くの場合、教師の多くの時間を費やすため、多くの教師はより重要なライティング課題を割り当てることができません。同時に、生徒は成績とフィードバックを受け取るまで長い時間待たなければならないことがよくあります。この場合、AI が生徒の宿題の評価に役立つと、間違いなく多くの時間を節約し、学習効率を向上させることができます。しかし、私たちはまた、AI 採点およびフィードバック システムが実際の教師と同じくらい効果的に生徒を助けることができるかどうかという疑問についても考えています。

教師は「何を言おうとしているのですか？よく分かりません」と尋ねます。AI は、生徒が表現したいことの本当の意味を理解しようとするのではなく、文章のプロセスと形式を修正し、すでに発生している問題を修正しようとします。

私たちは最近、中学生が設定されたエッセイの質問に応じてエッセイを書き、提出し、修正できるようにする AI プラットフォームの評価を実施しました。生徒がエッセイを提出するたびに、エッセイの改善に役立つよう、4つのライティング領域（議論と焦点、裏付けと証拠、構成、言語、スタイル）における習熟度（1～4点）に基づいてAIからスコアと提案が即座に表示されます。

AIによる採点とフィードバックを実際の教師による採点とフィードバックと比較するために、2021～2022年度にプラットフォームを使用した中学校の作文教師16名を対面ミーティングに招待しました。採点基準を正確に理解し、適用していることを確認した後、各教師に、自分の生徒が書いたものではないエッセイをランダムに 10 個評価し、フィードバックを提供するように依頼しました。その結果、160 のエッセイが教師によって評価され、AI の評価とフィードバックと比較されました。

教師の採点結果は AI の採点結果と似ていますか、それとも違いますか?

平均すると、教師は AI よりも低い点数をエッセイに付けていることがわかりました。提案と焦点を除けば、あらゆる点で教師と AI の間には大きな違いがあります。全体的に、4つの側面の合計スコア（最小4点、最大16点）で見ると、160件の記事に対する教師の平均スコアは7.6点であったのに対し、同じグループの記事に対するAIの平均スコアは8.8点であった。具体的には、「主張と焦点」と「裏付けと証拠」の点では、教師と AI は高得点 (4 点) の記事と低得点 (1 点) の記事については一致する傾向がありましたが、中間の得点については意見が異なりました。教師はエッセイに 2 点のスコアを付ける傾向が強かったのに対し、AI はエッセイに 3 点のスコアを付ける傾向が強かった。一方、構成と言語スタイルに関しては、教師は記事に1または2のスコアを付ける傾向が強かったのに対し、AIのスコアは1から4の間に分布し、3または4を付けられた記事の方が多かった。

先生が書いたコメントは AI が出したコメントと似ていますか、それとも違いますか?

16 人の教師との面談では、10 のエッセイに対する採点とフィードバックについて話し合う機会を与えました。これらのエッセイについて具体的に話す前に、私たちは共通の意見を聞きました。昨年、授業でこの採点プログラムを使用した際、ほとんどの学生は AI によるコメントを理解して解釈するのに助けが必要だったということです。たとえば、多くの場合、生徒はレビューを読んでも、自分の文章をどのように改善すればよいかわかりません。そのため、教師たちによれば、顕著な変化の一つは、生徒の理解度に応じてより適切な言葉でコメントを表現できるようになったことだという。

「議論の中で、コメントやフィードバックに関して AI がいかにフレンドリーになれるかについて考えました。今の子供たちは直接的でリアルなフィードバックに慣れています。彼らは常に自尊心を満たす必要はなく、むしろ問題を解決してもらいたいと思っています。ですから、常に自慢することではなく、率直であることが重要です。」

私たちが発見したもう一つの違いは、教師はエッセイ全体の質、つまりエッセイの流れ、調子、単に要約しているのか議論を深めているのか、証拠が議論と一致しているのか、そして全体が一貫しているのかにもっと注意を払っていたことです。教師たちは、主張と焦点、裏付けと証拠の側面に焦点を当てると、エッセイ全体を見ることができるため、エッセイに2を与える可能性が高くなると説明しました。多くのAIはエッセイ全体ではなく文のレベルでトレーニングされているため、これは実際にはできません。

教師は AI とは異なり、テキスト全体の順序と流れを理解できるため、構成をより厳密に評価します。たとえば、教師たちは、AI が接続詞を見つけたり、構成を良くするために接続詞をもっと使うように生徒に提案したりするかもしれないが、接続詞が実際にスムーズに機能しているか、それとも単に無関係な文のグループに挿入されているだけなのかは教師が確認できると話しました。言語と文体に関して、教師たちは、例えば一見複雑そうな語彙を使うことでAIが混乱しやすい問題を再び指摘した。AIはそれを印象づけるかもしれないが、教師はそれを文を作ったり考えを表現したりできない単なる単語の羅列と見なすだろう。

AIは教師の採点に役立ちますか?

生徒の作品を評価することは、特に生徒が書くことを学んでいる場合、教育において非常に重要かつ時間のかかる部分です。生徒が自信を持って熟練したライターになるためには、頻繁な練習とタイムリーなフィードバックが必要です。しかし、ほとんどの教師は計画や採点に時間を割くことができず、また、仕事と家庭のバランスを保ちながら、定期的なまたは長文の作文課題をスケジュールするには生徒が多すぎます。

AIは教師の負担を軽減する上で非常に重要です。私たちの予備調査では、教師と AI の評価には若干の違いがあることがわかりましたが、AI システムが教師と同じように生徒のエッセイを総合的に見て、生徒の成長や特定の状況に合わせてフィードバックを提供し、生徒がこれらのコメントに自主的に反応できるようにすれば、AI は確かに教師の採点に役立つと考えています。私たちは、これらの分野で AI を改善することは、教師の採点負担を軽減するだけでなく、生徒がより多くの文章を書く機会を得て、タイムリーで役立つフィードバックを受け取れるようにし、ライターとしての成長を促進するという点でも非常に価値があると考えています。