USTCのニューラルネットワークとエンドツーエンドのトレーニングフレームワークは、教育環境が学生の能力に与える影響を調査する

[[424271]]

中国科学技術大学の研究者らは、教育コンテキスト認識型認知診断フレームワークを提案した。これは、ニューラルネットワークとエンドツーエンドのトレーニングフレームワークを使用して、さまざまな教育コンテキスト情報の定量的影響を適応的に学習し、既存の認知診断方法を組み合わせて診断結果を向上させるものである。

親の教育レベルは生徒の学業成績に関係しますか?家庭環境や学校の資源は生徒の能力にどの程度影響を与えるのでしょうか?教室の雰囲気、教師の態度、生徒の学習成果との間にはどのような関係があるのでしょうか?中国科学技術大学の劉奇教授のスマート教育研究チームをフォローして、同様の教育コンテキスト情報が学生の能力にどのような影響を与えるかを調べてみましょう。

• 論文アドレス: https://doi.org/10.1145/3447548.3467264
• プロジェクトアドレス: github.com/bigdata-ustc/ECD
• 研究グループのホームページ: base.ustc.edu.cn/

教育的背景と認知診断

学生の学習プロセスに関連する状況情報（学習習慣、親の教育レベル、家庭環境など）は教育コンテキスト情報と呼ばれ、教育の分野では、このコンテキスト情報は教育プロセスを理解し、教育上の問題（指導体制、教育の公平性など）を解決する上で非常に重要です。

図1: 教育環境、生徒の能力、生徒の成績

スマート教育において、認知診断は基本的かつ必要なタスクであり、生徒の情報（通常は質問への回答などの行動記録）とテスト情報（テストテキストなど）を収集して、生徒の現在の知識状態を推測します。図に示すように、学生は練習するいくつかの問題を選択し、対応する解答記録を取得しました。各問題には特定の知識ポイントが含まれています。認知診断を通じて、学生のさまざまな知識ポイントの習得度を取得できます。例えば、学生は質問 e_1 に正しく回答し、e_1 には知識ポイント「細菌」が含まれています。したがって、診断では、学生が知識ポイント「細菌」の習熟度が高いこと (たとえば、0.8 など) が示され、診断レポートのレーダー チャートの外側に近い青い線に反映されます。認知診断の結果は、教育リソースの推奨、生徒のパフォーマンス予測、学習グループのグループ化など、その後のスマート教育アプリケーションのサポートとして使用できます。

背景

状況情報またはコンテキスト情報は現在、情報検索関連分野（推奨システム、Web 検索、広告など）で広く使用されています。状況情報は、多くの場合、人の内部特性に影響を与えることで、人の外部パフォーマンスに影響を与えるという、共通の心理学的原理を反映しています。たとえば、推奨システムでは、コンテキスト情報はユーザーの本質的な好みに影響を与えることで、ユーザーの消費行動を導きます。教育分野では、教育コンテキスト情報は学生の知識状態に影響を与え、それが練習問題の解答結果に反映されます。

教育コンテキスト情報は、伝統的な教育学において長い間議論されてきました。それらは主に実証研究（仮説の提案 - データの収集 - 実験分析 - 結論の導出）の考え方を継承しています。まず、学生の成績または能力を測定基準として取得し、次に主成分分析、線形回帰などの方法を使用して、教育コンテキスト情報の役割を分析します。生徒の成績を比較するには、生徒が同じ演習を行う必要があります。そのため、大規模な状況情報分析では、従来の認知診断理論に基づいた生徒の能力が測定方法としてよく使用されます。

認知診断研究は教育心理学の分野に遡ることができ、代表的な研究としては項目反応理論（IRT）が挙げられます。近年、人工知能とスマート教育の台頭に伴い、スマート教育アプリケーションの基本タスクの1つとして、機械学習とディープラーニングに基づく認知診断方法が広く研究されています。古典的な研究には、項目反応理論を拡張した多次元項目反応理論（MIRT）と、ニューラルネットワークを使用して認知機能を学習するフレームワークである神経認知診断（NeuralCD）があります。しかし、現在の認知診断作業は、テスト関連の情報（テストの知識ポイントマトリックス、知識ポイント間の関係、テストテキストなど）のマイニングにのみ焦点を当てていることが多く、学生の学習プロセスに関連する教育コンテキスト情報にはほとんど注意が払われていません。

また、認知診断結果の利用により、教育文脈情報の分析における比較可能性の問題はある程度解決できるものの、従来の教育分野の研究方法には、エラーの伝達や影響の定量化の難しさなどの問題が依然として残っている。このような状況において、本研究では、ニューラルネットワークとエンドツーエンドのトレーニングフレームワークを使用して、さまざまな教育コンテキスト情報の定量的な影響を適応的に学習し、既存の認知診断方法を組み合わせて診断結果を向上させることを目指し、教育コンテキスト認識型認知診断フレームワークを提案します。

教育状況認識の認知診断

1. 問題の定義

学習システムには、N 人の生徒、T 個の状況情報の質問、および M 個の演習があると仮定します。学生コレクション

、状況に応じた質問集

練習問題集

。学生のコンテキスト情報レコードはトリプルとして表現される

R_qを設定します。回答レコードは次のように表されます。

集合R_e、ここで

r_q と r_e は、それぞれ状況質問 q に対する生徒 s の回答と演習 e のスコアです。

学生の記録を与えられた

この研究の目的は、学生のパフォーマンス予測のプロセスを通じて、学生の知識ポイントの習得度を取得することです。

2. 状況認識のための認知診断フレームワーク

従来の認知診断方法のほとんどには、学生パラメータ、テスト項目パラメータ、学生とテスト項目の相互作用関数の 3 つの部分が含まれており、その合理性は膨大な作業によって検証されています。一般的に、学生の回答プロセスは次のように形式化できます。

、で

、

これらは生徒の知識の状態と演習関連のパラメータ（難易度や知識ポイントなど）を表し、F は認知機能、r は生徒のパフォーマンスです。生徒の知識の状態は、さらに次のように表現できます。

ここで、Cはコンテキスト情報入力、Hはコンテキスト影響関数、

、

これらは、状況によって影響を受ける明示的な特性と、過去の学習状況によって影響を受ける生徒の固有の特性を表し、G は生徒の特性と知識の状態のマッピング関数を表します。

この研究では、教育状況モデリング段階と診断強化段階という2段階の枠組みを提案しました。

• まず、教育コンテキストモデリングの段階で、階層型注意ネットワークを使用して、コンテキスト入力が学生の知識状態に与える外部影響、つまりコンテキスト影響関数 H をモデル化することを提案します。具体的なネットワーク構造につ​​いては次のセクションで紹介します。
• 第二に、診断強化段階では、状況情報の影響を受ける明示的特性と過去の学習状況の影響を受ける内在的特性の調和として、学生のパラメータ（学生の知識状態）を形式化しました（マッピング関数G）。

このうち、d_t はネットワークによって学習された学生 ID にマッピングされた重みパラメータです。このように、コンテキスト情報表現は既存の認知診断方法（認知機能F）を拡張することができる。この研究では、認知診断の分野で古典的な IRT、MIRT、NeuralCD 法を拡張して実装しました。

図3: ECDモデルのフレームワーク

3. 状況情報モデリング

教育コンテキスト情報には、主にコンテンツの複雑さ、個人差、内部の関連性などの特性が含まれます。コンテンツの複雑さとは、教育コンテキスト情報の入力に豊富なソースからのコンテンツが含まれているという事実を指します。個人差とは、同じ状況情報が生徒に与える影響が人によって異なることを意味します。たとえば、「個別指導を受ける」という文脈情報は、一般的には生徒に良い影響を与えますが、その効果は、遊び好きな生徒よりも勤勉な生徒の方が顕著であることが多いです (遊び好きな生徒は真剣に勉強しない可能性が高いため、この良い条件を十分に活用できないためです)。本質的な相関関係とは、異なる状況情報も相互に影響を与える可能性があることを意味します。例えば、「家族の状況」も「カウンセリングを受ける」ことの有効性に影響を与える可能性があります。

上記の特徴を考慮して、本研究ではまず、入力された文脈情報を内容に応じて異なるグループに分割し、それらの影響を個別にモデル化します。第二に、本研究では注意メカニズムを使用して学生の特性と文脈情報との適合性を計算し、それによって異なる文脈情報が学生に与える影響の重みを適応的に学習します。次に、この研究では自己注意メカニズム モジュールを使用して、異なる入力間の相互影響をシミュレートしました。

図4: 埋め込み層とコンテキストフィルタリング層

具体的には、コンテキスト モデリング ネットワークには、埋め込み層、フィルタリング層、インタラクション層、集約層の 4 つのネットワーク構造層が含まれます。埋め込み層では、この研究では各コンテキスト情報入力r_qをコンテキスト影響ベクトルc^vとコンテキスト特性ベクトルc^kにマッピングし、学生ID入力tを性格ベクトルx_tにマッピングします。フィルタリング層では、コンテキスト情報セットの異なる入力に対して、本研究では学生の性格表現x_tを注意メカニズムのクエリとして使用し、コンテキスト特性表現c^kとコンテキスト影響表現c^vをそれぞれ注意メカニズムのキーと値として使用します。生徒の性格表現x_tと状況特性表現c^kのコサイン類似度を生徒と特定の状況入力との適合性として計算し、グループ内の異なる状況入力の影響度c^vとグループの状況特性c^kの重みを割り当てることで、各状況入力グループの影響度表現vと特性表現kを得ることができます。

図5: コンテキスト相互作用層とコンテキスト集約層

同様に、インタラクション層では、本研究では、各コンテキストグループの影響表現vと特徴kをそれぞれ自己注意メカニズムの値とキーとして使用し、インタラクション後の各コンテキスト入力グループの影響表現v'と特徴表現k'を取得します。最後に、集約層では、この研究では、性格表現x_tを注意メカニズムのクエリとして使用し、コンテキスト入力の各グループの影響表現v'と特徴表現k'を自己注意メカニズムの値とキーとして使用し、コンテキスト入力の各グループを集約して、コンテキスト入力が学生に与える最終的な影響表現を取得します。

。

実験

実験に使用したデータは、79の国と地域の生徒の質問票データと回答データを含む、国際学習到達度調査（PISA）2015年公開データセット（以下、PISA2015）からのものです。 PISAプロジェクトは、経済協力開発機構（OECD）が主催する国際的な生徒の学習到達度調査プロジェクトです。専門家が作成した教育コンテキスト情報に関する生徒の質問票データや、数学、理科、読解などの科目における生徒のテスト回答データが含まれています。PISA2015の主なテスト科目は理科であるため、実験では理科のテストにおける生徒の回答データを使用します。本研究では、PISA 2015の理科の解答データから、アジア、ヨーロッパ、アメリカの地域別に3つのデータセットを抽出しました。具体的なデータ前処理については、論文の内容を参照してください。次の表は、データセットの統計を示しています。

表1: データセットの統計

1. 生徒の成績予測

学生の実際の知識熟達度のラベルは入手できないため、この研究では間接的な方法を使用して診断結果の精度を測定します。つまり、学生の診断結果を使用して、非トレーニングデータでのテストスコアを予測します。これは、従来の認知診断モデルでも一般的な方法です。この研究実験のベースラインには 2 つのカテゴリがあります。1 つは、コンテキスト情報強化のない従来の認知ターゲティング モデル (NeuralCD、IRT、MIRT など) であり、もう 1 つは、従来のコンテキスト モデリング ネットワーク (Deep FM や NeuralFM ネットワークなど) を使用してコンテキスト情報の影響をモデル化する、この研究の 2 段階フレームワークに基づくモデルです。実験結果を次の表に示します。本研究の ECD-NeuralCD、ECD-IRT、および ECD-MIRT モデルは、異なる地域のデータ セットにおける 2 つのベースラインと比較して大幅な改善を達成しました。さらに、さまざまなデータ セット上のランダム モデル (ランダム) の AUC は約 0.5 であり、データ セットのサンプル分布が妥当であることが確認されます。

表2: 生徒の成績予測

2. アブレーション実験

本研究では、状況モデリングネットワーク構造の合理性を証明するために、状況モデリングネットワーク内の各ネットワーク層を加算層に置き換えるアブレーション実験を行った。結果を次の表に示す。ネットワークの任意のレイヤーを置き換えると、最終的な実験効果は減少し、集約レイヤーの影響が最も顕著になります。

表3: アブレーション実験

3. パラメータ解釈実験

モデルの解釈可能性をさらに説明するために、この研究では、性格ベクトルの視覚化実験、フィルタ層の注意モジュールの視覚化実験、およびコンテキスト情報の影響を受ける明示的な特性の重みの統計実験というパラメータ解釈実験も実施しました。

1) 性格ベクトルの可視化実験

この研究では、まずt-SNEを使用して学生の性格ベクトルの次元を削減し、それを散布点として視覚化しました。次に、視覚化図に示すように、各散布点は、演習における学生の平均得点率（0〜1）に応じて色分けされました。学習した性格ベクトルの分布と生徒の平均得点率の間には相関関係があることがわかり、これは研究者の直感と一致しています。

図6: 生徒の性格ベクトルの視覚的分析

2) フィルタ層アテンションモジュールの可視化

この研究では、一部の学生の文脈入力の注目度重みを選択して視覚化しましたが、そのうち、0～4番の学生は平均得点率が低く、5～9番の学生は得点率が高かったです。研究者らは、対応する状況入力エンコーディング（同じ状況情報の場合、入力エンコーディングが大きいほど、学生の知識状態にプラスの影響を与える）も図に視覚化しました。 「本」情報の横方向の比較から、スコアが低い学生はより否定的な入力に重点を置いているのに対し、スコアが高い学生はより肯定的な入力に重点を置いていることがわかります。4 番、8 番、9 番の学生の縦方向の比較からも同様の結論を導き出すことができます。これは、注意モジュールが状況情報と生徒の性格との適合性をシミュレートしていることを示しています。

図7: 注意の視覚化

3) 状況の影響の重み

この研究では、異なるECDモデルの実装とECD-MIRTのいくつかの領域におけるさまざまな学生パラメータの分布を統計的に分析しました。結果は、d_tの大部分が約0.5（0.4〜0.6）であることを示しており、文脈情報の影響の明示的な特性と学生の過去の学習状況の内在的特性が、学生の最終的な知識状態に重要な影響を与えることを示しています。

図8: 状況別重み分析

4. 地域比較実験

最後に、本研究では、コンテキスト集約層における異なるコンテンツのコンテキスト影響の注目度重みをカウントし、各学生の上位3つの重要なコンテキスト情報をカウントし、地域別の統計を分析しました。結果は次の表に示されています。興味深い発見がいくつかあります。家庭環境 (Home ESCS) や情報通信技術 (ICT) に関連するコンテキストなど、教育リソースに関連するコンテキスト情報はすべての地域で重要です (PS: この分野のコンテキスト情報は米国地域では欠落しています)。中国と韓国の人々は、両親の教育レベルを気にします。研究者は、これは中国と韓国の大学入試制度や雰囲気が似ていることに関係しているのではないかと推測しています。欧米地域では「学校学習」と学校学習に関連する「教師の態度」に高い注目が集まっているのに対し、アジア地域ではこれらにあまり注目が集まっていない。研究者らは、これは指導モデルと指導目標の違いに関係しているのではないかと推測している。

表4: 地域別の関心のあるコンテキスト情報

スマート教育の台頭に伴い、認知診断理論は広く研究され、発展してきました。認知診断の結果は、教育コンテキスト情報分析のための柔軟な測定指標を提供することができます。しかし、従来の教育実証研究アプローチは、定量化の難しさやエラーの伝達という欠点があるため、現在の多分野にわたる大規模データシナリオには適していません。エンドツーエンドのネットワークフレームワークに基づいて、教育コンテキスト情報を使用して認知診断を支援し、教育コンテキスト情報の役割を分析することは、検討する価値のある方向性です。