AI「メンター」がハーバード大学に入学！ CS コースの 7x24 時間の個別指導、RAG は AI 教育のパズルの最後のピースになるかもしれない

昨年、ハーバード大学は大きなことを成し遂げました。

彼らは CS50 コースに AI ツールの完全なセットを導入しました。これは学生向けのパーソナライズされた「メンター」と見なすことができます。

当初、このツールはサマースクールに通う約 70 人の学生に役立ちました。その後、徐々に開放され、何千人ものオンライン学生が自分の学習指導者を持つことができるようになりました。

秋には、キャンパス内の何百人もの学生に AI ツールが公開され、反響は圧倒的でした。

本日は、論文を使用して、この AI ツール セットの開発プロセスをすべての読者と友人に詳しく紹介します。すべての学生がこのことから大きな恩恵を受けることができると信じています。

ハーバードパーソナルAIチューター

まず、学生が検索エンジンを使用して直接回答や教材を入手する従来の学習プロセスとは異なり、このツールセットの設計コンセプトは、学生が自主的に問題の解決策を模索できるように導くことであり、回答を直接提示することはタブーです。

これは、学生がこのツールが宣伝されるとすぐに気に入り、自分のパーソナルチューターと比較する理由でもあります。

ハーバード大学の研究によると、人工知能を教育に戦略的に統合することで、生徒に継続的な個別サポートを提供でき、学習プロセス全体が魅力的になるだけでなく、実際の教師が多くの複雑な教育問題を解決するのにも役立ちます。

しかし、詳細な紹介に入る前に、AI が教育エコシステムをどのように変えたかについては、皆さんすでによくご存知だと思います。

正直に言うと、AI が教育に与える影響に関しては、肯定的な期待と同じくらい否定的な懸念もあります。

これまで、学生が生成 AI を使って自分で宿題を書いたり、論文を完成したりするケースは数多くありました。明らかに、これは教育の基本的な目的に反します。そのため、コースの課題を完了するために AI を使用することを明示的に禁止することを選択する教師が増えています。

したがって、この問題を回避するために、ハーバード大学は学術的誠実性を維持し、より有意義な学習プロセスを促進するためのいくつかの安全策を講じました。

彼らはまた、CS50 コース専用に開発された AI チャットボットもテストしました。これはゴム製のアヒルの形で提供され、CS50 Duck (または CS50.ai) と呼ばれています。

ハーバード大学によれば、このシステムは学生と教員の比率を1:1にするという最終目標を達成するために設計されたという。

開発プロセス

Google は当初、シンプルな概念実証機能を追求し、その後、徐々により高度なプロジェクトへと進化しました。最終的な目標は、もちろん、学生が CS50 コースを学習するのに役立つ包括的なツール セットを提供することです。

現在、これらのツールには以下が含まれます。

1) コードの説明を強調表示 - すばやく簡単に理解できるコードの説明

2) Style50拡張バージョン - さまざまなコードスタイルを評価するために使用

3) CS50 Duck — 複数のプラットフォームでコース関連の質問に答えるチャットボット。

これらのツールはすべて、統合 Web アプリケーション CS50.ai によって実行されます。 CS50.ai には、AI が生成した高速かつ正確な応答を提供することに加えて、「教育用ガードレール」と呼ばれる機能も組み込まれています。これは文字通り「教育用フェンス」を意味します。その目的は、直接回答を提供することではなく、学生が学習できるように導くことです。

コードの説明を強調表示するという点では、ハーバード大学は、人間の教師の動作を模倣し、学生にコード スニペットの簡単な説明を提供するための VS Code 拡張機能を作成しました。

学生が行う必要があるのは非常に簡単で、1 行または数行のコードを選択するだけです。

このツールは、CS50 の既存の正確性テスト ツール Check50 を補完し、コード セマンティクスに関連する問題を迅速に説明できます。

このように、より便利で正確なコードの説明により、学生は学習効率を向上させ、コードの設計方法などのより高度な問題に集中できるようになります。コードの解釈のような低レベルの問題ではなく。

style50 コード スタイル分析は、コード スタイルをチェックするだけでなく、学生がコードを改善するのにも役立ちます。

プレゼンテーションの面では、最新バージョンの style50 では、生徒の最初のバージョンと改善されたバージョンが比較され、変更が行われた場所、変更が行われた理由、変更後の改善点が生徒により明確にわかるようになります。

同時に、学生はワンクリックで自然言語で説明されたテキストを生成することができ、自分で分析しなくても一目で理解できるようになります。

インタラクティブ性という点では、このシステムは本当によくできていると言わざるを得ません。

前述のように、このシステムのバックエンドは CS50.ai によってサポートされているため、さまざまな部分間で一貫性が保たれます。

同時に、ハーバード大学は学生により良い体験を提供するために、ChatGPTの形式を模倣し、やはり対話形式を採用したCS50 Duckという独立したウェブサイトを開発しました。下の図に示すように、学生はGPT-4と直接対話することができます。

写真

CS50 Duck は、次の図に示すように、CS50.ai Web サイト経由と個別の VS Code 拡張機能の 2 つの方法で使用できます。

写真

ハーバード大学は、教育支援を提供するために、常にサードパーティのプラットフォーム Ed を CS コースのオンライン ディスカッション プラットフォームとして使用してきました。

Ed を通じて、学生は質問したり、コースを受講しているスタッフやクラスメートから指導を受けることができるため、ディスカッションが効率化され、質問の繰り返しが最小限に抑えられ、クラスメート間のコラボレーションが促進されます。

Ed の機能をさらに向上させるために、新しいバージョンでは、開発者は CS50 Duck の HTTP リクエスト機能を活用し、それをプラットフォームに統合しました (下の図を参照)。

チャットボット CS50 Duck も参加して質問に答えます。 CS50.ai アプリで作成された CS50 Duck on Ed 専用の API エンドポイントを通じて、開発者は GPT-4 によって出力される応答を制御し、CS50 Duck の出力が単に学生の質問に直接答えるのではなく、コースの設定や教育理念と一致するようにすることができます。

写真

CS50 Duck へのすべての回答は、人間のスタッフが確認できるように設定されており、スタッフが回答を変更または削除できます。

学生の質問はまず CS50.ai に転送されます。このうち、個人を特定できる情報はすべて削除されます。その後、質問はさらに構造化された質問に処理され、プロンプトになります。

これらのプロンプトは、特定のコースの設計とガイドラインに基づいて作成され、GPT-4 がより高い精度で回答を生成し、コンテキスト理解で「満点」を達成できるようにすることを目指しています。

さらに、Ed プラットフォームからの質問に対して、CS50.ai は応答を生成する際に、検索拡張生成 (RAG) と呼ばれるテクノロジーを使用します。

RAG は、外部ソースから取得した情報と知識を使用して、LLM 生成コンテンツの精度と信頼性を向上させ、幻覚の発生を減らします。

関連情報がプロンプトに追加され、GPT-4 はより正確で文脈に応じた応答を生成できるようになります。

この観点から、CS50.ai と GPT-4 は連携して、学生に正確で効果的な回答を迅速に提供します。

写真

言及する価値のあるもう一つの非常に興味深い点があります。

注意深い読者なら、上のチャット インターフェイスの小さなアヒルの横に 5 つの小さなハートがあり、そのうちの 1 つは半分しかないことに気付いたはずです。

写真

見覚えがありますか？ そういうゲームをプレイしているときに、キャラクターの横に表示されるライフカウンターのようなものです。

これもこのシステムの革新の一つです。

CS50.ai は、小さなハートを視覚化することでスロットル メカニズムを実装します。各生徒は 10 個の小さなハート (実際には完全なハート 5 個と半分のハート 10 個) から開始し、3 分ごとに 1 つずつ回復します。

頻繁なスパム入力を防ぐために、CS50 Duck とのやり取りごとにハートが 1 つ消費されます。

コスト面から考えると、CS50.ai の運用コスト削減につながります。結局、GPT-4 にメッセージを送信すると料金が発生します。購入した友人は、この点に気付いているはずです。

第二に、このメカニズムは学生にとっても貴重な教育的意義を持っています。送信できるメッセージの数に制限があるため、生徒は質問をする前に慎重に考える必要があり、生徒と CS50 Duck 間のやり取りがより効率的かつ高品質になります。

基本的な目的は、学習そのものにとって極めて重要な、生徒が自主的に問題を解決し、重要な疑問を正確に提起する能力を養うことにあります。

また、学習に夢中になっている生徒の中には、立ち止まってペースを落とし、これまでの学習プロセスをよく見直し、復習して少し休憩を取ることも可能になります。

RAGは幻覚をなくす鍵

この RAG についてもう少し説明しましょう。

LLM が時々幻覚を起こすことは誰もが知っています。

これは、AI モデルが大量のテキスト データでトレーニングされ、事実の正確さに必ずしも注意を払わずに流暢にテキストを生成することを学習するためです。

さらに、LLM にはいわゆる知識カットオフ ポイントがある場合があり、これにより、最新のトレーニング セッションの前に学習した内容に情報が制限され、リアルタイムの更新や、そのトレーニング セッション以降に発生した新しいコンテンツを入手できなくなります。

RAG はこの問題を非常にうまく解決できます。ハーバード大学の開発者は、OpenAI の Embeddings API を活用して CS50 のテキスト埋め込みを作成し、現実世界の外部データ ソースを作成しました。

これらの埋め込みは、機械学習アルゴリズムがデータをより効果的に解釈して活用するための意味論的意味を捉えるベクトル表現（つまり、数値）です。

データ準備プロセス全体は、コース講義の英語字幕を 30 秒の短い独立したセグメントに分割し、OpenAI の text-embedding-ada-002 モデルを使用してこれらのセグメントの埋め込みを作成し、結果を ChromaDB ベクター データベースに保存することから構成されます。

次に、開発者は、生徒からの質問ごとに新しい埋め込みを作成し、ベクター データベースで埋め込みを検索して、関連性によってランク付けされたコンテンツを取得します。

この方法により、幻覚の発生を最大限に回避することができます。

写真

学生のフィードバックセットの精度

使用した学生からのフィードバックから判断すると、このシステムは成功していると言えます。

生徒の中には、質問に答える際の AI ロボットの率直さがとても気に入ったという人もいました。AI ロボットは個人的な感情を含んだコメントをしたり、あなたの質問が愚かであると考えたりして優越感を示したりすることはありませんでした。最も愚かな質問にも平等に答えます。

また、AI時代においては、ChatGPTは必然的に学習プロセスを怠らせることになるだろうと語る学生もいました。カスタマイズされたCS50.aiを使用すると、AIへの過度の依存の問題を回避しながらAIを活用できます。

ハーバード大学は、キャンパス内で行われた 2 つの調査で、約 500 人の学生にインタビューを行い、CS50ai の使用頻度とその使用経験について調査しました。

結果によると、学生の 17% がこれらのツールを週 10 回以上使用し、32% が週 5 ～ 10 回、26% が週 2 ～ 5 回、25% が週 2 回未満使用していました。

さらに、ほとんどの学生はコースの AI ツールが役に立つと感じました。データによると、学生の 47% が非常に有用であると考え、26% が有用であると考え、21% がやや有用であると考えています。しかし、6％の学生はそれが役に立たないと考えています。彼らはまだそれに慣れていないかもしれませんし、すでに非常に上手なので、学習を助ける AI を必要としないかもしれません。

これを使用した多くの学生は、CS50 Duck を擬人化し、この小さな動物を良き友人とみなしています。ハーバード大学は、これはこのシステムとこのイメージを設計した当初の意図と一致していると述べた。

しかし、一部の学生は依然として、前述の節約という考え方に反対しており、制限なく質問する方が良いと感じています。しかし、ハーバード大学のYu Ji氏はこの部分には変更を加えないつもりだ。

CS50 Duck の Ed でのパフォーマンスを評価するために、開発者はチーム外の上級開発者を招待し、CS50.ai によって生成された応答をレビューしてもらいました。

夏休み中、CS50 Duck は Ed に合計 64 件の回答を投稿しました。そのうち 25 件はコースの内容に関連し、残りの 39 件は管理に関連するものでした。

コース内容に関する質問に対する 25 件の回答のうち 22 件 (88%) が正確であり、管理上の問題に関する質問に対する 39 件の回答のうち 30 件 (77%) が正確でした。

時間が経つにつれて、CS50 コースのシラバスは絶えず変化し、GPT-4 はコースの最新の変更と同期しなくなります。

今後は RAG の使用範囲が拡大し、CS50.ai システムも継続的に最適化される予定です。

参考文献:

https://cs.harvard.edu/malan/publications/V1fp0567-liu.pdf