AIは英語のエッセイを添削できますか？ IELTS、CET-4、CET-6の採点、コメント、エラー修正が必要です

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

私はテクノロジー系の編集者です。最近、海外の有力者とのメールのやり取りの中で、レベル6の試験に合格してから自分の英語の文章力はどんどん下がっていると感じました。

従属節はどのように使うのでしょうか?時制は正しいですか？向かいの編集者の鋭い目を見て、私はその時、なぜ毎日一生懸命勉強して働かないのかと本当に自問したくなりました。

そこで、英語のライティングをしっかり勉強しようと決意しました！

スキルを向上させたいなら、自分で書かないとどうしても物足りなさを感じてしまいます。

それで、質問は：文章は良いですか？誰がそれを修正するのを手伝ってくれるでしょうか？

実際、小学校、中学、CET-4、CET-6、IELTS、TOEFLと英語を学び始めてから、英語のライティングを向上させる方法は常に難しい問題でした。

特に各種試験には厳しい採点基準がありますが、どうすれば経験豊富な試験官が常に近くにいて、的を絞った復習や改善を手伝ってくれるのでしょうか。

私の悩みを聞いたNetEase Youdaoの友人が私に手を振ってこう言いました。「私の携帯のこの赤いアプリを見てください。英語のエッセイの添削を手伝ってくれる新しいAIが搭載されています。」

はい、AIが本当に正確に採点し、修正の提案までしてくれるのであれば、私のような学生はいつでもどこでも英語のライティングを練習できるのではないでしょうか？

少し調べてみると、NetEase Youdao Dictionary、Microsoft iWriting (Xiaoying)、BiGai.com、Grammarly など、AI による英語エッセイ修正機能を備えた製品がかなりあることがわかりました。

家にいる大人も子どもも同じ悩みを抱えているかもしれないと思い、これらのAIが信頼できるものかどうかを自分でテストしてみることにしました。

エッセイの採点に最も優れた AI はどれでしょうか?

最初のスクリーニングの後、評価対象として、NetEase Youdao Dictionary AI Essay Correction、Microsoft Love Writing、Grammarly Free Edition という、無料で使いやすい候補をいくつか選びました。

では、これ以上何も言わずに、すぐにゲームを始めましょう。

ラウンド1: 手書き認識

たとえば、小中学校の英語試験、CET-4 と CET-6、大学院入学試験、IELTS と TOEFL はすべて紙に書くことが求められるため、練習するときは、生徒は手書きを選択することがよくあります。

一度書いてまた入力するのはちょっと面倒。写真を撮っておけばAIが勝手に書いたものを認識してくれるので、すごく便利になります。

Youdao AIエッセイ添削とMicrosoft iWritingはどちらも画像認識機能をサポートしています。 Grammarlyに関しては…この機能がないため、このプレイヤーは一時的に撤退することを選択しました。

私は全力を尽くし、非標準の試験フォントを使用してエッセイを書き写し、2人の出場者をテストしました。

まず、Youdao AI エッセイ添削のパフォーマンスを見てみましょう。

認識精度はかなり高く、修正箇所でも誤認識はありませんでした。手動で修正する必要があった数箇所は、基本的に手書き時に文字間のスペースが大きすぎたために、認識時に 2 つの単語になってしまったためです。

Microsoft Xiaoying の結果を見てみましょう。

私がタイトルを書いていなかったので、シャオインは最初の段落をタイトルとして認識するように強制しました。この点を無視すれば、認識精度は依然として非常に高くなります。ただし、句読点の認識は Youdao AI エッセイ採点 (上の図で赤でマーク) ほど敏感ではありません。

小さな問題もあります。2つの単語を離して書くと、Xiaoyingは余分なスペースを認識します。慎重にチェックしないと、次のステップの採点の精度に影響します。

さらに、ウェブ版しかないMicrosoft iWriterと比較すると、携帯電話のYoudao辞書は認識のために写真を直接撮ることができるため、写真をコンピュータに転送する必要がなく、より便利です。

第2ラウンド: エラー修正

OCR がユーザーの利便性に影響する細部に過ぎないとすれば、AI エッセイ修正の焦点は、もちろん、エッセイ内のバグを正確に検出できるかどうかです。

Youdao AIエッセイ修正、Microsoft Xiaoying、Grammarlyはいずれも、テキスト内の文法エラーを識別し、修正を提案する機能を備えています。

このラウンドでは、いくつかの単一の文を使用して、誰がより優れたデバッグ能力を持っているかをテストします。

例 1: 少女が立ち去ろうとしたとき、木の上に年老いた物乞いがいて、怒って冷たい表情をしていた。

時制の誤りやスペルの誤りがあります。

Youdao は 4 つのエラーを発見しました:

具体的な判断は、①不適切な表現の疑いがあるため、「will leave」を「left」に修正することを推奨します。②動詞の時制エラーの疑いがあるため、「fount」を「found」に修正することを推奨します。③名詞の誤用が疑われるため、「begger」を「beggar」に修正することを推奨します。④前置詞「at」が冗長である疑いがあるため、削除することを推奨します。

Microsoft Xiaoying に質問したところ、これら 4 つのエラーも見つかり、単語の置き換えの提案も表示されました。

具体的な判断は、①動詞の時制が間違っているので、「will leave」を「left」に修正する。②動詞の使い方が間違っているので、「fount」を「found」に修正する。③単語の綴りが間違っているので、「begger」を「beggar」に修正する。④冗長なので、「at」を削除する。⑤「cold」を「bitter」、「hard」、「mean」に置き換えることが推奨される。

最後に、Grammarlyの判定を見てみましょう。

Grammarly の無料版ではスペルミスが 1 つ指摘され、有料版へのアップグレードを提案されました。

同様に、「しかし、このストレスは、学校で一番大きな活動に参加するという考えを私に止めさせることはできませんでした」という文章では、Youdao と Xiaoying はどちらも 3 つの間違いを指摘しました。

前置詞「to」は「about」に変更され、「attend」という動詞は「attending」に変更され、「biggist」はスペルミスがあったため「biggest」に変更されました。

Grammarly の無料版では、「biggist」というスペルミスのみが指摘されます。

Grammarly の文法修正は無料トライアルでは比較的簡単なようです。

最後に、Youdao AIエッセイ採点とMicrosoft Xiaoyingに追加の質問が出されました。

例 2: 寒い朝、私は女の子が私のためにパンと牛乳を買っているのを見ていました。

AI にとって、この文を認識するのが難しいのは、同じオブジェクトに複数のエラーが含まれているからです。「fiont」のスペルエラーの後に、前置詞「for」が誤って使用されています。

この問題に直面して、Youdao は「in the front of」全体をうまく識別し、スペルの誤りを指摘し、フレーズ内の前置詞の誤りを見つけました。

Microsoft Xiaoying の変更方法は少しわかりにくいです。文中の主人公の内面を察知したのでしょうか?

このラウンドの競争は終了しましたので、簡単にまとめてみましょう。

どちらも無料ですが、 Grammarly の無料版と中国語圏の 2 つの競合製品との差はかなり大きいです。

ただし、Grammarly にはプラグイン バージョンがあり、メールの作成中にエラーを修正できます。

しかし、AI の助けを借りて英語のライティング スキルを向上させたい場合、Grammarly の無料版は最適な選択肢ではないかもしれません。

Youdao AIエッセイ採点とMicrosoft Xiaoyingは、国内の英語学習パスに沿っており、全体的なパフォーマンスはかなり良好です。ただし、エラーの複雑さが増すと、Youdao のパフォーマンスがわずかに向上します。

第3ラウンド: 得点の正確さ

もう一つの重要なポイントは、スコアリングの正確さです。

結局のところ、試験には厳しい採点基準があり、基準に従って正確な点数が付けられるかどうかは、試験を受ける必要のある大多数の学生にとって依然として非常に重要な参考指標です。

Youdao AI Essay Correction と Microsoft Love Writing はどちらも、小学校、中学校、高校、CET-4 および CET-6、IELTS および TOEFL、大学院入試英語など、複数の学術段階の英語エッセイの添削をサポートしています。

Grammarly に関しては、「輸入」アプリケーションであるため、試験数が多い私の国のスタイルにはあま​​り適していません。採点機能がなく、学業段階や試験の種類を区別できません。

ただし、Grammarly を使用する場合は、対象者、形式、ドメインなど、自分の状況に応じてパーソナライズされた設定を行うこともできます。

問題は、無料版ではオプションが限られていることです。

私はインターネットで、スコア 7.5 の IELTS サンプル エッセイを見つけました。このエッセイに対する人間の教師の評価は、「語彙が豊富で、文法事項が豊富で、議論が包括的である」というものでした。

では、AIはこのエッセイをどのように評価するのでしょうか?

まずはYoudao AIによるエッセイ採点の結果を見てみましょう。

Youdao はこのエッセイに 8 点を付け、語彙、構成、文法、内容について評価しました。

クリックしてコメントを表示すると、単語、文章、段落に基づいた AI 試験官による作文の総合評価や、より高度な語彙や良い単語の定着に関する推奨事項も確認できます。

...語彙は比較的豊富です...文章は比較的流暢です...語彙の基礎はしっかりしています。

このようなコメントは、基本的に人間の教師の判断と一致しています。

同じ記事について、Microsoft の Xiaoying が何と言っているか見てみましょう。

点数も8点でした。特別なのは、シャオインが作文の中で使われているシラバスの語彙、論理接続詞、節の数を数えたことです。

Youdao が提供する全体的な評価レポートとは異なり、Xiaoying では、記事の構造、文章の関係、関連性、発展度という 4 つの評価指標が提供されます。

なお、記事内容の関連性を参照したい場合は、記事タイトルを記入する必要があります。上達度の指標としては、大学入試エッセイからIELTSエッセイまで、何度も何度も挑戦してきましたが、どれも星1つで安定しています。

今回の大会は終了しましたので、簡単にまとめたいと思います。

一般的に、Youdao と Xiaoying の採点結果は、さまざまなテストの種類に応じたテスト採点基準と一致しており、参考値となります。

詳細について言えば、Youdao は単語数、語彙の使用、文章の論理とつながりに基づいて総合的な評価を行い、Microsoft Xiaoying は主に記事の構造と文章の関係という 2 つの側面に焦点を当ててポイントごとに提案を行います。

しかし、テスト中に Microsoft Xiaoying にいくつかの小さなバグが発生しました。

たとえば、CET-6 作文の総合点は 15 点ですが、採点インターフェイスでの最高得点は 25 点です。

その背後にある技術

Youdao Dictionary のエッセイ採点 AI は本当に優れているようです。

テクノロジー編集者としての好奇心から、記事の冒頭でこのソフトウェアを勧めてくれた友人に、その背後にはどのようなテクノロジーがあるのか​​を尋ねてみました。

Youdao を例にとると、英語作文の採点は、採点モジュール + コメントモジュール + エラー修正モジュールの 3 つのコアモジュールに分かれています。

採点モジュールは、従来の方法とディープラーニングの方法を使用して、合計スコア、語彙、文法、構造のスコアを提供します。

コメント モジュールは、全文コメント、語彙の推奨、モデル エッセイの推奨を提供します。

エラー修正モジュールは、浅いスペルエラー、深い文法エラーなど、14 のカテゴリの文法エラーの認識と修正を提供します。

このうちスペル修正ではBERTベースのNERエンティティ認識技術が使われています。

文法エラー訂正は、シーケンスからシーケンスへの生成問題として定義されます。コアはTransformerアーキテクチャに基づいています。

コア モデルが行うことは、実際には翻訳に似ています。つまり、文法的に誤った文を文法的に正しい文に翻訳することです。

さらに、転移学習や敵対的学習も文法修正に使用されます。実際のコーパスと、実際のユーザーのエラー分布に基づいて生成された大規模な疑似コーパスを使用して、モデルの機能を継続的に改善します。

上記はNetEase Youdao Dictionaryの品質評価結果です。 P 値は精度、R 値は再現率、F0.5 は P 値と R 値の調和平均です。値が高いほど、アルゴリズムのパフォーマンスは向上します。

Youdao AIエッセイ採点のテスト結果が業界トップレベルに達していることがわかります。

さて、このトライアルレポートを読んだ後、CET-4/6、IELTS/TOEFL、または大学院の英語試験の準備をしている人は、AI に無料でエッセイを添削してもらうことを望むでしょうか?