AIが米国の8年生の理科テストに高得点で合格。常識や推論の問題を解くことができ、同じ舞台でAIと競争する準備が整った。

8年生の理科のテストに60点で合格すれば、8万ドル（57万人民元相当）の賞金を獲得できます。

[[276019]]

ただし、試験を受ける「学生」は AI である必要があります。

4年間にわたって700人以上のコンピューター科学者がこのAIコンテストに参加しましたが、彼らのAIはすべて不合格となり、合格点を獲得した人は一人もいませんでした。

しかし今、新たな歴史的記録が誕生した。アレン研究所の Aristo という AI がこれを解明しました。8 年生の理科のテストで 90% 以上の質問に正しく答えただけでなく、高校のテストでも 80% の質問に正しく答えました。

これは AI にとってはちょっとやりすぎです。

言語理解＋論理、AIは困惑

AIは囲碁の世界チャンピオンに勝ち、テキサスホールデムでブラフを仕掛けることができ、IBMのワトソンはクイズ番組「Jeopardy!」で長年にわたり人気を博してきたが、米国の中学2年生の理科の試験に合格するのは、AIにとって依然として大きな課題だ。

たとえ絵や図表の問題が除外されたとしても、理科の試験の問題と解答は単純な自然言語理解の問題ではなく、論理的推論や常識さえも必要とします。解答がどこかのテキストに明らかに記載されているわけではありません。

たとえば、試験では、いくつかの質問は比較的簡単で、情報の検索のみを必要とします。

特定の機能を実行するために協力する組織のグループは次のように呼ばれます。

（１）臓器

（２）生物

（３）システム

（4）細胞

しかし、いくつかの問題は次のようになります:

どのような変化によって、ある地域のリスの数が減少するのでしょうか?

（１）肉食動物の減少

（２）リス同士の競争が減る

（３）食物摂取量の増加

（４）森林火災の増加

これは、ルールを学習するだけで AI が答えられる質問ではありません。論理的推論は人間にとっては簡単かもしれませんが、AI にとってはそれほど簡単ではありません。

複数選択の質問もあります。

2016年にアルファ碁が世界に衝撃を与えたとき、この最強のAIシステムはニューヨーク州の中学2年生の理科のテストで59.3%の正解率しか達成できず、残念ながら不合格となった。

バートをベースにしたアリスト

アリストはどのようにして躍進を遂げたのでしょうか?

実際、それは巨人の肩の上に立っています。

Aristo は、Allen Institute のディープコンテキスト単語表現 ELMo (NAACL 2018 最優秀論文) と有名な BERT 開発 (現在は RoBERTa に置き換えられています) に基づいています。8 種類のエージェントを統合しており、そのうちのいくつかはデータベース内で回答を見つける役割を担い、いくつかは関連する概念 (タプル) のリストを確認する役割を担い、いくつかは論理的推論の実行に専念しています。

各エージェントは回答にスコアを付け、Aristo はさまざまなスコアに重み付けして選択を決定します。

実験では、研究者らはアリストに2017年から2019年までのニューヨーク州の各学年の試験を受けさせた。その結果、4年生と8年生の試験におけるアリストの正解率は約90％で、ニューヨーク州教育省が認める「優秀基準」（85％）を満たしていたことが分かった。 12 年生の試験の正解率は 83.54% で、優秀にわずかに届きませんでした。

これまで、これらのテストデータは Aristo のトレーニングセットには含まれていませんでした。

さらに、Aristo の回答はテキストの質問に限定されなくなりました。コンピュータービジョン関連のチャートの質問にも回答できます。

メディアとのインタビューで、アリストプロジェクトのシニアマネージャーであるピーター・クラーク氏は次のように語った。

アリストの目標は、科学の試験に合格することだけではなく、科学をより深く理解することにつながるシステムを構築することです。

しかし、同様の研究を行ったマイクロソフトの研究員、ジンジン・リウ氏が言うように、現実にはアリストはまだ「本物の」知能を持っておらず、アリストの能力を人間の学生の推論能力と比較することはできない。しかし、間違いなく、それは良いアプリケーションの方向性を生み出します。

たとえば、より強力な検索やパーソナライズされた教育などです。

ちなみに、Aristo には現在オンラインデモがあり、オンラインでプレイできます。

ポータル

デモ：

http://aristo-demo.allenai.org/

データセット:

http://data.allenai.org/ai2-science-questions/