AIが米国の8年生の理科テストに高得点で合格。常識や推論の問題を解くことができ、同じ舞台でAIと競争する準備が整った。

AIが米国の8年生の理科テストに高得点で合格。常識や推論の問題を解くことができ、同じ舞台でAIと競争する準備が整った。

8年生の理科のテストに60点で合格すれば、8万ドル(57万人民元相当)の賞金を獲得できます。

[[276019]]

ただし、試験を受ける「学生」は AI である必要があります。

4年間にわたって700人以上のコンピューター科学者がこのAIコンテストに参加しましたが、彼らのAIはすべて不合格となり、合格点を獲得した人は一人もいませんでした。

しかし今、新たな歴史的記録が誕生した。アレン研究所の Aristo という AI がこれを解明しました。8 年生の理科のテストで 90% 以上の質問に正しく答えただけでなく、高校のテストでも 80% の質問に正しく答えました。


これは AI にとってはちょっとやりすぎです。

言語理解+論理、AIは困惑

AIは囲碁の世界チャンピオンに勝ち、テキサスホールデムでブラフを仕掛けることができ、IBMのワトソンはクイズ番組「Jeopardy!」で長年にわたり人気を博してきたが、米国の中学2年生の理科の試験に合格するのは、AIにとって依然として大きな課題だ。

たとえ絵や図表の問題が除外されたとしても、理科の試験の問題と解答は単純な自然言語理解の問題ではなく、論理的推論や常識さえも必要とします。解答がどこかのテキストに明らかに記載されているわけではありません。

たとえば、試験では、いくつかの質問は比較的簡単で、情報の検索のみを必要とします。

特定の機能を実行するために協力する組織のグループは次のように呼ばれます。

(1)臓器

(2)生物

(3)システム

(4)細胞

しかし、いくつかの問題は次のようになります:

どのような変化によって、ある地域のリスの数が減少するのでしょうか?

(1)肉食動物の減少

(2)リス同士の競争が減る

(3)食物摂取量の増加

(4)森林火災の増加

これは、ルールを学習するだけで AI が答えられる質問ではありません。論理的推論は人間にとっては簡単かもしれませんが、AI にとってはそれほど簡単ではありません。

複数選択の質問もあります。

2016年にアルファ碁が世界に衝撃を与えたとき、この最強のAIシステムはニューヨーク州の中学2年生の理科のテストで59.3%の正解率しか達成できず、残念ながら不合格となった。

バートをベースにしたアリスト

アリストはどのようにして躍進を遂げたのでしょうか?

実際、それは巨人の肩の上に立っています。

Aristo は、Allen Institute のディープコンテキスト単語表現 ELMo (NAACL 2018 最優秀論文) と有名な BERT 開発 (現在は RoBERTa に置き換えられています) に基づいています。8 種類のエージェントを統合しており、そのうちのいくつかはデータベース内で回答を見つける役割を担い、いくつかは関連する概念 (タプル) のリストを確認する役割を担い、いくつかは論理的推論の実行に専念しています。


各エージェントは回答にスコアを付け、Aristo はさまざまなスコアに重み付けして選択を決定します。


実験では、研究者らはアリストに2017年から2019年までのニューヨーク州の各学年の試験を受けさせた。その結果、4年生と8年生の試験におけるアリストの正解率は約90%で、ニューヨーク州教育省が認める「優秀基準」(85%)を満たしていたことが分かった。 12 年生の試験の正解率は 83.54% で、優秀にわずかに届きませんでした。


これまで、これらのテスト データは Aristo のトレーニング セットには含まれていませんでした。

さらに、Aristo の回答はテキストの質問に限定されなくなりました。コンピューター ビジョン関連のチャートの質問にも回答できます。


メディアとのインタビューで、アリストプロジェクトのシニアマネージャーであるピーター・クラーク氏は次のように語った。

アリストの目標は、科学の試験に合格することだけではなく、科学をより深く理解することにつながるシステムを構築することです。

しかし、同様の研究を行ったマイクロソフトの研究員、ジンジン・リウ氏が言うように、現実にはアリストはまだ「本物の」知能を持っておらず、アリストの能力を人間の学生の推論能力と比較することはできない。しかし、間違いなく、それは良いアプリケーションの方向性を生み出します。

たとえば、より強力な検索やパーソナライズされた教育などです。


ちなみに、Aristo には現在オンライン デモがあり、オンラインでプレイできます。

ポータル

デモ:

http://aristo-demo.allenai.org/

データセット:

http://data.allenai.org/ai2-science-questions/

関連論文:

2019年11月2日更新

<<:  ロシアのロボット宇宙飛行士が3Dプリントされた骨組織サンプルを持って地球に帰還

>>:  分散ID生成スノーフレークアルゴリズム

ブログ    

推薦する

...

...

AWS 上でディープラーニングホストを構築する (Windows 版)

この記事では、Amazon EC2 P2 インスタンスをレンタルして使用する方法について簡単に説明し...

...

さまざまな業界がエッジAIから得られるメリット

ご存知のとおり、人工知能は計算能力を消費し、多数のデータセンターを必要とします。 しかし、適切な状況...

AI専門家の李牧氏の「5年間の仕事の反省」が人気に、ネットユーザー「また感動した」

[[401713]]この記事はAI新メディアQuantum Bit(公開アカウントID:QbitA...

写真から五感を生成できる AI モデルはどうやってそれを実現するのでしょうか?

MetaImage は最近、テクノロジー界で大きな話題を呼んでいます。論文「IMAGEBIND: ...

慎重なソート - よく使われる 10 のディープラーニング アルゴリズム

過去 10 年間で、機械学習への関心は爆発的に高まりました。機械学習は、コンピューター プログラム、...

データが増えるほど、AIの意思決定モデルは脆弱になる

データは人工知能システムを構築するために必要な重要なインフラストラクチャです。データは、AI システ...

単一の GPU で GPT-3 をトレーニングする方法にまだ苦労していますか? HP チューニングの新しいパラダイムをぜひご覧ください。

偉大な科学的成果は試行錯誤だけでは達成できません。たとえば、宇宙計画におけるすべての打ち上げは、空気...

6 つの大きな障害に直面していますが、AI イノベーションはそれらをうまく克服できるでしょうか?

現状では、人工知能業界は消費者からの需要が大きく、投資家からの関心も高く、非常に活況を呈しているよう...

開発者に人気の機械学習 API 10 選

つい最近まで、人工知能には科学者が白衣を着て研究室で研究を行う必要があると考えられていました。この科...

ChatGPTがやってくる、個人はそれにどう対処すべきか

このテーマについて、人工知能の起源と発展、その一般原理、不安を避ける方法、そして時代に追いつく方法な...

...

Open LLM リストが再び更新されました。Llama 2 よりも強力な「Duckbill Puss」が登場します。

OpenAI の GPT-3.5 や GPT-4 などのクローズドソース モデルの優位性に挑戦する...