ニューラルネットワークをシンボリックAIに活用し、MITとIBMが共同でディープラーニングの問題点を解決

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

今日の AI はニューラル ネットワークが主流ですが、科学者たちはニューラル ネットワークと「旧式の AI」を組み合わせようとしています。

ここで言う「昔ながらのAI」とは、1970年代に流行した「記号化」のことです。数十年前に失敗した後、「コネクショニズム」が主流の地位を獲得しました。

しかし、この2つを組み合わせることでAIがさらに強力になることに気づく科学者が増えています。

コネクショニズムを象徴主義に役立てよう

数年前、科学者たちはアヒルの子から珍しい事実を知りました。アヒルの子は、誕生後に初めて 2 つの類似した物体に触れると、その後、類似した物体に対する好みが強くなります。

アヒルが楽々とこなすことは、人工知能、特にディープニューラルネットワークと呼ばれるAIの分野では難しいことです。

もしそれがシンボリック AI に引き渡されたら、どうなるでしょうか?シンボリック AI は、オブジェクトの名前を知識ベースとして処理し、「類似」を命題として定義します。

シンボリック AI は、知識ベースと命題を使用して、推論エンジンの論理ルールを使用して質問に答えます。

しかし、シンボリック AI の欠点は、より複雑な推論を実現するために、膨大な知識ベース (手動で構築) が必要になることです。AI が知識ベースにない形状に遭遇した場合、それを処理することはできません。

コネクショニズムはトレーニングに知識を使用し、ニューラル ネットワークに学習能力を与えますが、敵対的攻撃に対して脆弱です。

こうして、シンボリズムとコネクショニズムを組み合わせたハイブリッドニューロシンボリックAI （ニューロシンボリックAI）が誕生しました。

科学者はディープ ニューラル ネットワークを使用して、シンボリック AI に必要な知識ベースと命題を構築し、手動で事前設定するという困難な問題を排除してから、シンボリック AI を使用してタスクについて推論します。

フェイフェイ・リーの2016年の問題を解決する

2016 年、Fei-Fei Li 氏らは、コンピューターによって生成された単純な 3D 形状画像に関連する質問に AI が回答することを要求するCombined Language and Elementary Visual Reasoning (CLEVR) データセットを提案しました。

この問題は、複雑なディープニューラルネットワークを使用して解決できます。しかし、IBM、MIT、DeepMind の研究者たちは、シンボリック AI の威力を示すまったく異なる解決策を提案しました。この方法に関連する論文がICLR 2019に掲載されました。

この論文では、問題をシンボリック AI に馴染みのある小さな部分に分割しています。

システムはまず画像を見て、3D 形状とその特性を特徴付け、それによって知識ベースを生成します。次に、質問を、知識ベース上で実行して回答を生成できるシンボリック プログラムに変換します。

これまで、シンボリック AI では人間のプログラマーが知識ベースを手動で入力する必要がありましたが、現在、研究者たちはニューラル ネットワークがこの作業で人間に取って代わることができると期待しています。

彼らはまず、畳み込みニューラルネットワーク（CNN）を使用してターゲットの色、形状、材質などの属性を識別することで最初の問題を解決しました。

次に、リカレント ニューラル ネットワーク (RNN) を使用して、順次入力内のパターンを検出します。このモジュールは、自然言語の質問を受け取り、それを記号プログラム形式に変換する役割を担います。

全体のプロセスは、オンデマンドで知識ベースを生成し、推論エンジンが知識ベースに基づいて質問に答えるようにするのと似ています。

最終的に、ハイブリッド AI はこれまで見たことのない質問や画像でテストされ、98.9% の精度を達成し、人間を上回りました。人間は質問の92.6%にしか正しく答えることができませんでした。

さらに優れているのは、ハイブリッド AI に必要なトレーニング データは、純粋なディープ ニューラル ネットワークに必要なデータの 10% だけであることです。ハイブリッド AI には説明可能であるという利点もあり、何か問題が発生した場合に問題を見つけやすくなります。

より高い難易度に挑戦

CLEVR データセットを習得したニューラルシンボリック AI は、さらに困難な問題に取り組んでいます。

2019年、Fei-Fei LiのCLEVRデータセットに基づいて、DeepMind、MIT、ハーバード大学、IBMは、AIが画像ではなくビデオに基づいて質問に答えるという、より複雑な課題CLEVRERを設計しました。

CLEVR データセットで見つかったタイプのオブジェクトがビデオに表示されますが、移動したり衝突したりするため、問題はさらに困難になります。

いくつかの質問は説明的なものでした。たとえば、「ビデオの最後には金属の物体がいくつ動いているか」などです。

いくつかの質問では、次にどのようなイベントが起こるかなど、予測が必要です。 [a] 緑の円柱が球と衝突し、[b] 緑の円柱が立方体と衝突します。

ビデオでは起こらなかった質問（反事実的質問）もあります。たとえば、シアンのシリンダーがなければ何が起こったでしょうか？ [a] 球が立方体と衝突し、[b] 球がシアンの円柱と衝突し、[c] 立方体がシアンの円柱と衝突します。

このような時間の経過に伴う因果関係を明らかにすることは、主にデータ内の静的なパターンを発見するという点で、今日のディープ ニューラル ネットワークにとっては非常に困難です。

この問題に対処するために、チームは以前のソリューションを CLEVR に拡張しました。

まず、ニューラル ネットワークはビデオ クリップをオブジェクトのフレームごとの表現に分解することを学習します。次に、そのビデオ クリップが別のニューラル ネットワークに送られ、そのニューラル ネットワークはそれらのオブジェクトの動きとそれらが互いに影響し合う方法を分析することを学習し、オブジェクトの動きと衝突を予測できるようになります。

これら 2 つのモジュールが一緒になって知識ベースを構成します。他の 2 つのモジュールは質問を処理し、生成された知識ベースに適用します。

チームのソリューションは、記述的な質問に対する回答精度が約 88%、予測的な質問に対する回答精度が約 83%、反事実的な質問に対する回答精度が約 74% でした。

AIに質問の仕方を学ばせる

適切な質問をすることは、機械が人間よりも優れているもう一つのスキルです。これは、大量のサンプルを待つことなく、世界について継続的に学習する方法です。質問するという人間の能力に機械が近づくことはできません。

そして、ニューラルシンボリック AI はこの能力を実証しました。

ニューヨーク大学の助教授ブレンデン・レイク氏と学生のワン・ジーユン氏は、積極的な質問を必要とするゲーム「バトルシップ」をプレイするためのハイブリッド AI を構築しました。

バトルシップは攻撃と防御を推測するゲームで、一方がボード上に「バトルシップ」（長さはさまざま）を隠し、もう一方が攻撃を担当します。

攻撃者は特定のマス目の下に「戦艦」の一部があるかどうかを確認したり、相手に直接「船の長さはどれくらいですか？」「3 隻の船はすべて同じ大きさですか？」などと尋ねたりすることができます。これは船の位置を推測するために使用されます。

Lake 氏と Wang 氏は、ゲーム AI をトレーニングするために 2 つの異なる方法を使用しました。

1 つは教師あり学習で、ニューラル ネットワークにチェス盤と人間が出した適切な質問が示されます。最終的に、ニューラル ネットワークは質問をすることを学びましたが、創造性を持って質問することはほとんどありませんでした。

もう一つは強化学習です。このトレーニング中、ニューラル ネットワークは戦艦を見つけるのに役立つ質問をするたびに報酬を受け取りました。

ニューラル ネットワークは最終的に、有用かつ創造的な適切な質問をすることを学習しました。

Lake は以前、純粋にシンボリックなアプローチを使用してこの問題を解決していましたが、特定のボード状態に対して、シンボリック AI は適切な質問を見つけるために広大な空間を検索する必要があり、非常に遅くなっていました。

しかし、ニューラルシンボリック AI は非常に高速です。一度トレーニングすると、ディープ ニューラル ネットワークは、問題生成において純粋なシンボリック AI をはるかに上回るパフォーマンスを発揮します。

次のステップ：自動運転

MIT-IBM Watson AI ラボの David Cox 氏のチームは、このハイブリッド AI を自動運転技術に利用したいと考えています。

自動運転 AI には、環境内のオブジェクトを認識し、適切なアクションを実行するようにトレーニングされたニューラル ネットワークが必要です。ニューラル ネットワークがトレーニング中に歩行者にぶつかるなどの間違いを犯した場合、ペナルティが課せられます。

チームのもう一人のメンバー、ネイサン・フルトン氏は、その仕組みを次のように説明した。「悪いことをしないことを学ぶためには、悪いことをし、その悪いことを経験し、そして悪いことをする前にトラブルに巻き込まれないように30段階のステップを考え出さなければなりません。」

そのため、AIが安全運転を学習するには大量のトレーニングデータが必要となり、こうした「悪いこと」が現実世界でAIをトレーニングすることを困難にしています。

フルトン氏とその同僚は、この制限を克服するニューラルシンボリック AI アプローチに取り組んでいます。 AI の象徴的な部分は、現実世界における特定の危険な動作に制限を課し、ディープ ネットワークの動作を制限します。

この単純なシンボリック介入により、最初から特定の選択肢が排除され、AI のトレーニングに必要なデータの量が大幅に削減されます。

「エージェントが多数の不良状態に遭遇する必要がなければ、必要なデータは少なくなります」とフルトン氏は言う。

このプロジェクトはまだ研究室外での使用には適していないが、コックス氏は、ニューロシンボリックAIを搭載した自動車が現実世界で学習し、シンボリックコンポーネントが悪質な運転に対する安全装置として機能する未来を思い描いている。

元の住所:
翻訳：ニューロシンボリックAI

論文の宛先:
https://arxiv.org/abs/1910.01442