「ニューラル＋シンボリック」：知識グラフの観点から見た認知推論の発展

[[376956]]

過去10年間の人工知能の波の中で、ディープラーニングに代表される人工知能技術は、視覚や聴覚などの知覚知能を基本的に実現してきましたが、思考や推論などの認知知能はまだ実現できていません。したがって、推論や説明可能性などの機能を備えた認知知能の研究は、間違いなくますます注目を集め、将来的には人工知能分野における重要な発展方向の 1 つになるでしょう。

研究者の嗅覚は間違いなく最も鋭敏です。たとえば、ACM チューリング賞受賞者の Yoshua Bengio 氏は、NeuIPS 2019 での招待報告の中で、ディープラーニングにはシステム 1 からシステム 2 への変換が必要であると明確に述べています。

注: ここで言及されているシステム 1 とシステム 2 は、認知科学におけるデュアル チャネル理論を指します。システム 1 は、直感的、高速、無意識、非言語的、習慣的な認知システムを表し、これはディープラーニング技術が得意とする分野でもあります。一方、システム 2 は、低速、論理的、秩序的、意識的、言語化可能、合理的なシステムを表し、これはディープラーニングが今後注力する必要がある研究方向です。

1 神経系と象徴系の特徴

人工知能をよりマクロな視点から見ると、システム 1 はニューラル学派に相当し、システム 2 はシンボリック学派に相当します。ベンジオのディープラーニングに関するシステム 2 の考え方は、基本的に「ニューラル + シンボリック」人工知能の目標と一致しています。

この点を遡ると、もう 1 人の ACM チューリング賞受賞者であるマービン・ミンスキーが、1986 年に早くも著書『心の社会』で人工知能と認知心理学 (システム 1 とシステム 2) の関係を明確に説明し、図 1 に示すように、人工知能における神経系と記号系のそれぞれの特性と可能な組み合わせを詳細に分析していたことがわかります。

データ モデリングの目的は、マクロから具体的なものまで、データ オブジェクト、ストレージ、アプリケーションの観点から、ニューラル システムであれシンボリック システムであれ、与えられた入力問題に対する答えを見つけることです (図 2 を参照)。しかし、違いは、ニューラル システムは非構造化データ (テキストなど) の処理に優れていることです。

現在主流のモデルは主にエンドツーエンドであり、一般的なアプリケーションシナリオには、機械翻訳、音声認識、簡単な質問に対するインテリジェントな質問応答（たとえば、ヤオミンの身長はどれくらいですか？）が含まれます。一方、シンボリックシステムは主に構造化データベースに基づいており、通常は構造化クエリ、推論エンジンなどをサポートし、複雑な問題を解決できます（たとえば、米国は主要な農産物輸出国であるのに、なぜまだコーヒーを輸入しているのですか？）。

ACM チューリング賞受賞者のレスリー・ヴァリアントがかつて鋭く指摘した次の言葉は特筆に値します。「ニューラル システムはデータの特徴の学習プロセスに重点を置いていますが、シンボリック システムには検索プロセスを含める必要があります。」その後のシンボリック システムに関する大規模な研究は、基本的にさまざまな効率的な検索アルゴリズムに注力しています。

ニューラル システムと記号システムのそれぞれの特性は、コンピューター ビジョンの応用分野における 2 つの例からも体験できます。図 3(a) の例は、古典的な手書き文字認識を表しています。手書きの数字と比較記号の特定の観測可能なセットに対して、トレーニング後、多数のニューラル システム モデルがさまざまな種類の手書き文字を適切に認識できます (つまり、視覚レベルでの一般化された認知能力)。ただし、記号知識の認知一般化を達成することは困難です (つまり、トレーニング サンプルに表示されない比較記号サンプルを解決して判断することは困難です)。

同様に、図 3(b) の視覚的な質問応答の例では、ニューラル システムは単純な視覚的な質問応答シナリオ (例: 写真には何頭のキリンがいますか?) を簡単に処理できますが、より複雑な質問に答える必要がある場合 (例: 写真の動物とシマウマに共通する属性は何ですか?)、認知的推論によって解決プロセスを完了するために、外部の記号的知識 (例: 知識グラフ) に頼る必要があります。

まとめると、「ニューラル + シンボリック」システムは間違いなく人工知能の理想的なモデルです。完璧な「ニューラル + シンボリック」システムの特徴と利点をまとめると次のようになります。

1. 主流の機械学習が得意とする問題を簡単に処理できます。

2. データノイズに対する強力な堅牢性

3. システムの解決プロセスと結果は理解しやすく、説明しやすく、評価しやすい。

4. さまざまな記号をうまく操作できる。

5. さまざまな背景知識をシームレスに活用できます。

しかし、「ニューラル＋シンボル」の有機的な組み合わせを実現するのは容易ではありません。長年にわたり、さまざまな分野の人工知能研究者がこれについて広範な研究を行ってきました。ナレッジグラフは近年、人工知能の分野で注目されている研究テーマです。初期のナレッジベースやエキスパートシステムから、2012年にGoogleが正式にナレッジグラフを提案するまで、その発展の歴史は、図4に示すように、「ニューラル+シンボリック」を組み合わせる多くの試みを含む、ニューラルシステムとシンボリックシステムの発展の縮図とも言えます。

2. 「ニューラル＋シンボリック」の組み合わせ

著者は、ナレッジグラフ研究の観点から現在の研究を要約した結果、「ニューラル + シンボル」の組み合わせが 2 つのカテゴリに分類できることを発見しました。

ニューラル・フォー・シンボリックなどの手法の特徴は、ニューラル・ネットワーク手法を従来のシンボリック・システムにおける問題解決に適用し、通常は浅い推論の問題を解決するために使用されることです。

例えば、知識グラフ埋め込み[1]やグラフニューラルネットワーク（GNN）[2]は知識グラフを完成させるために使用され、論理的推論を統計的推論に置き換えることを特徴としています。リカレントニューラルネットワーク（RNN）とグラフ畳み込みネットワーク（GCN）は、図5に示すように、同様の作業であるマルチホップインテリジェント質問応答[3]にも使用されます。

さらに、Swift Logic[3]、ニューラル理論証明機[4]、論理テンソルネットワーク[5]などの研究も、「ニューラル」を使って「シンボル」を支援する試みです。主なアイデアは、ニューラルネットワークの方法を改善し、それを知識グラフの分野での深い推論シナリオに適用することで、結果を改善することです。

シンボリックニューラルメソッドの特徴は、ニューラルネットワークのトレーニングプロセスにシンボリックメソッドを適用することです。例えば、論理ルールはディープニューラルネットワークでのデータキュレーションに使用されます[6]。また、知識グラフは、図6に示すように、リモート監視、少数ショット、ゼロショットのモデルとシナリオに適用されます[7,8]。

最近、説明可能なAI[9]と呼ばれるタイプの研究があります。その主なアイデアは、知識グラフ内の事実やルールを使用して、トレーニング中のニューラルネットワークの動作を説明し、それによってニューラルネットワークの解釈可能性を向上させることです。清華大学のTang Jieらが最近提案した認知マップ[10]は、説明可能な人工知能において「ニューラル+シンボリック」と「システム1+システム2」を組み合わせる試みであり、シンボリック知識の表現、推論、意思決定を利用して、ディープラーニングの問題解決プロセスのブラックボックス問題を解決することを目指していることは特筆に値します。

3 まとめと展望

以上の研究状況から、「ニューラル＋記号」の組み合わせは、まだ片側のみに着目し、もう片側に適用・移行する段階に留まっており、真に「ニューラル＋記号」を有機的に組み合わせたシステムの実現には、まだまだ長い道のりが残されていることがわかります。ニューラルとシンボリックの間の微妙なバランスをどのように取るかが、モデルの価値を測定する鍵となり、その範囲には、図 7 に示すように、現在主流となっている人工知能研究のほぼすべてが含まれます。

「ニューラル + シンボリック」に関する今後の研究で取り組む可能性のある主要な質問と課題は次のとおりです。

1. 知識表現：マルチモーダル、時空間、イベントデータなどの非構造化データの記号的知識表現をモデル化する。

2. 推論の実用性と効率性：ニューラル手法を使用して深い推論を実現したり、従来の記号推論の効率を加速したりします。

3. 人間の関与と説明可能性: 専門家やユーザーのフィードバックをシステムに組み込み、システムの解決プロセスの説明可能性を確保します。

参考文献:

[1] Wang Q、Mao Z、Wang B、他「ナレッジグラフの埋め込み：アプローチとアプリケーションの調査[J]」IEEE Transactions on Knowledge & Data Engineering、2017、29(12):2724-2743。

[2] Zhang M、Chen Y. グラフニューラルネットワークに基づくリンク予測[C]// Neural Information Processing Systems、2018：5171-5181。

[3] Jain S. 事実記憶ネットワークを用いた知識ベースでの質問応答[C]// NAACL学生研究ワークショップの議事録。2016年。

[4] Rocktaschel T、Riedel S. エンドツーエンドの微分可能証明[C]// Neural Information Processing Systems、2017：3788-3800。

[5] Socher R、Chen D、Manning CD、他「知識ベース補完のためのニューラルテンソルネットワークによる推論[C]// Neural Information Processing Systems」、2013: 926-934。

[6] Hu Z、Ma X、Liu Z、他「ロジックルールによるディープニューラルネットワークの活用[C]// 計算言語学協会会議、2016年：2410-2420。」

[7] Zeng D、Liu K、Chen Y、et al. 区分畳み込みニューラルネットワークによる関係抽出のための遠隔監視[C]// 自然言語処理における経験的手法、2015: 1753-1762..

[8] Chang X、Zhu F、Bi X、et al. 視覚タスクのための知識グラフのマイニング[C]// Database Systems for Advanced Applications、2019：592-594。

[9] Samek W、Grégoire Montavon、Vedaldi A、et al. Explainable AI: Interpreting, Explaining and Visualizing Deep Learning[M]. Vol. 11700. 2019: Springer Nature.

[10] Ding M、Zhou C、Chen Q、et al。大規模なマルチホップ読解のための認知グラフ[C]// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics。2019：2694-2703。