周志華：「データ、アルゴリズム、計算力」は人工知能の3つの要素であり、今後は「知識」が加わる必要があります。

CCF-GAIR 2020人工知能フロンティア特別セッションでは、南京大学コンピュータサイエンス学部長、人工知能学院学部長であり、CCFフェロー、ACM、AAAI、IEEE、IAPRフェローでもある周志華教授が、「Ansatz Learning」をテーマに基調講演を行いました。

周志華氏は、現在の人工知能ブームは機械学習、特にディープラーニング技術の驚異的な進歩によるもので、ビッグデータとビッグコンピューティングパワーの支援を受けて驚異的な力を発揮していると述べた。機械学習アルゴリズム モデルがより多くのデータと計算能力を使用すると、達成されるパフォーマンスの向上は、アルゴリズム モデル設計者の期待をはるかに上回る可能性があります。ただし、モデルを大きくするとコストが高くなります。そのため、人工知能研究においては、学界と産業界は分業し、「性能の追求」は産業界に任せ、学界は原点に戻って「道筋の探求」と「未来の考察」を行うべきだと彼は考えています。 「機械学習」と「論理的推論」をいかに組み合わせるかは、人工知能分野における「至難の課題」である。これまでの取り組みは「推論」か「学習」のどちらかに重点が置かれ、もう一方の側は十分に力を発揮できていない。

周志華教授は、機械学習と論理的推論が1つの枠組みの下でよりバランスよく、十分に活用されるようになることを期待して、「演繹学習」を提案しました。同氏は、「人工知能技術が機能するには、データ、アルゴリズム、計算能力が必要であることは誰もが知っています。今後は知識を考慮する必要があります。知識は人間の知恵を体現するものです。過去10年ほど、私たちはデータ主導の観点から人工知能を研究してきました。今こそ、データ主導と知識主導のアプローチを組み合わせるときです」と語った。

以下は周志華教授のライブスピーチの内容であり、AI Technology Reviewは原文の意味を変えずに整理・編集した。

周志華：専門家の皆さん、友人の皆さん、おはようございます。ご招待くださったCCFとドゥ・ジッド事務局長に感謝申し上げます。CCFの古い会員として、このイベントに参加できてとても嬉しく思います。今日皆さんにお伝えしたいトピックは「アブダクション学習」です。

人工知能技術の開発には、データ、アルゴリズム、計算能力という 3 つの要素が必要です。ここ数年、「ビッグデータ時代」がホットワードになっています。ビッグデータ自体が必ずしも大きな価値を意味するわけではないことは誰もが知っています。データはリソースです。リソースの価値を引き出すには、効果的なデータ分析を実行する必要があります。今日、効果的なデータ分析は機械学習アルゴリズムに大きく依存しています。

今日の人工知能の流行は、主に機械学習、特にディープラーニング技術の大きな進歩によるもので、ビッグデータと膨大な計算能力のサポートにより、驚異的な力を発揮しています。ディープラーニングについて話すときは、ディープニューラルネットワークについて話さなければなりません。ディープ ニューラル ネットワークは、トレーニングに大量のデータと強力な計算能力を必要とする非常に大規模なシステムです。

人工知能アルゴリズム モデルによる計算能力に対する膨大な需要も、今日のチップ業界の発展を推進してきました。たとえば、現在ディープ ニューラル ネットワークのトレーニングに使用されている GPU は、以前はアニメーションやレンダリングに使用されていました。ディープ ニューラル ネットワークに対するこれほど大きな需要がなければ、TPU などの新しい設計は言うまでもなく、GPU が今日これほど大きな市場を持つことはほとんどなかったでしょう。したがって、人工知能アルゴリズムモデルの開発と計算能力およびチップの開発は相互に強化効果をもたらすことがわかります。これらの要素は互いに促進し、サポートし合います。

1. パフォーマンスの追求は業界に任せる

一方、強力な計算能力と膨大な量のデータを追加すると、既存の機械学習アルゴリズム モデルの機能が限界に達する可能性があり、達成できるパフォーマンス レベルはアルゴリズム研究者自身をも驚かせる可能性があります。 「偉大な力は奇跡を起こす」というこの「激しい美学」は、非常に強力なモデルを生み出しました。

たとえば、最近みんなが話題にしている現在の最大の人工知能モデルである GPT3 です。 45TB のトレーニング データ、1,750 億のモデル パラメーター、700G のモデル サイズを使用します。このモデルに基づいて、自然言語処理における多くの問題など、多くの困難な問題が大きく進歩しました。

GPT3に関するこの論文を見てみましょう。この論文は、著者数が合計 31 名と多いという点で、当分野の他の論文とは異なります。記事の最後には分業についての紹介があります。著者の中には、コードの作成を専門とする人、パラメータの調整を専門とする人、データのサンプリングを専門とする人、論文の執筆を専門とする人など、さまざまな人がいます。組立ラインでの分業は、大規模な工業生産のモデルに過ぎません。

論文中のアルゴリズム モデルを見ると、それらはすべて既存の技術であり、新しい部分はないことがわかります。しかし、強力なエンジニアリング組織を基盤として、大きな役割を果たしています。重要なのは、どんどん大きく成長することです。大きくなるには代償を払わなければならない。この記事を読んでいると、著者はこの作品にバグを見つけたが、コストが高すぎるため再トレーニングを行わなかったという一文に気付くかもしれません。 1回の研修費用は約1300万ドルかかると言われており、バグが見つかっても我慢するしかない。

このようなモデルは多くの問題を解決し、パフォーマンスの大幅な向上をもたらすことができます。しかし、このような高額なコストは、人工知能研究に携わる我々にとって新たな課題ももたらしました。学術界で人工知能研究に携わる学者にとって、高額なコストは有益なリターンと引き換えにすべきである、という疑問について考えることは特に価値があります。モデルのパフォーマンスが向上すると、業界の経済的利益が向上します。パフォーマンスが 1 ～ 2 ポイント向上しただけでも、もたらされるリターンが投資を相殺するのに十分な場合があります。しかし、学術界がこれほど多くの費用を費やした場合、どうすれば十分な利益が得られるのでしょうか?

人工知能研究において、学界と産業界が分業するのは適切です。つまり、「パフォーマンス」の追求は産業界に任せ、学界は「パフォーマンス」にあまり注意を払う必要はありません。モデルのパフォーマンスを数ポイント向上させることは学界にとって大した意味がなく、数本の論文を発表するだけでは、膨大な投資の無駄になってしまうからです。もちろん、私たちは人材を育成してきましたし、人材には値段がつけられないほどの価値がありますが、それほど多くのコストをかけなくても優秀な人材を育成することは可能です。

パフォーマンスの追求を業界に任せるなら、学界は何をするのでしょうか?原点に立ち返り、学術界がやるべきこと、「進むべき道を探る」「未来を考える」をやってください。まったく新しい探求である限り、成功すれば新たな道を指し示すことができ、たとえ失敗しても、この道は行き止まりであると指摘することができ、それは大きな意義を持つ。一旦道筋が模索されると、さらなる改善と強化は業界に委ねられることになります。

2 「推論＋学習」の問題

冒頭で、人工知能技術にはアルゴリズム、計算能力、データという3つの主要要素が必要だと言いましたが、将来もそれは変わらないのでしょうか？何か追加したいですか?これが今私たちが考えなければならないことです。

疫病流行中、私たちは企業や医療専門家などのパートナーと協力して作業に取り組みました。私たちが開発した人工知能疫病分析推論モデルは、関係部門の疫病予防と制御に関する意思決定に若干の支援を提供しました。この作業では機械学習技術が広く使用されていますが、機械学習だけで十分なのでしょうか?足りない！私たちは多くの高度な医療専門家やウイルス専門家の知識を活用しました。機械学習技術が専門知識とうまく組み合わせられれば、私たちの予想を超えた役割を果たす可能性があることを私たちは深く理解しています。

実際、人工知能の分野には、機械学習と論理的推論をいつうまく統合できるかという長年の「聖杯」問題があります。両者が同時に良い役割を果たせる完全な枠組みが実現できれば、私たちはそれをぜひ実現したいと願っています。

なぜこれを考慮すべきなのでしょうか?まずは見てみましょう。論理的推論により知識の活用が非常に簡単になり、機械学習によりデータ、証拠、事実の活用が容易になります。しかし、人間の意思決定を見ると、多くの決定には知識と証拠の両方の使用が必要です。それで、この 2 つをうまく組み合わせることができるでしょうか?

残念ながら、人工知能の歴史において論理的推論と機械学習は広く研究されてきましたが、両者は基本的に独立して発展してきました。例えば、1950年代から1990年代にかけては、論理的推論や知識工学が人工知能の主流技術でしたが、機械学習の研究はまだ非常に遅れていました。 1990年代半ば以降、機械学習の研究は盛んになりましたが、論理的推論や知識工学の研究は再び不人気となり、現在でもこの分野の研究に携わる人は世界でも非常に少ない状況です。

これら 2 つを組み合わせたい場合の主な障害は何でしょうか?重要なのは、この 2 つはほぼ完全に異なる表現に基づいているということです。

一般的に、論理的推論は、一階論理規則に基づいた表現と考えることができます。ここで例を見てみましょう。3 つの節があります。最初の節: 任意の X と Y について、X が Y の親である場合、X は Y より年上です。2 番目の節: 任意の 2 人の人について、X が Y の母親である場合、X は Y の親です。3 番目の節: LuLu は FiFi の母親です。さて、私たちはこう尋ねます。「どちらが年上ですか?」したがって、このような論理システムを使用すると、3 番目の文から Lulu が Fifi の母親であることがすぐにわかり、2 番目の文から Lulu が Fifi の親であることがすぐにわかります。そして最初の文から、彼女はフィフィより年上であることがわかります。論理的推論は、そのような論理的規則によって記述された知識に基づいており、そのような推論や判断を行うのに役立ちます。

機械学習は異なるルートを取ります。大量のデータを収集し、たとえば、各行がオブジェクトまたはイベントで、各列がその属性または特性の 1 つを記述する表形式にデータを整理します。これは、いわゆる「属性値」表現です。論理的な観点から見ると、この表現は命題論理の非常に基本的な表現であり、属性値テーブルは論理真理値テーブルにマッピングできます。

命題論理とハードウェア論理には大きな違いがあります。 重要な違いの 1 つは、「任意」や「存在」などの量指定子が関係してくることです。第一階論理によれば、量指定子が関係しているため、たとえば量指定子「any」を分離し、各可能な X をサンプルとして扱うと、サンプル セットは無限に大きくなります。 「親」などの一階述語を属性と見なすと、各論理節は特定のサンプルを記述するのではなく、サンプル間の特定の関係を記述していることがわかります。

したがって、述語を直接属性として扱い、通常のデータ セットに拡張しようとすると、データ セット内に実際の属性値の説明すら存在しないことがわかります。

難しいことですが、この2つを組み合わせることができれば、より強力になる可能性があることは誰もが知っており、歴史上多くの研究者が努力を重ねてきました。私たちの取り組みは、おおよそ2つの方向にまとめることができます。 1 つの方向は、主に論理的推論に従事し、機械学習の基本的な技術や概念を紹介しようとしている学者向けです。これにより、大規模な技術カテゴリと多くの実践が形成されました。

最も簡単な例を見てみましょう。たとえば、先ほど示した節では、各論理節は明確です。つまり、真であるか、真でないかのどちらかです。これで、各論理節に重みを追加できるようになりました。これは、節が真である確率をある程度反映します。

たとえば、1 人が大学 3 年生で、もう 1 人が 1 年生の場合、最初の人が 2 番目の人より年上である可能性は 80% になります。 0.8 を加えると、この事実は確率になります。このようにして得られた確率重みを持つ節は、ある程度の確率的推論を実行できます。

もう一つの方向性は、機械学習の観点から何らかの論理的推論を導入することです。たとえば、喫煙するとガンになる可能性が高いという文章があります。この知識があれば、ベイジアン ネットワークを初期化するときに、喫煙されている場合は、任意の X をその X と癌の間のエッジに接続できます。言い換えると、この予備ルールを使用してネットワークを初期化します。初期化後、ベイジアン ネットワークは期待どおりに学習できるようになります。

そこで、上記の 2 つの主要な実践カテゴリを見てみましょう。最初のカテゴリでは、機械学習を論理的推論に導いていることがわかりますが、本体は依然として推論を通じて問題を解決しているため、推論重視、学習軽度と呼びます。 2 番目のアプローチは基本的にその逆です。機械学習に論理的推論技術を導入しますが、後期の主な問題解決は機械学習に依存するため、学習重視、推論軽度と呼ばれます。一方の端は常にもう一方の端よりも重く、つまり一方の端の技術が十分に活用されていないことを意味します。

そこで今私たちは、これら 2 種類のテクノロジーの力を最大限に発揮できる新しいメカニズムがあるのではないかと考えています。私たちは最近、「Abductive Learning」と呼ばれる新しいソリューションを提案しました。

3 「アンチテーゼ」とは何ですか?

アブダクション学習を理解する前に、まずアブダクションの意味を理解しましょう。

人間が知識を処理したり、現実世界の問題を抽象化したりする場合には、通常 2 つのアプローチがあります。

1 つは演繹です。演繹では、一般的な原則から始めて、特定の結果を導き出しますが、結果を導き出すプロセスは保証されています。たとえば、定理を証明するときは、まずいくつかの数学的な公理を取得し、次にこれらの数学的な公理に基づいて、それらと一致する他のすべての定理を証明します。これは一般論から特定論へのプロセス、つまり演繹です。

もう 1 つのアプローチは帰納法です。これは、まず特定の事実を確認し、次にその特定の事実から一般的な規則を要約することを意味します。実際、これが機械学習が行うことです。私たちは大量のデータを見て、一般的なルールを反映するモデルを学習したいと考えています。これが「具体的なものから一般的なものへ」です。

定理証明は演繹の代表的なものと言えますが、機械学習は帰納の代表的なものと言えます。今日私たちが話している対立は少し異なります。論理学では、abductive という単語は induction と翻訳されることもあります。しかし、私たちの枠組みでは、それを帰納法に翻訳することは特に適切ではないので、反演繹法として翻訳します。アブダクション学習とは、大まかに言うと、機械学習の帰納的プロセスに演繹を逆方向に埋め込むことです。

アンチディクションとはどういう意味ですか?それは不完全な観察から始まり、私たちにとって特に興味深いセットに対して最も可能性の高い説明を得ることを期待します。この文章から直接理解するのは難しいかもしれません。ここで、マヤ暦を解読する方法の例を示しましょう。

中央アメリカに古代マヤ文明があることは誰もが知っています。彼らは、3つの暦からなる非常に複雑で洗練された暦システムを確立しました。

左側の3本の石柱にはさまざまな模様が描かれており、それぞれの模様には意味が込められています。赤いボックスの中央にある 5 つの画像を見ると、考古学者はそれらがロング カウントと呼ばれるマヤ暦に対応していることが分かります。これは IP アドレスのように見える数字のセットです。これは実際には日付を表す緩やかな 20 進数で、マヤ文明では世界の創造から何日が経過したと考えられていました。ここでの 1 番目と 4 番目の意味はまだ不明なので、疑問符が付いています。2 番目の画像は 18 に対応し、3 番目は 5 に対応し、最後の画像は 0 に対応します。

次に、青いボックス内の2人はマヤの神聖暦に対応しています。左側の画像の意味はまだ不明であるため、疑問符が付いています。右側のシンボルは、アハウと呼ばれるものを表していることがわかっています。これら 2 つを組み合わせると、1 日も表されます。実際、これら 2 つのうち 1 つは月を指し、もう 1 つは日を指しています。これは、中国の天干と地支の組み合わせに少し似ており、「庚月子日」と言うのと似ています。しかし、それだけに頼るのは絶対に不正確です。たとえ「庚月子日」を知っていても、それがどの日なのかはわかりません。歴史上、庚月子日が何度もあったため、他の情報と組み合わせる必要があります。

最後の 2 桁は 13 Mac で、これはマヤの太陽暦に対応し、年の 13 番目の月と 14 日を意味します。しかし、これは何年だったのでしょうか?それだけでは知られていない。

しかし、これら 3 つのカレンダーの疑問符が明確であれば、この日の位置は非常に正確である可能性があります。ここで、これら 3 つの疑問符を解読する必要があります。重要な知識があります。これら 3 つの暦システムは同じ日を参照しているため、明らかにされた 3 つの疑問符の値により、3 つのカウントが確実に一致することになります。

考古学者がこれをどう行うか見てみましょう。画像を入手した後、彼らはまず、これまでの画像解読の経験に基づいて数字が何であるかを「推測」しました。しかし、これは難しい。考古学者が現在知っているのは、2 つの赤い数字は同じ数字で、青い数字は別の数字であるはずだということだけですが、赤い数字は 1、8、または 9 である可能性があります。マヤ人は機械ではなく手で石柱を彫ったため、そのたびに変化がありました。たとえば、上部の赤い画像を見てください。これは、1 の左端の画像、8 の 2 番目、9 の右端の画像と非常によく似ているようです。

それで考古学者は次に何をするのでしょうか?彼らはあらゆる可能性のあるシナリオを想像した。たとえば、赤い数字が 1 だと考えると、青い数字には 2 3 4 5 6 7 など、いくつかの可能性があります。たとえば、右下の行は 1.18.5.7.0 で、これは観測された画像に基づいた推測です。つまり、観察された石柱に基づいて、いくつかの可能性のある仮説が立てられたのです。次のステップは、獲得した知識を使って判断を下すことです。

現在私たちが持っている知識によれば、これら 3 つの暦法の対応する日付は同じ日であるはずです。ここで、赤が 1、青が 6 の行が見つかりました。対応する解読結果は、長暦の創設から 275520 日目であり、これは神暦では年の最後から 3 日目であり、太陽暦では 13 番目の月の 14 日でもあります。すべてが一致しています。それで、これが結果です。

これが演繹のプロセスです。復習しましょう。まず第一に、これは不完全な観察から来ています。いくつかの画像は何かが分かっていますが、いくつかの画像は何かが分かりません。そして、この観察に基づいて仮説を立てます。この仮説に基づいて、私たちは自分の知識に基づいて最も可能性の高い説明を探します。そして、この説明は、私たちが現在関心を持っている赤と青のセットです。これが誘拐の意味です。

それでは、今日の機械学習を振り返ってみましょう。まず、たくさんのインスタンスが必要です。これがサンプルです。トレーニング サンプルに関する既知の結果であるラベルが多数必要です。これらを組み合わせて教師あり学習を行い、分類器をトレーニングします。

アブダクション学習の設定は少し異なります。サンプルはいくつかありますが、サンプルのパフォーマンスのみであり、結果はわかりません。これは先ほど見たマヤの物語に似ています。マヤの物語では多くのイメージを見ましたが、それらのイメージに対応する意味が何であるかはわかりませんでした。帰納的学習では、考古学者が持っていた暦に関する知識に似た知識ベースが存在することを前提としています。同時に、初期分類器もあります。考古学者がこの画像を初めて見たとき、この画像が何であるかを推測するようなものです。それで、彼は何を根拠に推測しているのでしょうか?彼の脳内にはそのような分類器が存在します。

この学習では、まずすべてのデータを初期分類器に提供し、初期分類器は結果を推測します。たとえば、赤は 1 などです。

次に、この結果を取得した後、それを知識推論システムが受け入れることができる記号表現に変換します。たとえば、これらのラベルからは、A は得られますが、B や C は得られません。では、次のステップでは、ナレッジ ベース内の知識を使用して、矛盾点があるかどうかを調べる必要がありますか?先ほどのマヤ暦の話では、1 ラウンド目で結果が一貫していましたが、一般的なタスクでは、必ずしもそれほど早く一貫した結果が得られるとは限りません。

矛盾がある場合、修正すれば一貫性を保つことができる何かを見つけることはできますか?ここで、最小の矛盾を見つけます。この非 C を C に変更する限り、得られる事実は知識と一致することがわかったとします。変更してみましょう。これは赤い部分です。これは逆控除の結果です。

推定された C については、元のラベルに戻って変更します。次に、変更されたラベルと元のデータを使用して、新しい分類器をトレーニングします。このプロセスは継続的に繰り返すことができます。この分類器は古い分類器を置き換えることができます。このプロセスは、分類子が変更されなくなるか、取得した事実が知識ベースと完全に一致するまで継続され、その時点で停止します。

ご覧のとおり、左半分は機械学習を行っており、右半分は論理的推論を行っています。さらに、一方が重くてもう一方が軽いということではなく、両者は相互に依存しており、このプロセスはこのサイクルで継続されます。今日は、アブダクション学習の正式な説明には立ち入りません。

4 アブダクション学習の議論と例

議論したい点がいくつかあります。まずはデータ部分を見てみましょう。帰納的学習では、このデータにはラベルではなくインスタンスのみが必要です。では、教師あり学習では何を頼りにするのでしょうか?これは主に、初期の分類器と知識ベース内の知識に依存します。

この教師情報はデータの外部から来ていると考えられるため、この観点からは、アブダクション学習は非常に一般化された弱教師あり学習と見なすことができます。しかし一方で、初期データにラベルがある場合は、そのラベル情報をこの学習プロセスで完全に活用できます。たとえば、真のラベルと推論されたラベルを一緒に使用して分類器などを更新します。

2 番目の側面は、最初の分類子はどこから来るのかということです。これは、事前トレーニングやディープラーニングに似た転移学習など、さまざまな方法で実行できます。転移学習では、1 つのタスクを実行するときに別のタスクの結果を使用して予備モデルを作成できます。データのクラスタリング結果を大まかな出発点として使用しても、うまくいく場合があります。

ここで重要な点は、最初の分類器は正確で信頼できる必要はなく、プロセスを開始するためにのみ使用されるということです。初期モデルが非常に粗い場合でも、知識ベース内の知識が信頼できる場合は、知識ベース内の情報を通じて分類器を修正し、プロセスを続行できます。知識があまり正確ではないが、初期モデルが適切であれば、先に進むことができます。両方とも良いのであれば、もちろんさらに良くなる可能性はあります。言い換えれば、少なくとも 1 つ良いことがあれば、先に進むことができます。もちろん、データにラベルがなく、初期分類器が信頼できず、知識が信頼できない場合は、そのようなタスク自体は実行できません。

では、この知識ベースはどこから来るのでしょうか?これは現在のところ、人間の専門家が提供する必要があります。ナレッジグラフに関する最近の研究は、大いに役立ちます。また、初期の知識は完璧ではない可能性があります。このプロセスでは、データから学習することで知識を洗練させることができるため、アブダクション学習自体が知識の洗練のプロセスであると考えることができます。

次の工程では、学習や推論などを具体的にどのように行うか、具体的なアルゴリズムの仕組みを設計します。アブダクション学習自体はフレームワークです。その中のメカニズムの詳細を異なる設計にすることで、異なる特性を持つアブダクション学習モデルやアルゴリズムを作成できます。ここでは、長いコードを解読するというタスクの簡単な例を示します。

例えば、上記の 3 行のコードは画像の形式で表示されます。たとえば、1 行目は正の例で、2 行目は負の例です。3 行目が正の例か負の例かを判断できますか?ここで、トレーニング データの長さは、テスト データに使用される長さとは異なります。さらに、データのセマンティクスは事前にわかりません。それはまるで暗号を解読するようなものです。ここで、単純な XNOR 問題を考えてみましょう。

1 つ目は DBA タスクです。左側はトレーニング データです。各データは 5 つの画像で構成され、5 ビットと見なすことができます。0+0=0 は正の例、1+0=0 は負の例です。これらの 5 ビット画像で構成されたデータを学習した後、テスト データは右側のようになります。長さはトレーニング データよりもはるかに長く、一部のデータ特性も異なります。たとえば、トレーニング データの等号は常に最後から 2 番目の位置にありますが、テスト データの等号は非常に異なる位置に現れることがあります。 2 番目の RBA タスクはより困難です。画像はランダムに生成されるため、画像の意味を理解することは不可能です。

シンプルな実装を使用しました。機械学習部分は畳み込みニューラルネットワーク、論理推論部分はALPを使用しています。どちらもオープンソースコードがあり、そのまま使用できます。両者を結びつけるために、中間の最適化解決プロセスは、一般的な機械学習のそれとは多少異なります。ニューラルネットワークや統計学習で使用する最適化は、一般的に数値最適化を使用し、通常は勾配降下法で行われますが、現在直面しているシンボリック最適化では、微分法や勾配降下法を実行することはできません。ここでは、私たちの研究チームが過去 5 ～ 6 年間取り組んできた、勾配を求めずに最適化を実行するゼロ次最適化手法を使用します。これらのテクノロジーを組み合わせることで、実装が簡単になります。

実験結果を見てみましょう。図中の青色と紫色は、それぞれ畳み込みニューラルネットワークと LSTM 処理に基づいて得られた結果に対応しています。下の水平線はランダムな推測に対応し、上の水平線は人間のレベルに対応します。最初の図の DBA タスクでは、長さが 12 ビット以内であれば、ニューラル ネットワークのパフォーマンスが人間よりも優れていることがわかります。しかし、12 ビットを超える長さの場合、人間はこれらのニューラル ネットワークよりも優れています。

オレンジ色の部分は演繹学習の結果です。機械学習と論理的推論を組み合わせることで、このタスクを平均的な人よりも優れた結果で実行できます。右側の RBA タスクでも状況は同様です。このより難しいタスクでは、文字列の長さが長くなるにつれて、すべての方法のパフォーマンスが低下しますが、帰納的学習に基づく方法は依然として人間のレベルよりも高いです。

実験におけるこの単純なタスク自体は重要ではありません。重要なのは、機械学習と論理的推論を「比較的バランスのとれた」演繹学習法で組み合わせることで、非常に単純な実装でも魅力的な機能を引き出せることを示していることです。将来、より洗練された巧妙な実装方法が設計されれば、さらなる驚きがもたらされるかもしれません。

ご興味があれば、上記の最初の論文は Chinese Science に掲載された記事です。細かい点には触れずに全体の枠組みを解説しており、非常に読みやすいです。 2 番目は、今まさに具体的な実装について説明しています。

最後に、簡単にまとめと展望を述べます。現在、データ、アルゴリズム、コンピューティングパワーという3つの要素についてよく話されていますが、今後は人類の知恵の集積である知識という要素も考慮する必要があるかもしれません。過去 10 年ほど、私たちはデータ駆動型の観点から人工知能を研究してきました。今こそ、データ駆動型と知識駆動型のアプローチを組み合わせるべき時なのかもしれません。私たちの研究は、ごく表面的な予備調査にすぎません。研究の余地は大いにあります。興味があれば、この点でもっと良い研究ができると思います。ありがとう！​