認知グラフは人工知能の次の大きなトレンド

AIの次のチャンスはどこにあるのでしょうか?

AIの概念が初めて提唱されたのは1956年なので、60年以上の歴史があります。現在、関連する理論と技術の継続的な革新により、AIはデータ、コンピューティング能力、アルゴリズムの「3つの要素」のサポートにより、ますます私たちの日常生活に入り込んでいます。

しかし、この一連の驚きの背後には、ほとんどの AI が言語理解、視覚シーン理解、意思決定分析などで苦戦しているという事実があります。これらの技術は依然として主に知覚レベルに焦点を当てており、つまり AI を使用して人間の聴覚、視覚、その他の知覚能力をシミュレートしていますが、推論、計画、関連付け、作成などの複雑な認知インテリジェンスタスクを解決できません。

現在のAIは、情報が「脳」に入った後の処理、理解、思考が欠けており、比較的単純な比較と識別しか行わず、「認知」ではなく「知覚」の段階にとどまっています。知覚知能技術に基づくAIは、人間の知能にはまだまだ遠いものです。

その理由は、AI が、大規模な常識的な知識ベースと認知に基づく論理的推論という、その発展を制限するボトルネック問題に直面しているためです。ナレッジグラフ、認知推論、論理表現に基づく認知グラフは、国内外の学者や業界リーダーの間で「現在この技術的ボトルネックを打破できる実現可能なソリューションの 1 つ」と見なされるようになっています。

最近、清華大学コンピュータサイエンス学部の教授兼副学部長であり、Zhipu AIの主任科学者でもある唐潔氏が、MEET 2021 Intelligent Future Conferenceで「認知グラフ - 人工知能の次の宝物」と題する素晴らしい講演を行いました。

[[374126]]
清華大学コンピュータサイエンス学部教授兼副学部長、Zhipu AI主任科学者、唐潔氏

MEET 2021インテリジェント未来カンファレンスはQuantum位が主催しました。カンファレンスでは、唐潔、李開復、譚建栄、崔宝秋などAI学界と産業界の著名人を招き、「再起動」、「再形成」、「再構築」という3つの主要テーマを中心に、インテリジェント産業の将来の発展の道筋について議論しました。

タン教授は講演の中で、まず人工知能の3つの時代、すなわち記号知能、知覚知能、認知知能について簡単に紹介しました。今検討する必要がある疑問は、「コンピューターには認知能力があるか？」ということです。コンピューターは推論できますか?将来、コンピューターは意識において人間を超えることができるのでしょうか?

唐教授は、認知AIはまだ実現されておらず、緊急に取り組む必要があるのは、ナレッジグラフの構築、認知インフラストラクチャを含むナレッジグラフの認知ロジックなど、いくつかの基本的なこと（AIインフラストラクチャ）であると述べました。

1950 年の人工知能システムの開発から、1970 年の人間の脳を模倣するコンピュータの徹底的な研究、そして 1990 年にコンピュータが人間の脳を完全に「模倣」するのではなく「参照」していることをコンピュータ科学者が認識するまで。今、私たちはコンピューター変革の時代にあり、人間の思考ではなくコンピューター思考をもっと活用してコンピューター思考を行うべきです。

今、人々が考えなければならないのは、コンピューター的な方法で認知を行うにはどうすればよいかということです。タン教授は、2つの方法を組み合わせることでこれを達成できると述べた。

1つ目は、ビッグデータの観点からデータ駆動型となり、すべてのデータをモデル化し、データ間の相関関係を学習し、データのメモリモデルを学習することです。2つ目は、知識チャネルを使用して知識グラフを構築することです。

しかし、この 2 つの側面だけでは決して十分ではありません。唐教授は次のように指摘した。「真の汎用人工知能には、学習を継続し、既存の事実やフィードバックから新しいことを学び、より複雑なタスクを完了する能力が備わっていることを期待しています。」

タン教授は、人間の認知と意識から認知 AI の 9 つの原則を抽出しました。

1. 適応力と学習能力
2. 定義と文脈化のスキル
3. 自己システムへのアクセス
4. 優先順位とアクセス制御機能
5. 召集と統制の能力
6. 意思決定と実行能力
7. エラー検出と編集機能
8. 反省と自己監視スキル
9. 組織力と柔軟性の間の能力<br /> これら 9 つの原則に基づいて、次の 3 つのコアを含む認知マップの新しい概念が提案されています。

1. 常識マップ。例えば、高精度なナレッジグラフの構築、ドメインシステムの応用システム、超大規模都市ナレッジグラフの構築、ナレッジグラフに基づく検索・推奨など。

2. ロジック生成。コンピューティング モデルに関しては、超大規模な事前トレーニング済みモデルと、コンテンツを自動生成する機能が必要です。

3. 認知的推論。それは、コンピューターに論理的推論と思考の能力を与え、人間のように考えさせることです。

唐教授は、知識グラフ＋ディープラーニング＋認知心理学、知識と認知的推論を駆使したフレームワークの構築が、今後の重要な研究方向となるだろうと述べた。

現在、プロジェクトの主要技術は北京知普華章科技有限公司（略称知普AI）に転化され、複数の中核製品を形成している。アリババ、捜狗、ファーウェイ、テンセント、ディアンドン、中国工程院など30以上の企業や機関に100以上のインテリジェントクラウドサービスシステムが導入されており、応用の見通しは極めて広い。

清華大学の唐潔教授: 認知グラフは人工知能の次の宝石です。この AI スター スタートアップは、AI を使用して技術革新を推進し、説明可能で堅牢、安全、信頼性が高く、推論能力のある新世代の認知エンジンの構築に取り組んでいます。 Zhipu AIは、清華大学チームの10年以上にわたる知識インテリジェンスの蓄積と人材の優位性に依存して、現在では高品質の大規模ナレッジグラフを構築し、深層暗黙的連想マイニングアルゴリズムや認知グラフなどの中核キーテクノロジーを開発し、完全に独立した知的財産権を持ち、政府部門、企業、科学研究機関にサービスを提供しています。

2020年中国人工知能年間選抜において、Zhipu AIはTOP10 AIスタースタートアップとTOP10ベストソリューションの2つの賞も受賞しました。

以下はタン教授のスピーチの記録です（若干編集されています）。

この会議にご招待いただき、また、私たちの最近の研究の一部を皆さんと共有する機会をいただき、誠にありがとうございます。

なぜ認知マップと呼ばれるのでしょうか?まず、人工知能の発展について、最も初期の記号知能から、その後の知覚知能、そして最近では誰もが話題にしている認知知能まで見てみましょう。私たちは今、コンピューターに認知能力があるかどうか、コンピューターに認知能力があるかどうか、コンピューターに推論能力があるかどうか、さらには将来コンピューターに意識があり人間を超えることができるかどうかを探る必要があります。

人工知能には3つの発展の波がありました。私たちは人工知能を、記号AI、知覚AI、認知AIの3つの時代と呼んでいます。認知AIはまだ実現されていませんが、その途中にあります。

では、今緊急に必要なことは何でしょうか?これらは、認知マップの構築方法、認知ロジック、認知インフラストラクチャの構築方法などの基本的な事項です。これは私たちが特にやりたいことです。

これをやる前に、まず機械学習について復習しましょう。機械学習といえば、多くの人がすぐに、機械学習には決定木などの多くの分類モデルがあることを知っていると言います。ここでは、分類モデル、シーケンスモデル、確率的グラフィカルモデルが左端にリストされています。もう少し右には境界の最大化、ディープラーニング、さらに下にはリカレントインテリジェンスがあります。さらに右には強化学習、ディープ強化学習、そして最近話題になっている教師なし学習があります。これが機械学習のギアです。では、機械学習は私たちの認知からどれくらい離れているのでしょうか?私たちは、人間の認知と人間の思考、そして人間の認知が一体何であるかということも含め、この認知について検討する必要があります。

清華大学の唐潔教授：認知グラフは人工知能の次の宝です。そこで、私はノーベル賞やチューリング賞受賞者に関する情報をたくさん読み、このようなPPTページをざっとまとめました。以下は人間の思考であり、すべてのモデルは人間の思考から得られます。上記はコンピュータチューリング賞と認知に関連する情報です。 1900 年代初頭には、神経系の構造がありました。その後、1932年頃にはニューロンのシナプスに関するノーベル賞があり、1960年代には神経終末の伝達メカニズムに関するノーベル賞がありました。1975年頃には視覚系に関するノーベル賞がありました。嗅覚系が発見されたのはつい最近、20年前のことです。脳がどのように位置を特定し、ナビゲートするのか、そして脳のメカニズムがどのようなものなのかが理解されたのは2010年になってからでした。これがノーベル賞なのです。

コンピュータがどのように考えるか、つまり機械思考を見てみましょう。人工知能システムは1950年頃に作られましたが、1970年頃から人々は人間の脳を真似しようと懸命に努力し始めました。私たちは人間の脳と全く同じコンピューターを作りたかったのです。しかし、1990年頃、コンピューター科学者たちは、人間が真似をする必要はないことに突然気づきました。人間の脳や脳のシステムをもっと参考にして、コンピューターにもっと機械的な思考能力を持たせるべきだと。ですから、この時代は、コンピュータ革命の時代だと言えます。計算を行う際には、人間の思考ではなく、コンピュータ思考がより多く使われています。

最後に、確率的グラフィカル モデル、確率的および因果的推論、そして最近ではディープラーニングがあります。もちろん、結局のところ、機械学習とモデルについて話しているだけだと言う人もいるでしょう。これは現実からかけ離れすぎているのではないでしょうか。

もうひとつの例、Open AI を挙げてみましょう。私たちは、コンピューターシステムが人間を凌駕できるような汎用人工知能を構築したいと考えています。過去数年間、私自身もそれを信じていませんでした。汎用人工知能の実現は難しいと思っていました。オープン AI はいくつかのシナリオを作成し、ゲーム環境などの制限されたシナリオで人間に勝利しました。上記のケースでは、強化学習フレームワークがいくつか開かれ、誰もがフレームワーク内でプログラミングできるようになります。

近年で最も衝撃的なものをご紹介します。 2年前、Open AIがGPTを作りましたが、とてもシンプルで、みんな言語モデルだと思って何もしていませんでした。去年、彼らはGPT-2を作りましたが、その時作ったパラメータモデルはそれほど大きくありませんでした。何十億ものパラメータを持つモデルが生み出す効果は、多くの人が触ったことがあると思います。talk to transformerというデモがありますが、これは翻訳者と話すというものです。どんなテキストでも入力でき、トランスフォーマーがテキストを完成させるのを手伝ってくれます。

しかし、今年6月にOpen AIがGPT-3をリリースしました。このモデルのパラメータ規模は突如1750億に達し、人間のニューロン数に迫る数字となりました。これは衝撃的な結果をもたらしました。コンピューターのパラメータモデル、少なくともその表現能力は人間に近いのです。効果はそれほど良くないかもしれませんが、その表現能力はすでに人間のそれに近いです。つまり、ある理論的証明の下で、コンピュータのパラメータを十分に良く、十分なものにすることができれば、人間と同等の IQ でパフォーマンスを発揮できる可能性があります。

これにより、別の啓示が得られます。コンピューターの結果、つまり計算方法を通じて、人間を超える汎用人工知能を直接得ることができるのでしょうか?

過去数年間でモデル全体がどのように進化してきたかを見てみましょう。パラメータ規模はほぼ毎年10倍ほど成長しています。右のグラフは近年の自然言語処理の急激な変化を示しており、ほぼ指数関数的な変化です。ここ数年の変化は比較的小さかったことがわかります。今年はGPT-3がリリースされ、Googleは6000億の出力規模に到達しました。来年は兆レベルに達するかもしれません。これは非常に急速な成長です。

さて、もう一つの疑問は、この大規模で高計算能力の方法、つまりビッグコンピューティングの方法を使って、真の人工知能を実現できるかどうかです。これは問題です。

もちろん、その一方で、誰もが別の問題点に気づくでしょう。すべてのトレーニングの結果を見ると、1枚のカードを使用してGPT-3をトレーニングするには355年かかります。トレーニング全体のコストは数億人民元で、一般の企業には負担できません。さて、もう一つの疑問は、たとえMeituanのような大企業がこのモデルを作成したとしても、誰もがそれを使用できるのか？ それで十分なのか？

次の例は、左側にモデル、右側に結果を示しています。一つ目は、キリンには目がいくつあるかということです。 GPT-3 は目が 2 つあると言っていますが、問題ありません。第二に、私の足には目がいくつあるでしょうか?その結果、目も 2 つあることになりますが、これは間違いです。 3番目の質問は、クモには目がいくつあるかということです。 8つの目。 4番目の太陽にはいくつの目がありますか?目。最後の質問はどうでしょうか? 草の葉には目がいくつあるでしょうか?目。

ご覧のとおり、GPT-3 は非常に賢く、すべての結果を生成できます。これらの結果は自動的に生成されますが、アキレス腱があります。それは、実際には常識がないことです。

常識の知識グラフが必要です。

2012 年に、Google はナレッジ グラフをリリースしました。当時のコンセプトは、大量のデータを使用してグラフを構築できるかどうかでした。したがって、今後の検索では、検索結果を自動的に構造化し、構造化されたデータのフィードバックを自動的に提供します。ナレッジ グラフには検索エンジンが含まれるだけでなく、計算に常識的な知識も取り入れることができます。この方法は将来の計算に役立つでしょうか? ここで別の疑問が生じます。

実は、ナレッジグラフは、人工知能の第一世代であるシンボリックAIの頃から、何年も前から開発されてきました。当時、ナレッジグラフが定義され、シンボリックAIの論理的表現が定義されつつありました。1970年代には、それは知識工学と呼ばれていました。しかし、なぜナレッジグラフは今まで大規模に発展しなかったのでしょうか？

まず、建設コストが非常に高く、正確に建設しようとすると人件費が非常に高くなります。ご存知のとおり、CYC は 1990 年代に開発されました。知識アサーションを定義するコストは ABC トリプルで、A は主語、B は関係、C は受容体です。たとえば、人は手を持っているので、人は主語、「持つ」は関係、手は受容体です。これは非常に単純な問題ですが、当時のコストは 5.7 ドルでした。別のプロジェクトでは、インターネットを介してデータを生成し、完全に自動化された方法を使用しましたが、エラー率が10倍に増加しました。これら2つのプロジェクトは現在、半ば停滞した状態にあります。

ではどうすればいいでしょうか？私たちは現在、計算の観点から認知をどのように見るかについて考えています。認知のために依然としてコンピューティングを使用する場合、それをどのように実現できるでしょうか?先ほど述べた 2 つのことを組み合わせると、次のようなモデルになります。

まず、ビッグデータの観点から、データ駆動型となるために、10 in 1のディープラーニング手法を使用してすべてのデータをモデル化し、データ間の相関関係を学習し、データのメモリモデルを学習します。

第二に、知識主導型になり、ナレッジグラフを構築し、知識を使って全体を推進する必要があります。これら 2 つを組み合わせると、将来の認知 AI を解決する鍵となる可能性があります。

それで十分ですか？この答えだけでは不十分です。今後は、元のモデルや既存のモデルを真に超える認知モデルを構築する必要があります。このような認知モデルは、まず GPT-3 などのプリセット モデルを超える必要があります。まったく新しいアーキテクチャ フレームワークとまったく新しい目的関数が必要です。そうして初めて、このような事前トレーニング済みモデルを超えることができます。そうでなければ、ただ従うだけです。

いくつか例を挙げると、これは私たちが最近試みたことです。これら 2 つのうち、どちらが人間によって作られたと思いますか?どれが機械で作られていますか？実は、これらは両方とも機械で作られています。これは、みんなの楽しみのために生徒たちが作ったものです。実は、以下の結果は完全に正しいわけではなく、内容も間違っています。上記の結果も完全に機械によって生成されたものです。しかし、論理的に考えると、基本的には実現可能です。今必要なのは、機械に一定の創造性を与えることです。テキストだけでは不十分です。私たちは本物の絵を作りたいと思っています。それは創造であり、クエリではありません。

ここにはテキストがあります。このテキストを通じて、元の写真から新しい写真を自動的に生成できることを期待しています。この写真が生成され、このマシンが創造力を持つことを期待しています。もちろん、創造だけでは十分ではありません。真に汎用的な人工知能まで、私たちはどれくらい遠いのでしょうか?私たちは、真の汎用人工知能が学習を継続し、既存の事実やフィードバックから新しいことを学び、より複雑なタスクを完了できる能力を持つことを期待しています。

ここで疑問が生じます。認知とは何でしょうか?持続可能な学習が達成されれば、それは認知でしょうか?そうなると、GPT-3にも学習能力があり、ナレッジグラフも常に更新されているので学習能力があるということになります。複雑なタスクを完了できることは認知能力と見なされますか?そうではありません。当社のシステムの中には、すでに非常に複雑な問題を処理できるものもあります。認知とは何でしょうか?そこで最近、私たちはいくつかの考えに基づいて、認知 AI の 9 つの原則を定義しました。これら 9 つの原則は、人間の認知と意識から私が抽出した 9 つの原則です。

1 つ目は、適応性と学習能力と呼ばれます。今日の MEET カンファレンスのように、機械が特定の環境にいる場合、ロボットは自動的に学習し、このモデルとシナリオで何をすべきかを認識します。

2 つ目は、定義とコンテキスト機能と呼ばれます。このモデルは、この環境内のコンテキストを認識し、そのような環境を認識することができます。

3 つ目は、自己システムのアクセス能力と呼ばれます。ここで説明しているのは、このマシンが何が私で何が私でないかをカスタマイズできるということです。これをパーソナリティと呼びます。この機械が自分自身の性格を知ることができれば、一定レベルの認知能力を備えていると考えられます。

4 番目は、優先順位とアクセス制御機能であり、特定のシナリオで選択する機能があります。私たちは皆、ダブルイレブンで買い物をするかどうかを選択できます。ダブルイレブン中に、今日何かを買いたいが、明日後悔するので買わないほうがいいと機械が判断できる場合、この機械には一定の優先順位とアクセス制御があります。

第五に、召集および制御する能力。このマシンは統計を実施し、意思決定を行う能力を持つ必要があります。

6番目は、意思決定と実行能力です。このロボットは、すべてのデータを感知した後、意思決定を行うことができます。

7 番目は、エラー検出と編集機能です。これは非常に重要です。人間の知識の多くは、実際には試行錯誤を通じて発見されます。たとえば、現在学んでいる多くの知識については、どの知識が最善であるかはわかりません。私たちは常に試行錯誤を繰り返しています。今日は 1+1 は 2 であると学んだかもしれませんが、これは良いことですが、1+1 は 3 にしたり、1+1 は 0 にしたりしても、うまくいくでしょうか。試してみると、どれも正しくないことがわかります。これはエラー検出と編集と呼ばれます。マシンにこの機能を持たせることは非常に重要です。

8番目は、反省、自制、自己監視です。このロボットがあなたと長時間チャットしていて、「ごめんなさい、昨日は間違ったことを言ってしまいました。今日は訂正しました」と言ったとします。このとき、機械には反省する能力があります。

最後に、機械は組織化され、合理的でなければなりません。

私たちはこれらを認知 AI の 9 つの原則と呼んでいます。 9 つの原則に基づいて、認知マップの新しい概念を提案します。

常識グラフには 3 つの中核要素があります。まず、常識グラフ、例えば高精度なナレッジグラフの構築、ドメインナレッジグラフの応用システム、超大規模ナレッジグラフの構築、ナレッジグラフに基づく検索や推奨などです。これらは伝統的なものです。

2 つ目は、ロジック生成と呼ばれるコンピューティング モデルと非常に関連しています。現時点では、超大規模な事前トレーニング済みモデルと、コンテンツを自動生成する機能が必要です。同時に、将来的にはシステム内に関連するものを自動的に生成し、人間のように行動できるデジタルヒューマンシステムを構築することもできます。

3 番目に、認知的推論が必要であり、認知的推論の能力は、コンピュータが推論し、論理を持つ能力を持つために必要です。少し漠然とした感じがして、演繹論理とは何なのかと誰もが疑問に思うかもしれません。人間の認知には2つのシステムがあり、1つはシステム1、もう1つはシステム2と呼ばれています。システム1はコンピューターが行うマッチングです。清華大学がどこにあるか尋ねると、すぐに北京とマッチングされます。しかし、世界のコンピューターにおける清華大学のランキングはどのくらいでしょうか?そしてなぜ1位にランクされているのでしょうか?このとき、ある程度の論理的推論が必要であり、コンピュータはこの質問に答えることができません。 このとき、論理的推論が必要です。 私たちは、自分の優位性がどこにあるのかを考える必要があります。 人間が考えるとき、それはシステム 2 と呼ばれる遅いシステムであり、より複雑な論理的思考を必要とします。現在のディープラーニングはすべてシステム 1 で行われます。システム 1 の問題を解決するのは、論理的認識ではなく直感的認識です。今後さらに取り組む必要があるのは、システム 2 です。

脳科学の観点から見ると、現在私たちが行っていることと比べて、2つの大きな違いがあります。1つ目は記憶、2つ目は推論です。記憶は海馬を通じて達成され、認知は前頭葉を通じて達成されます。これら 2 つのシステムは非常に重要です。これらはどのように達成されるのでしょうか?記憶モデルを見てみましょう。Baddeley の記憶モデルは 3 つの層に分かれています。短期記憶は超大規模なビッグ データ モデルです。ビッグ データ モデルでは、ビッグ データ モデル内の一部の情報を長期記憶に変換し、それを知識に変えるにはどうすればよいのでしょうか。これが記憶モデルの役割です。

もちろん、論理的に言えば、まだやるべきことはあるので、今私たちは何をすべきでしょうか?認知グラフの核となるのは、ナレッジグラフとディープラーニングが必要であり、さらに認知心理学を組み合わせて新しいモデルを構築する必要もあるということです。

最後のページでは、このようなフレームワークを構築しました。このフレームワークの左側には、入力、つまりユーザー側であるクエリ インターフェイスがあります。真ん中には、超大規模な事前トレーニング モデル、メモリ モデルがあります。メモリ モデルは、試行錯誤と蒸留を使用して、一部の情報を長期記憶モデルに存在する長期記憶に変換します。長期記憶モデルは、無意識の検出、多くの自己定義と調整ロジック、および認知的推論を実行します。

これを基に、知識と認知的推論の両方によって駆動されるフレームワークを作成することを目標としたプラットフォームを構築しました。最下層は分散ストレージと管理、中間層は推論、意思決定、予測、そしてその上にはさまざまな API があります。

唐潔教授は次のように紹介しました。

[[374127]]

Tang Jie 氏は、清華大学コンピューターサイエンス学部の教授兼副学部長です。Young Elite Scientist Award の受賞者であり、IEEE フェローでもあります。人工知能、認知グラフ、データマイニング、ソーシャルネットワーク、機械学習に関する研究。彼は 300 本以上の論文を発表し、16,000 回以上引用され、ACM SIGKDD Test-of-Time Award (10 年間の最優秀論文) を受賞しました。彼は研究者向けのソーシャルネットワークマイニングシステムであるAMinerの開発を主導し、世界220の国と地域で2,000万人以上のユーザーを獲得しました。彼は、ビッグデータと AI OPEN に関する IEEE T. の編集長、および WWW'21、CIKM'16、WSDM'15 の PC 議長を務めています。北京科学技術進歩賞一等賞、人工知能学会一等賞、KDD優秀貢献賞を受賞。