知識をグラフに変換するには、いくつのステップが必要ですか?インターネット上で最も包括的な清華ナレッジグラフレポートの89ページ

ナレッジグラフは、人工知能の重要な分野技術です。2012年にGoogleによって提案され、大規模な知識を構築するためのキラーアプリケーションになりました。検索、自然言語処理、インテリジェントアシスタント、電子商取引などの分野で重要な役割を果たしています。

ナレッジグラフ、ビッグデータ、ディープラーニング、これら3つの「秘密兵器」は、インターネットと人工知能の発展の中核的な原動力の1つとなっています。

[[376932]]

ナレッジグラフの概念と分類
ナレッジグラフは2012年にGoogleによって提案され、検索エンジンにうまく適用されました。客観的な世界における概念、実体、およびそれらの関係を構造化された形式で記述し、インターネット情報を人間の認知世界に近い形式で表現し、膨大な量のインターネット情報をより適切に整理、管理、および理解する方法を提供します。

ナレッジグラフを分類する方法は数多くあり、例えば、知識の種類や構築方法などで分けることができます。ドメインの観点から見ると、ナレッジ グラフは通常、一般的なナレッジ グラフとドメイン固有のナレッジ グラフの 2 つのタイプに分けられます。

▲ナレッジグラフ図

一般的なナレッジ グラフ図には、主にエンティティ、概念、属性の 3 種類のノードが含まれます。

エンティティとは、区別可能で独立した存在であるものです。人、都市、植物、製品など。世の中のあらゆるものは、実体を指す具体的な物で構成されています。エンティティはナレッジ グラフの最も基本的な要素であり、異なるエンティティには異なる関係があります。

概念とは、国、国民、書籍、コンピューターなど、同じ特性を持つエンティティの集合を指します。

属性は概念の特性を区別するために使用され、異なる概念には異なる属性があります。異なる属性値タイプは、異なるタイプの属性を持つエッジに対応します。属性値が概念またはエンティティに対応する場合、属性は 2 つのエンティティ間の関係を記述し、オブジェクト属性と呼ばれます。属性値が特定の数値である場合は、データ属性と呼ばれます。

[[376934]]

ナレッジグラフの3つの典型的な応用
現在、商業検索エンジン企業を筆頭とするインターネット大手は、ナレッジグラフの戦略的重要性を認識しており、ナレッジグラフのレイアウトに多額の投資を行っており、検索エンジンの形態にますます大きな影響を与えています。ビジネスニーズに応じてナレッジグラフアプリケーションを設計および実装し、データ特性に基づいて最適化および調整する方法は、ナレッジグラフアプリケーションの主要な研究内容です。

ナレッジ グラフの一般的な用途としては、セマンティック検索、インテリジェントな質問と回答、視覚的な意思決定サポートなどがあります。

1. セマンティック検索

現在のキーワードベースの検索技術は、ナレッジグラフの知識サポートにより、エンティティと関係性に基づく検索、つまりセマンティック検索にアップグレードできます。

セマンティック検索では、ナレッジグラフを使用してユーザーの検索意図を正確に把握し、ナレッジグラフ内の知識に基づいて従来の検索で発生するキーワードの意味的多様性と意味的曖昧性の解消の問題を解決し、エンティティリンクを通じて知識とドキュメントのハイブリッド検索を実現します。

セマンティック検索では、自然言語入力によってもたらされる表現の多様性の問題をどのように解決するかを考慮する必要があり、同時に言語内のエンティティの曖昧さの問題を解決する必要があります。同時に、ナレッジグラフの助けを借りて、セマンティック検索では、キーワードを含む関連 Web ページへのリンクではなく、ユーザーの検索意図を満たす回答を直接提供する必要があります。

2. インテリジェントなQ&A

質問応答 (QA) は、ユーザーが提起した質問にコンピューターが自動的に回答できるようにする高度な情報サービスです。既存の検索エンジンとは異なり、質問応答システムは、キーワードの一致に基づいて関連文書をランク付けするのではなく、自然言語で正確な回答をユーザーに返します。

インテリジェントな質問応答システムは、将来の情報サービスにおける破壊的技術の 1 つと見なされており、機械が言語を理解する能力を持っていることを確認する主な手段の 1 つとも考えられています。

インテリジェントな質問応答には、ユーザーによる自然言語入力を理解し、ナレッジ グラフまたは対象データからユーザーの質問に対する回答を提供する必要があります。その主要な技術と難しさには、正確な意味解析、ユーザーの真意の正しい理解、返された回答のスコアリングによる優先順位の決定などがあります。

3. 視覚的な意思決定支援

視覚的な意思決定支援とは、視覚化、推論、検索などを組み合わせた統一されたグラフィカル インターフェイスを提供することで、ユーザーに情報を取得するためのエントリ ポイントを提供することを指します。例えば、意思決定支援では、グラフ可視化技術を利用して、ベンチャーキャピタルマップ上の新興企業の発展状況や投資機関の投資嗜好などの情報を解釈し、ノード探索、パス発見、関連性探索などの可視化分析技術を通じて企業の総合的な情報を表示することができます。

視覚的な意思決定支援で考慮する必要がある重要な問題には、視覚化を通じてユーザーがビジネス パターンを迅速に発見できるように支援すること、視覚化コンポーネントのインタラクティブな使いやすさを向上させること、大規模なグラフ環境での基盤となるアルゴリズムの効率性などがあります。

[[376935]]

一般的な知識グラフとドメイン固有の知識グラフ
1. 一般的な知識グラフ

汎用知識グラフは、比喩的に言えば、現実世界の常識的な知識を大量に含み、広範囲を網羅する、汎用分野向けの「構造化された百科事典的知識ベース」とみなすことができます。現実世界の知識は豊富かつ多様で極めて複雑なため、一般的なナレッジグラフは主に知識の広さを重視し、百科事典データを用いたボトムアップ（トップダウン）方式で構築されることが多いです。下図は常識知識ベース型のナレッジグラフを示しています。

海外のDBpediaは、固定パターンを使用してWikipediaから情報エンティティを抽出します。現在、127の言語で2,800万以上のエンティティと数億のRDFトリプルを保有しています。YAGOは、WikipediaとWordNetの大規模なオントロジーを統合し、10の言語で約459万のエンティティと2,400万の事実を保有しています。

中国のZhishi.meは、オープン百科事典データから構造化データを抽出しています。現在、百度百科事典、滬東百科事典、中国語版Wikipediaの3大百科事典のデータを統合しており、1,000万のエンティティデータと1億2,000万のRDFトリプルを保有しています。

2. ドメイン知識グラフの応用

ドメイン知識グラフは、さまざまな複雑な分析アプリケーションや意思決定サポートを支援するためによく使用されます。複数の分野に適用されており、分野によって構築ソリューションや適用形式が異なります。

電子商取引を例にとると、電子商取引のナレッジグラフは商品を中心に、人、商品、場所を主な枠組みとしています。現在、第 1 レベルのオントロジーには 9 つのカテゴリがあり、第 2 レベルのオントロジーには 27 のカテゴリがあります。

第 1 レベルのエンティティは、人、商品、場所、百科事典の知識、業界の競合他社、品質、カテゴリ、資格、世論です。人、商品、場所が商品情報の循環のための閉ループを構成し、他のエンティティが主に商品に関するより豊富な情報記述を提供します。

上図は商品ナレッジグラフのデータモデルを示しています。データソースには、国内外データ、企業国内データ、オンラインオフラインなどのマルチソースデータが含まれます。現在、数百億のノードと数百億の関係エッジが存在します。

電子商取引ナレッジグラフ、この製品の「頭脳」の応用シーンの 1 つはショッピング ガイドです。いわゆるショッピングガイドにより、消費者は欲しいものを見つけやすくなります。たとえば、購入者が「美しいシルクのスカーフが必要です」と入力すると、「プロダクトブレイン」は文法と語彙の分析を通じて「1つ」、「美しい」、「シルク」、「スカーフ」などの意味上のキーポイントを抽出し、購入者が適切な製品を検索できるようにします。

ショッピングガイド中に発見しやすくするために、「製品脳」は純綿、低糖、低プリンなど、多くの業界規制と国家基準も学習しました。

さらに、時代の変化に対応できるという利点もあります。 「商品脳」は、公共メディアや専門家コミュニティの情報から最近のホットワードを識別し、ホットワードの変化を追跡し、それがホットワードになったかどうかをオペレーションで確認することができます。そのため、バイヤーが「男殺しカラー」「禁断のキス」「タッセルスタイル」などのホットワードを入力すると、欲しい商品が表示されます。

最後に、インテリジェントな「製品脳」は、リアルタイム学習を通じてシナリオを構築することもできます。たとえば、「ビーチで買うもの」と入力すると、水着、水泳用リング、日焼け止め、ビーチスカートなどの製品が結果に表示されます。

[[376937]]

知識工学の発展の5つの段階
ナレッジグラフ技術はナレッジエンジニアリングの一部です。 1994 年、チューリング賞受賞者であり知識工学の創始者であるファイゲンバウムは、知識工学を「知識をコンピュータ システムに統合して、特定分野の専門家だけが実行できる複雑なタスクを完了すること」と定義しました。

過去 40 年間の知識工学の発展を振り返ると、知識工学は、次の図に示すように、知識工学以前の時代、エキスパート システム時代、World Wide Web 1.0 時代、集合知時代、知識グラフ時代という 5 つの象徴的な段階に分けることができます。

1) 1950～1970年：チューリングテスト - 知識工学の黎明期

この段階では、象徴主義とコネクショニズムという 2 つの主なアプローチがあります。象徴主義は、物理的な記号システムが知的行動の必要かつ十分な条件であると信じていますが、コネクショニズムは、脳（ニューロンとその接続メカニズム）がすべての知的活動の基礎であると信じています。

この時期の主な知識表現方法としては、論理的知識表現、生成規則、意味ネットワークなどがあります。

2) 1970～1990年：エキスパートシステムと知識工学のブーム

一般的な問題解決では、知能システムを構築するために人間の問題解決能力を活用することに重点が置かれ、知能に対する知識のサポートは無視されるため、人工知能が実際のアプリケーションで役割を果たすことは困難です。 1970 年代以降、人工知能は知識ベース システムの構築へと移行し、「知識ベース + 推論エンジン」を通じて機械知能を実現し始めました。

この期間中、フレームワークやスクリプトなどの知識表現方法に新たな進化がありました。1980 年代後半には、専門家のドメイン知識をコンピューターで処理できる知識に変換するのに役立つ、多くのエキスパート システム開発プラットフォームが登場しました。

3) 1990-2000: ワールドワイドウェブ 1.0

1990 年から 2000 年にかけて、広く使用されている英語の WordNet、一階述語論理知識表現を使用する Cyc 常識知識ベース、中国語の HowNet など、人工的に構築された大規模な知識ベースが数多く登場しました。

Web 1.0 World Wide Web の出現により、HTML を使用してテキストの内容を定義し、ハイパーリンクを通じてテキストを接続するオープン プラットフォームが提供され、一般の人々が情報を共有できるようになりました。 W3C が提案する拡張マークアップ言語 XML は、タグを定義することでインターネット文書コンテンツの構造をマークできるようにし、インターネット環境における大規模な知識表現と共有の基盤を築きます。

4) 2000-2006: 群知能

ワールド ワイド ウェブの出現により、知識は閉じられた知識から開かれた知識へ、そして集中的に構築された知識から分散されたグループのインテリジェントな知識へと移行できるようになりました。もともとエキスパートシステムはシステム内で定義された知識でしたが、現在では知識ソースを相互にリンクすることが可能となり、固定された人によって完全に生成されるのではなく、関連付けによってより多くの知識を生成できるようになりました。

この過程で、集合知が生まれました。最も典型的な代表はWikipediaで、これは実際にユーザーが知識を構築するものです。これはインターネットユーザーの知識への貢献を反映しており、今日の大規模構造化知識グラフの重要な基盤となっています。

5) 2006年から現在: ナレッジグラフ - 知識工学の新たな発展期

「知識は力である」、そしてワールド ワイド ウェブのコンテンツを、機械が理解でき、計算可能な知識に変換し、インテリジェントなアプリケーションに力を与えることが、この期間の目標です。 2006 年以降、Wikipedia のような大規模で構造化された知識リソースの出現とネットワーク規模の情報抽出方法の進歩により、大規模な知識獲得方法は飛躍的に進歩しました。

現在、自動的に構築された知識ベースは、セマンティック検索、ビッグデータ分析、インテリジェント推奨、データ統合のための強力な資産となり、大規模な業界や分野で広く使用されています。代表的な例としては、Google が 2012 年に Freebase を買収した後に開始した Knowledge Graph、Facebook のグラフ検索、Microsoft Satori、ビジネス、金融、ライフサイエンスなどの分野における特定のナレッジ ベースなどが挙げられます。

上記の表は、ナレッジグラフの分野における重要な国際学術会議 10 件を示しています。これらの会議では、ナレッジグラフの分野における研究の方向性、技術動向、学術研究成果に関する重要な情報が提供されます。

[[376938]]

知識をグラフに変換するには、いくつのステップが必要ですか?
ナレッジグラフ技術は、ナレッジグラフを構築し、応用する技術です。中国中国語情報処理学会言語および知識コンピューティング委員会が発表した「ナレッジグラフ開発レポート2018年版」を参考に、このレポートではナレッジグラフ技術を、知識表現とモデリング、知識獲得、知識融合、ナレッジグラフクエリと推論コンピューティング、知識応用技術に分類しています。

1. 知識表現とモデリング

知識表現は、現実世界のさまざまな種類の知識を、コンピューターが保存および計算できる構造で表現します。機械が真に人間のような知能を達成するには、大量の知識、特に常識的な知識を習得する必要があります。

現在、自然言語処理の分野では単語ベクトルなどの埋め込み技術の登場により、連続ベクトルを用いて知識を表現する研究（TransE翻訳モデル、SME、SLM、NTN、MLP、NAMニューラルネットワークモデルなど）が、上記の記号論理に基づく知識表現方法に徐々に取って代わりつつあり、現段階では知識表現の研究のホットスポットになりつつあります。さらに重要なのは、知識グラフの埋め込みは、下の図に示すように、ニューラル ネットワークのトレーニング プロセスを制約および監視するために、多くのディープ ニューラル ネットワーク モデルへの一種の事前知識補助入力としてもよく使用されることです。

従来の人工知能と比較して、ナレッジグラフ時代のベクトルベースの知識表現方法は、トリプルに基づく比較的単純で実用的な知識表現方法で大規模拡張の要件を満たすことができるだけでなく、ビッグデータ分析システムの重要なデータ基盤として機能し、これらのデータをディープラーニングモデルと簡単に統合するのに役立ちます。

同時に、ディープラーニングに代表される表現学習の発展に伴い、ナレッジグラフ内のエンティティや関係性の表現学習も重要な進歩を遂げています。知識表現学習は、エンティティと関係を密な低次元ベクトルとして表現し、エンティティと関係の分散表現を実現し、知識グラフにおけるセマンティックリンク予測と知識補完の重要な方法となっています。

知識表現学習は近年の研究のホットスポットとなっています。研究者は、知識ベース内のエンティティと関係の表現を学習するためのさまざまなモデルを提案してきました。ただし、関係パスのモデリング作業はまだ比較的初期段階であり、関係パスの信頼性計算、意味的組み合わせ操作などに関して、完了すべき詳細な調査作業がまだたくさん残っています。

2. 知識の獲得

知識獲得には、エンティティの認識とリンク、エンティティ関係の学習、イベント知識の学習が含まれます。

1) エンティティ認識とリンクは、知識グラフの構築、知識の補完、知識の応用の中核技術であり、また、大量テキスト分析の中核技術でもあり、コンピューターの人間のような推論と自然言語理解のための知識基盤を提供します。

エンティティ認識は、テキストの意味を理解するための基礎であり、テキスト内の指定されたカテゴリのエンティティを識別するプロセスです。テキスト内の新しいエンティティを検出し、既存の知識ベースに追加できます。

2) エンティティ関係の認識は、ナレッジグラフの自動構築と自然言語理解の基礎となります。エンティティ関係は、2 つ以上のエンティティ間の接続として定義され、客観的に存在するものの間の関係を記述するために使用されます。エンティティ関係学習は、テキストからエンティティ間の特定の意味関係を自動的に検出して識別することであり、関係抽出とも呼ばれます。

エンティティ関係抽出は、定義済み関係抽出とオープン関係抽出に分けられます。定義済み関係抽出とは、階層関係、国と首都の関係など、システムによって抽出される関係が事前に定義されていることを意味します。オープン関係抽出では、抽出される関係カテゴリが事前に定義されません。システムはテキストから関係を自動的に検出して抽出します。

3) イベント知識学習は、自然言語で表現されたイベントを非構造化テキストで構造化された形式で提示することであり、知識の表現、理解、計算、応用にとって非常に重要です。

イベントは、物事の状態や関係に変化を引き起こす条件であり、動的で構造化された知識です。既存の知識リソース (Google Knowledge Graph など) は、主にエンティティとエンティティ間の関係を記述しており、イベント知識の記述が欠けています。

3. 知識の融合

ナレッジ グラフは、あらゆる組織や個人が自由に構築できます。ナレッジ グラフの背後にあるデータはさまざまなソースから取得され、品質もさまざまであるため、データ間には多様性と異質性が生まれます。セマンティック統合の目的は、さまざまな知識グラフを統一された一貫性のある簡潔な形式に統合し、さまざまな知識グラフを使用するアプリケーション間の相互作用の操作性を確立することです。

一般的に使用される手法には、オントロジー マッチング (オントロジー マッピングとも呼ばれます)、エンティティ マッチング (エンティティ アライメント、オブジェクト共通参照解決とも呼ばれます)、および知識融合などがあります。

セマンティック統合の一般的なプロセスには、上図に示すように、主に入力、前処理、マッチング、知識融合、出力の5 つのステップが含まれます。

クラウドソーシングやアクティブラーニングなどの人間と機械のコラボレーション手法は、現在、インスタンスマッチングにおける注目の研究トピックです。これらの方法では、一般ユーザーを活用して比較的低コストで豊富な事前データを取得し、マッチング モデルのパフォーマンスを向上させます。

画像、ビデオ、言語、自然言語処理などの分野での表現学習技術の成功を受けて、一部の研究者は、エンティティ、関係などを低次元空間内の実体ベクトル（分散意味表現）に変換する知識グラフの表現学習技術の研究を始めており、知識グラフ補完や知識ベースの質疑応答などのアプリケーションで良好な成果を上げています。

同時に、強化学習は近年一連の進歩を遂げており、意味統合における強化学習の利用方法が徐々に新たなトレンドとなってきました。

4. ナレッジグラフクエリと推論計算

ナレッジ グラフは、エンティティ、イベント、およびそれらの関係をグラフの形式で表示します。ナレッジ グラフのストレージとクエリの研究では、大規模なグラフ データの効果的な管理をサポートし、ナレッジ グラフ内の知識の効率的なクエリを実現するための効果的なストレージ モデルの設計方法を研究します。

知識推論は、与えられた知識グラフから新しいエンティティとエンティティ間の関係を導き出し、知識の分類、知識の検証、知識リンクの予測、知識の補完などの知識コンピューティングにおいて重要な役割を果たします。

ナレッジグラフ推論は、シンボルベースの推論と統計ベースの推論に分けられます。

人工知能の研究では、シンボルベースの推論は一般に古典論理 (一階述語論理または命題論理) または古典論理のバリエーション (デフォルト論理など) に基づいています。シンボルベースの推論では、既存のナレッジ グラフから新しいエンティティ関係を推測することができ、これを使用して新しい知識を確立したり、ナレッジ グラフ上で論理的な競合検出を実行したりできます。

統計ベースの方法は、一般的に、統計法則を通じて知識グラフからエンティティ間の新しい関係を学習するリレーショナル機械学習方法を指します。

[[376939]]

開発動向と課題
全体的に、ナレッジグラフ分野の発展は、専門化、オープン化、インテリジェンス化の傾向を示し続けるでしょう。既存のナレッジグラフの知識表現と知識リソースの利点をより有効に活用するためには、他の技術（情報推奨、因果グラフ、機械学習、ディープラーニングなど）と統合する必要があります。

現在のインターネット大手はナレッジグラフの戦略的重要性を認識し、ナレッジグラフのレイアウトに多額の投資を行っていますが、ナレッジグラフはまだ開発の初期段階にあり、ほとんどの商用ナレッジグラフの適用シナリオは非常に限られていると強く感じています。たとえば、SogouとZhilifangは、エンターテイメントと健康に重点を置いています。

同時に、さまざまな検索エンジン企業から提供されたレポートによると、ナレッジグラフの正確性を確保するためには、ナレッジグラフの構築プロセスにおいてさらに多くの手動介入が依然として必要であるということです。

人間の複雑かつ多様な知識をより適切にカバーするために、表現スキームを合理的に設計するにはどうすればよいでしょうか?インターネットのビッグデータから正確かつ効率的に知識を抽出するにはどうすればよいでしょうか?ノイズや冗長性の多い知識を有機的に統合し、より大規模なナレッジグラフを構築するにはどうすればよいでしょうか。ナレッジグラフのアプリケーションを効果的に実装し、ナレッジグラフを使用して深い知識推論を実現し、大規模なナレッジグラフの計算効率とアプリケーションシナリオを改善するにはどうすればよいでしょうか。

将来、ナレッジグラフはビッグデータインテリジェンスの最先端の研究課題となるでしょう。これらの重要な未解決の問題は、学界と産業界が協力して早急に解決する必要があります。

次の 2 つの図は、AMiner データ プラットフォームによって描画されたナレッジ グラフ分野における最近の世界的なホット ワードです。

上記の 2 つの図から、知識ベース、情報検索、データ マイニング、知識表現、ソーシャル ネットワークなどの方向性が、ナレッジ グラフの分野で依然として人気があることがわかります。

さらに、近年、情報抽出、クエリ応答、質問応答、機械学習、確率論理、エンティティの曖昧性解消、エンティティ認識、クエリ処理、意思決定支援などの研究熱が徐々に高まっている一方で、概念マップ、検索エンジン、情報システムなどへの熱意は徐々に薄れつつあります。

知東希氏は、ナレッジグラフの推進力により、スマートカスタマーサービスやスマート音声アシスタントを中心とするAIアプリケーションが、最初に実装され収益化される一連の人工知能技術の先駆けになりつつあると考えています。そのため、ナレッジグラフは主要な人工知能およびインターネット企業の戦場となり、ビッグデータやディープラーニングとともに、インターネットと人工知能の発展の中核的な原動力の1つとなっています。

しかし、レポートで述べられているように、正確性を確保するために、ナレッジグラフの構築プロセスでは依然として多くの手動介入が必要です。同時に、ナレッジグラフはまだ開発の初期段階にあり、商用アプリケーションシナリオは限られており、さらに調査する必要があります。