知識が求められるポストディープラーニング時代に、知識グラフをいかに効率的かつ自動的に構築するか

ナレッジグラフは何ができるのでしょうか?ナレッジグラフを自動的かつ効率的に構築するにはどうすればよいでしょうか?ナレッジグラフの自動構築における最先端技術とは？この記事では、これらの質問に一つずつ答えていきます。

[[352157]]

日常生活では、情報を提示する次の 2 つの方法によく遭遇します。

表示される情報量はどちらも同じですが、右側のものの方が直感的に見えます。さらに、この利点はテキストの長さが長くなるにつれてより顕著になります。

人間と同様に、機械は右側に表示されるデータを活用するのが得意です。しかし矛盾なのは、インターネットなどのデータ プラットフォームには、左の図に示すようなデータが主に保存されていることです。左の画像を右の画像に変換するには、機械が「読解」のプロセスを経る必要があります。

このプロセスはどのように実行されるのでしょうか?これが今日の話題であるナレッジグラフにつながります。

ナレッジグラフは何ができるのでしょうか?

ナレッジグラフの概念は 2012 年に Google によって提案され、主に検索エンジンの品質を向上させ、ユーザーの検索エクスペリエンスを向上させるために使用されました。ビッグデータ時代の到来と人工知能技術の進歩により、ナレッジグラフの応用範囲は徐々に拡大しています。ますます多くの企業が、既存のデータ分析ビジネスにナレッジグラフ技術を統合し始めています。ナレッジグラフをデータの基本的な組織と保存形式として使用し、データミドルプラットフォームのコアインフラストラクチャにしている企業もあります。

Google と同様に、Microsoft は Bing 検索エンジンにナレッジ グラフ テクノロジを使用して、検索結果の品質とインタラクティブな検索エクスペリエンスを最適化しています。LinkedIn と Facebook はナレッジ グラフを使用してプラットフォーム上の人、物、情報などの関係性を探索し、ユーザーが興味のあるコンテンツを発見したり、志を同じくする友人を見つけたりしやすくしています。eBay や Amazon などの e コマース プラットフォームはナレッジ グラフを使用してユーザーと製品を結び付け、より正確な製品推奨を行っています。IBM はエンタープライズ サービスに重点を置いており、IBM Watson Discovery 製品はユーザーが特定のニーズに基づいて独自のナレッジ グラフ フレームワークを迅速に構築するのに役立ちます。

ナレッジ グラフの概念は 2012 年に提案されたばかりですが、その背後にある考え方は本質的には前世紀のセマンティック ネットワーク知識表現形式、つまりノード (ポイント) とエッジ (エッジ) で構成される有向グラフ構造の知識ベースです。グラフのノードは現実世界に存在する「エンティティ」を表し、グラフのエッジはエンティティ間の「関係」を表します。

図1: 従来の知識ベースと知識グラフの模式図 [1]

従来のデータ保存およびコンピューティング方法と比較して、ナレッジグラフ技術は、構造化されていない異種データの収集と処理に重点を置いており、関係性の表現と計算に優れており、複雑で多様な関連性分析を処理し、より多くの隠れた知識を発掘できます。同時に、ナレッジグラフのデータ構造は、人工知能分野の多くの技術タスクの基盤となるデータ（異種構造化および多重相関ビッグデータ）と一致しており、後続の機械学習および推論タスクを強力にサポートし、企業がインテリジェント検索、インテリジェントな質疑応答、インテリジェントな推奨、ビッグデータ分析のパフォーマンスを向上させるのに役立ちます。

インテリジェント検索: 従来の検索エンジンは、Web ページ間のリンクと重みに基づいて検索ランキングを実行しますが、ナレッジ グラフはエンティティの分類、属性、関係の説明を提供し、オブジェクトのより正確なセマンティック検索を可能にします。

インテリジェントな質問と回答: 知識グラフに基づくインテリジェントな質問と回答は、業界の現在の質問と回答システムの主な技術ルートの 1 つです。つまり、与えられた自然言語の質問に対して、知識グラフ技術を使用して意味分析、クエリ、および推論を実行し、回答を取得します。この技術は、Siri、Google Assistant、Amazon Alexa、Xiaoai、Tmall Genie、MicrosoftのXiaoIceやXiaonaなど、スマートフォンやスピーカー上のインテリジェント会話ロボットによく見られます。これらのインテリジェント質疑応答エージェントの背後には、質疑応答システムのサポートとして関連企業が蓄積した知識グラフがあります。

インテリジェントな推奨: ナレッジ グラフに基づく推奨では、ユーザーと推奨アイテム間のさまざまなつながりをより適切に考慮し、データの意味情報を強化し、隠れた関連情報をマイニングして、推奨の精度をさらに向上させることができます。

ビッグデータ分析: ナレッジグラフ内のエンティティの関連情報と推論に基づいて、従来のデータ分析では取得が困難な暗黙的な情報をマイニングできます。この利点は、大量の異種情報を含むデータセットでより顕著になります。ナレッジグラフに基づくビッグデータ関連付け分析は、金融リスク管理、不正防止、さらにはセキュリティなどのアプリケーションシナリオに優れた効果をもたらします。

近年、ナレッジグラフの多くの利点と応用の見通しにより、業界アプリケーションにおける特定分野のナレッジグラフ構築が推進され、医療ナレッジグラフ、金融ナレッジグラフ、電子商取引グラフなど、さまざまな垂直産業向けのナレッジグラフ形式が生まれました。

図2: 業界知識グラフアプリケーションの概要 [2]

ナレッジグラフを構築するにはどうすればいいですか?

一般的に言えば、ナレッジ グラフの構築には、知識の獲得、知識の表現とモデリング、知識の融合、知識の保存、構築が完了した後の知識のクエリと推論など、いくつかの主要な要素が含まれます。

知識獲得: さまざまなソースと構造のデータから知識 (エンティティ、関係、属性、およびその他の情報) を抽出することは、ナレッジ グラフを構築するための中核であり前提条件です。

知識の表現とモデリング: 知識の統一されたデータ スキーマを開発し、統一されたデータ構造に従って取得した知識を保存し、知識ベースを形成します。これは、知識グラフの正式な構築の最初のステップであり、その後の知識の融合、保存、およびクエリ推論に使用できる方法と効果に影響します。

知識の融合: 統一されたフレームワーク仕様を使用して、異種データを検証、明確化、処理、統合します。これは、知識グラフを更新およびマージする唯一の方法であり、異なる知識グラフ間のインタラクティブな融合の可能性を提供します。

知識ストレージ: データ量、データ特性、アプリケーション要件に基づいて、適切なストレージ モードを選択し、取得したデータを保存して知識グラフを形成します。

知識クエリと推論: 構築された知識グラフに基づいてクエリを実行したり、さらに推論して隠れた知識をマイニングして知識グラフを充実させ、拡張したりします。これが知識グラフ構築の最終目標であり、知識獲得とともに、知識グラフの適用シナリオと範囲に影響を与えます。

図3: ナレッジグラフ構築の要素とプロセス例

正式な知識獲得ステップを実行する前に、通常はまず知識のモデリング表現を確認する必要があります。主な方法は 2 つあります。

まず、ナレッジ グラフのデータ スキーマを設計し、次に、設計されたデータ スキーマに基づいてターゲット データ抽出を実行します。これはトップダウンのデータ モデリング手法であり、比較的集中したデータと比較的確実な知識構造を持つ垂直産業のナレッジ グラフに一般的に適用されます。

まず、データを収集して整理し、次に内容に応じてデータの特性を要約して一般化し、フレームワークを洗練して、徐々に明確なデータモデルを形成します。これはボトムアップのデータモデリング方法であり、一般に、膨大なデータ、複雑な内容、不明瞭なアーキテクチャを含むパブリックドメインの一般的な知識グラフに適しています。

図4: ナレッジグラフデータモデリング手法 [3]

ナレッジグラフ構築のコア技術、限界、開発の方向性

知識獲得は、ナレッジ グラフを構築するための中核であり前提条件であり、ナレッジ グラフを自動的に構築するための最も重要な影響要因であり、重要な研究分野でもあります。現在の知識獲得は、純粋に手動による知識入力に加えて、主に、構造化データ (リレーショナル データベースなど)、半構造化データ (Web ページ データが明確にマークされた辞書や百科事典など)、または非構造化データ(音声、画像、テキスト コーパス データなど) という 3 つの異なる構造の知識を自動または半自動で抽出することを指します。

構造化データや半構造化データの場合、通常は、後続のデータ分析システムの入力として使用する前に、単純な前処理とマッピングのみが必要であり、関連するテクノロジはすでに比較的成熟しています。非構造化データから有効な情報を抽出するには、通常、自然言語処理、情報抽出、さらにはディープラーニング技術の助けが必要です。これは、エンティティ抽出、関係抽出、イベント抽出という3つの重要なサブ技術タスクを含む現在の知識抽出技術の主な難しさと研究方向でもあります。

エンティティ抽出: 主に、人物、組織、場所、時間、金額などの特定のカテゴリの名前付きエンティティをプレーンテキストから自動的に識別して提案する名前付きエンティティ認識 (NER) タスクを指します。エンティティ抽出は、知識抽出における最も基本的なステップです。初期の頃は、主に手動でルールを記述して実行されていました。しかし、ルールを要約するのは簡単ではなく、コストが高く、移植性も低いため、現在は主に補助的な方法として使用されています。その後、エンティティ抽出では、主に隠れマルコフモデル (HMM) や条件付きランダムフィールド (CRF) などのモデルを使用して特徴ベースの統計的手法が採用され、エンティティ抽出が予測ラベル付けのシーケンスラベル付け問題として扱われるようになりました。近年、ディープラーニングの発展に伴い、統計的手法とディープニューラルネットワークを組み合わせ、長短期記憶ネットワーク（LSTM）を使用して特徴を自動的に抽出し、CRFモデルと組み合わせてエンティティにラベルを付けて抽出する方法がより一般的になっています。この方法は、自動化の度合いが高く、適用範囲が広くなっています。

関係抽出: テキストからエンティティ間の関係を識別して抽出することを指します。抽出結果は、多くの場合、SPO 構造 (主語-動詞-目的語構造) の 3 つ組で表されます。エンティティ抽出と同様に、初期にはテンプレートベースの方法（トリガーワードテンプレート、依存関係構文解析テンプレートなど）が主に使用されていました。近年では、半自動の教師あり学習ベースの方法（CNN、RNNなど）と、純粋に自動の弱教師あり学習ベースの方法（遠隔教師、ブーストラッピングなど）が開発され始めています。現在、関係抽出タスクで最高のパフォーマンスを達成したモデルのほとんどには、Attention CNN モデルや Attention BLSTM モデルなどの注意メカニズムが組み込まれています。

イベント抽出: テキスト内の対象イベントに関する情報を識別し、構造化された形式で提示することを指します。例えば、投資や融資に関するニュースから融資会社、融資額、投資会社などの情報を探したり、ニュース報道からテロ攻撃の日時、場所、被害者情報を特定して抽出したりします。イベント抽出には、エンティティ抽出と関係抽出の両方の関連テクノロジが含まれます。イベント抽出のマクロ的な観点から見ると、イベント抽出方法はパイプライン抽出とジョイント抽出の 2 つのカテゴリに分けられます。パイプライン抽出の考え方は、イベント抽出タスクをパイプライン上でイベント認識、要素抽出、属性分類などの複数のサブタスクにさらに分解し、対応する機械学習分類器を使用して実装するというものです。これが現在主流のイベント抽出方法です。共同抽出では、主に共同モデリングに確率グラフに基づくモデルを使用するか、ディープラーニング ベースの方法 (注意メカニズムに基づくシーケンス ラベリング モデルなど) を使用して、イベント全体の複数の要素を識別および抽出します。

モバイルインターネット、クラウドコンピューティング、モノのインターネットなどの技術の急速な発展により、大規模なデータの生成、分析、応用のためのビッグデータの時代が到来しました。しかし、インターネット上には、機械が簡単に直接解析できる構造化または半構造化データ知識はごくわずかしかありません。非構造化データからの知識抽出は、手作業を完全に置き換えるための精度要件にまだ達しておらず、手作業による編集に依存するナレッジグラフの構築には、コストが高く効率が低いという問題があります。ドイツのマンハイム大学の研究者による推定[5]によると、トリプル（つまりレコード）を手動で作成するコストは2ドルから6ドルです。そうすると、完全に手動の方法を使用して大規模なナレッジグラフを構築する場合の総コストは、数百万ドルから数十億ドルになります。これに比べて、ナレッジグラフを自動的に作成するコストは約 15 ～ 250 倍削減でき、つまり、トリプルのコストは約 1 セント ～ 15 セントになります。したがって、自動化された知識抽出技術を適用して、幅広いフリーテキスト情報から高品質で構造化された知識を自動的かつ正確に抽出する方法は、ナレッジグラフの構築における重要なブレークスルーとなるでしょう。

図5: 各トリプルのコストとエラー率の関係の概略図[5]

最先端のナレッジグラフ自動構築技術

知識獲得は知識グラフの自動構築の中核であり、非構造化知識は知識獲得において克服する必要がある最も困難な技術的問題です。近年、ディープラーニングや関連する自然言語処理技術の急速な発展により、人間の介入をほとんどまたはまったく必要とせずに、非構造化データから自動的に知識を抽出できるようになりました。従来の方法と比較して、ディープラーニング方式は外部ツールへの依存を減らし、エンティティ認識や関係抽出などのタスクを直接実行するエンドツーエンドのシステムを構築できるため、シンプルで効率的です。

アレン人工知能研究所とマイクロソフトの研究者は、ディープラーニングに基づいて、自然言語処理の分野で成功した事前学習済み言語モデルを組み合わせ、COMET（COMmonsEnse Transformers）[8]と呼ばれる自動知識グラフ構築モデルを提案しました。このモデルは、既存の常識ライブラリ内の自然言語コンテンツに基づいて、豊富で多様な常識の説明を自動的に生成することができ、Atomic と ConcepNet という 2 つの古典的な常識グラフで人間のパフォーマンスに近い高い精度を達成し、常識知識グラフの自動構築と完成における従来の方法に代わるこのような方法の実現可能性を証明しました。

図6: COMETは既存の知識グラフ（実線）から学習し、新しいノードとエッジ（破線）を生成します[8]

一方、IJCAI 2020における明路科学院知識工学研究所の論文は、従来のテキストベースのナレッジグラフ生成から音声ベースのナレッジグラフ生成へと拡張した、異なるアプローチを採用しました。彼らのHAO-Graphシステム[10]は、リアルタイムの音声グラフ生成アーキテクチャを設計・実装しており、話者の話題の変化に応じて異なるグラフを切り替えることができます。

図7: 長いスピーチから抽出された要約付き知識グラフの例[10]

HAO-Graph は Minglue Technology の HAO インテリジェント テクノロジーをベースとしており、音声からナレッジ グラフを構築する初めての公開システムです。中国語のテキストと音声のナレッジ グラフのリアルタイム生成と視覚化を実現します。同時に、Minglu Technologyは最近のWAIC 2020でText2KG APIインターフェースをさらに公開し、関連する実務者がナレッジグラフの基礎レベルでデータの収集、ラベル付け、抽出、関連付けなどのタスクを実行できるようにし、多くの反復作業を回避して開発者の時間を節約しました。

ディープラーニングの開発が行き詰まりを迎えている今、知識を組み合わせることが人工知能技術の次の飛躍の鍵となり、ナレッジグラフは必ずその中核的な原動力の一つとなるでしょう。今後、この技術がさらに幅広く応用されることを期待しています。