ナレッジグラフとディープラーニングが「出会う」とき

ビッグデータ時代の到来により、人工知能の急速な発展に前例のないデータの恩恵がもたらされました。ビッグデータの活用により、人工知能技術は前例のない進歩を遂げました。その進歩は、ナレッジグラフに代表される知識工学やディープラーニングに代表される機械学習などの関連分野に顕著に反映されています。ビッグデータにおけるディープラーニングのメリットが尽きるにつれ、ディープラーニング モデルの有効性の上限が近づいています。一方、大量のナレッジグラフが出現し続けていますが、こうした人間の事前知識の宝庫は、ディープラーニングによってまだ有効活用されていません。ナレッジグラフとディープラーニングの統合は、ディープラーニング モデルの有効性をさらに向上させるための重要なアイデアの 1 つになっています。ナレッジグラフに代表されるシンボリズムとディープラーニングに代表されるコネクショニズムは、本来の独立した発展の軌道から離れ、協調的な進歩の新しい道を歩み始めています。

ナレッジグラフとディープラーニングの統合の歴史的背景

ビッグデータは、機械学習、特にディープラーニングに前例のないデータの利益をもたらします。大規模なラベル付きデータのおかげで、ディープニューラルネットワークは効果的な階層的特徴表現を学習することができ、画像認識などの分野で優れた結果を達成することができます。しかし、データの配当がなくなるにつれて、特に大規模なラベル付きデータへの依存と事前知識の有効活用の難しさの点で、ディープラーニングの限界がますます明らかになってきています。これらの制限は、ディープラーニングのさらなる発展を妨げます。一方、ディープラーニングの広範な実践では、ディープラーニングモデルの結果が人々の事前知識や専門知識と矛盾することが多いことがますます明らかになっています。大規模サンプルへの依存からディープラーニングを解放するにはどうすればよいでしょうか?ディープラーニングモデルは、大量の事前知識をどのように効果的に活用できるのでしょうか?ディープラーニングモデルの結果を事前の知識とどのように一致させるかは、現在のディープラーニングの分野で重要な課題となっています。

現在、人類社会は膨大な知識を蓄積しています。特に近年では、ナレッジグラフ技術の発展により、機械に適したさまざまなオンラインナレッジグラフが数多く登場しています。ナレッジ グラフは本質的に、さまざまなエンティティ、概念、およびそれらの間の意味的関係を表現するセマンティック ネットワークです。従来の知識表現形式（オントロジーや従来のセマンティック ネットワークなど）と比較すると、ナレッジ グラフには、エンティティ/概念のカバレッジが高く、セマンティック関係が多様で、構造が使いやすく（通常は RDF 形式で表現）、品質が高いなどの利点があり、ビッグ データと人工知能の時代にナレッジ グラフはますます最も重要な知識表現方法になりつつあります。ナレッジグラフに含まれる知識を使用してディープニューラルネットワークモデルの学習を導き、モデルのパフォーマンスを向上できるかどうかは、ディープラーニングモデルの研究における重要な課題の 1 つになっています。

現段階では、ディープラーニング技術をナレッジグラフに適用する方法は比較的直接的です。多数のディープラーニング モデルは、エンドツーエンドのエンティティ認識、関係抽出、関係補完タスクを効果的に完了でき、その後、ナレッジ グラフの構築や強化に使用できます。この論文では、主に深層学習モデルにおける知識グラフの応用について説明します。現在の文献から判断すると、主に 2 つのアプローチがあります。 1 つ目は、ナレッジ グラフ内の意味情報をディープラーニング モデルに入力することです。2 つ目は、離散化されたナレッジ グラフを連続ベクトルとして表現し、ナレッジ グラフの事前知識をディープラーニングの入力にすることです。 2 つ目は、知識を最適化目標の制約として使用して、ディープラーニング モデルの学習をガイドすることです。通常、知識グラフ内の知識は、最適化目標の事後正規項として表現されます。前者については多くの研究論文が出ており、現在注目の研究分野となっている。ナレッジグラフのベクトル表現は重要な機能であり、質問への回答や推奨などの実用的なタスクで効果的に使用されてきました。後者の研究はまだ始まったばかりであり、本稿では制約として一階述語論理を用いた深層学習モデルに焦点を当てます。

ディープラーニングの入力としての知識グラフ

ナレッジグラフは、人工知能における記号化の最近の進歩の典型的な例です。ナレッジ グラフ内のエンティティ、概念、関係はすべて、個別の明示的な記号的な方法で表現されます。しかし、これらの離散的な記号表現は、連続的な数値表現に基づくニューラル ネットワークに直接適用することは困難です。ニューラル ネットワークが知識グラフ内の記号知識を効果的に活用できるようにするために、研究者は多数の知識グラフ表現学習方法を提案してきました。知識グラフの表現学習は、知識グラフの構成要素 (ノードとエッジ) の実数値のベクトル化表現を取得することを目的としています。これらの連続ベクトル化表現はニューラル ネットワークへの入力として使用でき、ニューラル ネットワーク モデルは知識グラフ内の大量の事前知識を最大限に活用できます。この傾向により、知識グラフの表現学習に関する多くの研究が生まれました。この章では、まずナレッジグラフの表現学習について簡単に説明し、次にこれらのベクトル表現をディープラーニングモデルに基づくさまざまな実用的なタスク、特に質問応答や推奨などの実用的なアプリケーションにどのように適用できるかをさらに紹介します。

1. 知識グラフの表現学習

ナレッジ グラフの表現学習は、エンティティと関係のベクトル化された表現を学習することを目的としています。鍵となるのは、ナレッジ グラフ内の事実 (トリプレット <h,r,t>) に関する損失関数 ƒr(h,t) を適切に定義することです。ここで、およびはトリプレット内の 2 つのエンティティ h と t のベクトル化された表現です。一般に、< h,r,t > という事実が成り立つ場合、ƒr(h,t) を最小化することが期待されます。知識グラフ全体を考慮すると、

エンティティと関係のベクトル化された表現を学習します。ここで、O はナレッジ グラフ内のすべての事実の集合を表します。異なる表現学習では、異なる原則と方法を使用して、対応する損失関数を定義できます。ここでは距離と翻訳に基づくモデル[1]を用いた知識グラフ表現の基本的な考え方を紹介する。

距離ベースのモデル。その代表的なものとしてSEモデル[2]がある。基本的な考え方は、2 つのエンティティが同じ 3 つ組 <h,r,t> に属する場合、それらのベクトル表現も投影空間内で互いに近くなるはずであるということです。したがって、損失関数はベクトル投影後の距離として定義される。

行列 Wr,1 と Wr,2 は、トリプル内のヘッド エンティティ h とテール エンティティ t の射影演算に使用されます。ただし、SE では 2 つの別個の射影行列が導入されるため、エンティティとリレーション間の意味的な相関関係を捉えることは困難です。この問題に対処するために、Socher らは、従来のニューラル ネットワークの線形変換層の代わりに 3 次テンソルを使用して、スコアリング関数を特徴付けました。 Bordes らは、複数の行列のアダマール積を導入することでエンティティ ベクトルと関係ベクトル間の相互作用を捉えるエネルギー マッチング モデルを提案しました。

翻訳ベースの表現学習。その代表的な研究であるTransEモデルは、ベクトル空間におけるベクトル変換を通じて実体と関係の相関関係を特徴づける[3]。このモデルでは、<h,r,t> が成り立つ場合、末尾エンティティ t の埋め込み表現は、先頭エンティティ h と関係ベクトル r の埋め込み表現に近い、つまり h+r≈t であると想定しています。そのため、TransEは

スコアリング機能として。トリプルが形成されるとスコアは低くなり、そうでない場合はスコアは高くなります。 TransE は、単純な 1 対 1 の関係 (つまり、関係の両端に接続されているエンティティの数の比率が 1:1) を処理する場合に非常に効果的ですが、複雑な N 対 1、1 対 N、および NN の関係を処理する場合はパフォーマンスが大幅に低下します。これらの複雑な関係に対処するために、Wang は、関係が配置されている超平面上にエンティティを投影し、異なる関係にあるエンティティの異なる表現を学習する TransH モデルを提案しました。 Lin は、投影行列を通じてエンティティを関係サブスペースに投影し、それによって異なる関係における異なるエンティティ表現を学習する TransR モデルを提案しました。

上で述べた 2 つの典型的な知識グラフ表現学習モデルに加えて、他の表現学習モデルも多数存在します。たとえば、Sutskever らは、テンソル分解とベイズクラスタリングを使用して関係構造を学習しました。 Ranzato らは、テンソルによってパラメータ化された知識グラフのベクトル化表現を学習するために、3 方向制限ボルツマン マシンを導入しました。

現在主流となっている知識グラフ表現学習法には、エンティティと関係性の間の意味的相関関係をうまく特徴づけることができない、複雑な関係性の表現学習をうまく処理できない、多数のパラメータを導入したためにモデルが複雑になりすぎる、計算効率が低く大規模な知識グラフへの拡張が難しいなど、依然としてさまざまな問題があります。機械学習やディープラーニングのための事前知識をより適切に提供するために、知識グラフの表現学習は依然として長期的な研究課題です。

知識グラフのベクトル化表現の応用

アプリケーション1 質問応答システム。自然言語による質問応答は、人間とコンピュータのインタラクションの重要な形式です。ディープラーニングにより、質問と回答のコーパスに基づいて質問と回答を生成することが可能になります。しかし、現在のほとんどの深い質問応答モデルでは、大量の知識を活用して正確な回答を提供することが依然として困難です。 Yinらは、単純な事実の質問に対して、知識グラフ内の知識を最大限に活用できるエンコーダー-デコーダーフレームワークに基づく深層学習質問応答モデルを提案した[4]。ディープ ニューラル ネットワークでは、質問の意味はベクトルとして表現されることが多いです。類似のベクトルを持つ質問は、類似した意味を持つと見なされます。これは典型的なコネクショニストのアプローチです。一方、ナレッジグラフの知識表現は離散的であり、つまり、知識と知識の間に段階的な関係はありません。これは象徴主義の典型的なアプローチです。ナレッジ グラフをベクトル化することで、質問をトリプルと照合し (つまり、そのベクトル類似度を計算)、特定の質問に対してナレッジ ベースから最適なトリプルの一致を見つけることができます。マッチングプロセスを図 1 に示します。質問 Q:「ヤオミンの身長はどれくらいですか?」の場合、まず質問内の単語をベクトル配列 HQ として表現します。ナレッジ グラフ内で一致する候補トリプルをさらに検索します。最後に、これらの候補トリプルについて、質問とさまざまな属性間の意味的類似性がそれぞれ計算されます。これは次の類似度式によって決定されます。

ここで、S(Q,τ)は質問Qと候補トリプレットτの類似度​​を表し、xQは質問のベクトル（HQから計算）、uτは知識グラフのトリプレットのベクトル、Mは学習するパラメータです。

アプリケーション2 推奨システム。パーソナライズされた推奨システムは、インターネット上の主要なソーシャル メディアや電子商取引 Web サイトの重要なインテリジェント サービスの 1 つです。ナレッジグラフの応用が進むにつれ、多くの研究によって、ナレッジグラフ内の知識を使用して、コンテンツベースの推奨システムにおけるユーザーやアイテムのコンテンツ（特徴）記述を改善し、推奨効果を向上できることが認識されてきました。一方、ディープラーニングに基づく推奨アルゴリズムは、推奨効果の点で協調フィルタリングに基づく従来の推奨モデルよりも優れていることがますます高まっています[5]。しかし、ナレッジグラフをディープラーニングフレームワークに統合することによるパーソナライズされた推奨に関する研究はまだ比較的少ないです。そのような試みはZhangらによって行われた。著者らは、構造化された知識（知識グラフ）、テキスト知識、視覚的知識（画像）という3つの典型的な知識タイプを最大限に活用した[6]。著者らは、ネットワーク埋め込みを通じて構造化知識のベクトル化表現を取得し、SDAE（Stacked Denoising Auto-Encoder）とスタック畳み込みオートエンコーダを使用して、それぞれテキスト知識特徴と画像知識特徴を抽出しました。そして最後に、3種類の特徴を協調アンサンブル学習フレームワークに統合し、3種類の知識特徴の統合を使用してパーソナライズされた推奨を実現しました。著者らは映画と本のデータセットで実験を行い、ディープラーニングとナレッジグラフを統合したこの推奨アルゴリズムが優れたパフォーマンスを発揮することを証明しました。

ディープラーニングの制約としての知識グラフ

Huらは、第一階述語論理をディープニューラルネットワークに統合したモデルを提案し、それを用いて感情分類や固有表現認識などの問題を解決することに成功した[7]。論理規則は、高次の認知や構造化された知識を表現する柔軟な形式であり、知識表現の典型的な形式でもあります。人間が蓄積したさまざまな論理ルールをディープニューラルネットワークに導入し、人間の意図やドメイン知識を活用してニューラルネットワークモデルを導くことは大きな意義があります。他にも、確率的グラフィカルモデルに論理ルールを導入する研究がいくつか行われています。この種の研究の代表例はマルコフ論理ネットワーク[8]です。しかし、ディープニューラルネットワークに論理ルールを導入できた研究はほとんどありません。

Huらが提案したソリューションフレームワークは、図2に示すように、教師ネットワークq(y|x)と生徒ネットワークpθ(y|x)の2つの部分で構成される「教師-生徒ネットワーク」として要約できます。教師ネットワークは論理ルールによって表される知識をモデル化する役割を担い、生徒ネットワークはバックプロパゲーション法と教師ネットワークの制約を使用して論理ルールを学習します。このフレームワークは、感情分析、名前付きエンティティの認識など、ディープ ニューラル ネットワークでモデル化されたほとんどのタスクに論理ルールを導入できます。論理ルールを導入することで、ディープニューラルネットワークモデルに基づいて効果を向上させることができます。

学習プロセスには主に次の手順が含まれます。

• ソフトロジックを使用して、論理ルールを [0, 1] 間の連続値として表現します。

• 事後正規化法に基づいて、教師ネットワークと生徒ネットワークが可能な限り近くなるようにしながら、論理ルールを使用して教師ネットワークを制限します。最終的な最適化関数は次のようになります。
  
  ここで、ξl,gl はスラック変数、L はルールの数、Gl は l 番目のルールのグラウンディング数です。 KL 関数 (Kullback-Leibler ダイバージェンス) は、教師ネットワークと生徒ネットワークの学習モデルが可能な限り一貫していることを保証します。次の正規用語は、論理規則からの制約を表します。

• 教師ネットワークと生徒ネットワークの予測結果が可能な限り良好になるように、生徒ネットワークをトレーニングします。最適化機能は次のとおりです。
  
  ここで、t はトレーニング ラウンド、l はさまざまなタスクにおける損失関数 (たとえば、分類問題では l はクロス エントロピー)、σθ は予測関数、sn(t) は教師ネットワークの予測結果です。

• 収束するまで手順 1 ～ 3 を繰り返します。

結論

ディープラーニング研究がさらに深まるにつれ、既存の大量の事前知識をいかに効果的に活用し、それによってモデルの大規模なラベル付きサンプルへの依存を減らすかが、徐々に主流の研究方向の 1 つになってきました。知識グラフの表現学習は、この方向への探索に必要な基盤を築きます。ディープ ニューラル ネットワーク モデルに知識を組み込む最近の先駆的な研究も非常に刺激的です。しかし全体的に見ると、現在のディープラーニング モデルでは事前知識を利用する手段がまだ非常に限られており、学術界はこの方向性を探求する上で依然として大きな課題に直面しています。これらの課題は主に次の 2 つの側面に反映されます。

1. さまざまな種類の知識の高品質で継続的な表現を取得する方法。現在の知識グラフ表現学習は、どのような学習原理に基づいているかに関係なく、必然的に意味の損失を生み出します。記号的知識がベクトル化されると、大量の意味情報が破棄され、非常に漠然とした意味的類似関係のみが表現できるようになります。ナレッジグラフの高品質な連続表現をどのように学習するかは、未解決の問題のままです。
2. 常識的な知識をディープラーニング モデルに組み込む方法。多くの実用的なタスク（会話、質問への回答、読解など）では、機械が常識を理解することが必要です。常識的な知識の不足は、汎用人工知能の開発を著しく妨げています。ディープラーニングモデルに常識をどのように導入するかは、人工知能研究の将来の分野における大きな課題となるが、同時に大きなチャンスでもある。