中国科学院深圳先端技術研究所：新しい知識強化グラフニューラルネットワークが説明可能な推奨を実現

近年、ビッグデータとディープラーニングに基づく人工知能は、驚くべきコンピューティング能力と学習能力を発揮しています。しかし、ディープラーニングモデルには深くネストされた非線形構造が含まれることが多く、意思決定につながる特定の要因を特定することが困難になり、意思決定の説明可能性と透明性が欠如します。

同時に、説明可能な推奨は推奨システムの透明性、説明可能性、信頼性を向上させるだけでなく、ユーザー満足度も向上させるため、説明可能な推奨タスクは研究者からますます注目を集めています[1]。

ディープラーニング手法と言語処理技術の発展により、パーソナライズされた推奨事項を提供する際に、多くの手法で自然言語生成技術を使用して自然なテキスト説明が生成されます[2-3]。しかし、データがまばらであるため、高品質のテキスト説明を生成することが難しく、読みやすさも劣ります。

さらに、ナレッジグラフにはより多くの事実とつながりを含めることができるため、一部の研究者はナレッジグラフを推奨事項に使用し、グラフ推論パスを通じて推奨事項の説明可能性を高めています[4-5]。ただし、グラフパスベースの方法では、事前に定義されたパスや、データセット内に複数の種類の関連付けが存在するなど、いくつかの前提条件または定義が必要です。同時に、ナレッジグラフに冗長なエンティティが含まれる場合があり、その結果、推奨結果が均質になる可能性があります。

論文リンク: https://ieeexplore.ieee.org/abstract/document/9681226

この目的のために、著者らは説明可能な推奨を実現するための新しい知識強化グラフニューラルネットワーク (KEGNN) を提案しました。

KEGNN は、外部知識ベースの意味知識を使用して、ユーザー、製品、ユーザーと製品の相互作用という 3 つの側面から知識強化された意味埋め込みを学習します。

ユーザーと製品の相互作用の観点から、知識強化型セマンティック埋め込みを使用してユーザー行動グラフが構築され、初期化されます。

次に、グラフニューラルネットワークに基づくユーザー行動学習および推論モデルを提案します。このモデルは、ユーザーの嗜好情報を伝達し、ユーザー行動グラフ上でマルチホップ推論を実行し、それによってユーザー行動を包括的に理解します。

最後に、階層型協調フィルタリング層が推奨予測用に設計され、コピーメカニズムが GRU ジェネレーターと組み合わされて、高品質で人間が判読できる意味説明が生成されます。著者らは、3 つの実際のデータセットに対して広範な実験を実施しました。実験結果は、KGNN が既存の方法よりも優れていることを示しています。

方法

著者らは解釈可能性を実現するために知識強化グラフニューラルネットワークを提案しました。提案された方法のアーキテクチャを図 1 に示します。

主に、知識強化型セマンティック表現学習、グラフニューラルネットワークに基づくユーザー行動学習と推論、階層型協調フィルタリング、テキスト解釈生成の 4 つのモジュールが含まれます。

モジュール 1: ユーザー、アイテム、およびユーザーとアイテムの相互作用の意味的表現を学習するために、著者はユーザーとアイテムのレビュードキュメントを時系列順にまとめ、それぞれユーザー、アイテム、およびユーザーとアイテムの相互作用として表される 3 種類のテキストドキュメントを作成しました。

3 つの文書に対して、さらに知識強化型意味表現学習が実行されます。図 2 は、知識強化型意味表現学習モジュールの構造を示しています。

まず、コンテキスト表現部分では、単語レベルの埋め込み表現と意味コンテキスト表現を最初に学習し、BiLSTMを使用して単語レベルの埋め込みの最上位層をグローバルにキャプチャして階層的な意味表現を取得します。第二に、知識認識において、著者らは知識ベースを使用して意味表現学習を強化します。

さらに、著者らは、ユーザー/アイテムのエンコーディングを表現するためにワンホットを使用し、完全に接続されたレイヤーマッピングを使用して、スパースなワンホット表現をユーザー/アイテムの固有の表現としての密な表現に変換します。最後に、マルチヘッドアテンションを使用して、知識認識表現とユーザー/アイテムの固有の表現をさらに融合し、知識が強化されたユーザー/アイテム/ユーザーとアイテムの相互作用表現を出力します。

モジュール 2: ユーザーの好みを完全に理解するために、著者らはグラフニューラルネットワークに基づくユーザー行動学習および推論モジュールを設計しました。このモジュールには、図 3 に示すように、ユーザー行動グラフの構築、情報伝播層、マルチホップ推論の 3 つのステップが含まれています。

まず、ユーザーとアイテムの相互作用関係からユーザー行動グラフを構築し、知識強化されたセマンティック表現を使用して、ユーザー行動グラフのノード表現とエッジ表現を初期化します。

第二に、グラフニューラルネットワークのアーキテクチャに基づいて、著者らは、ユーザー行動間の一次近傍ネットワーク（エゴネットワーク）を捕捉するために、GNN情報伝播層に基づく情報伝播と情報融合を設計した。

最後に、再帰的なアプローチを使用して、マルチホップ推論を使用してグラフ構造の高次接続情報をモデル化します。

モジュール 3: 著者らは、図 4 (a) に示すように、ニューラル協調フィルタリングフレームワークに基づく階層型ニューラル協調フィルタリングアルゴリズムを設計しました。このアルゴリズムには、主に 3 層のニューラル協調フィルタリングが含まれており、ユーザーと製品の相互作用の予測を実現します。

最初のニューラルコラボレーション層は完全に接続された層です。ユーザー行動グラフの学習と推論から得られたユーザー表現と製品表現が入力として連結され、式 1 に示すように、ユーザーと製品の相互作用表現の最初の層が出力されます。

（フォーミュラ1）

2 番目のレイヤーでは、ユーザーとアイテムの関係の表現と 1 番目のレイヤーの出力を融合する関係認識ニューラルネットワークレイヤーを設計します。

2 つの融合方法、すなわちアダマール積 (式 2 など) と完全接続層非線形融合 (式 3 など) が使用され、それぞれ関係性を考慮したユーザーとアイテムの相互作用表現と高レベルの相互作用表現が出力されます。

（式2）

（式3）

3 番目のレイヤーでは、式 4 に示すように、関係性を考慮したユーザーとアイテムの相互作用表現と高レベルの相互作用表現を入力として使用して、評価予測を実現します。

（式4）

モジュール 4: 生成モデルとコピーメカニズム (生成モードとコピーモード) を組み合わせて、著者は、人間が読める高品質の説明を生成するための新しいテキスト説明生成モジュールを設計します。

図 4 の右側部分は、このモジュールの詳細を示しています。説明生成器としてリカレントニューラルネットワークGRUを使用し、さらにユーザーの元のコメントから情報を抽出するためのコピーメカニズムを導入し、2つのモード（生成モードとコピーモード）を組み合わせて、ユーザーが読みやすく理解しやすい直感的なテキスト説明（単語シーケンス）を生成します。

実験

データセットの選択

この記事では、Amazon5 コアの 3 つのデータセット、つまり電子機器、家庭キッチン、音楽機器を使用します。評価範囲は[0,5]です。すべてのデータセットについて、著者は各データセット内のユーザーとアイテムのインタラクションの 80% をトレーニングセットとしてランダムに選択し、ユーザーとアイテムのインタラクションの 10% をテストセットとして選択し、残りのユーザーとアイテムのインタラクションの 10% を検証セットとしました。

評価予測パフォーマンス

手法の比較では、図に示すように、KEGNN を CTR、PMF、NARRE、NRT、GCMC、LightGCN、RippleNet と比較しました (各手法の RMSE と MAE を計算)。

結果から、すべてのデータセットにおいて、当社の方法 KEGNN が MAE と RMSE の両方で比較したすべての方法よりも優れていることがわかります。

ビルド品質の説明

結果から、著者の方法は精度と F1 指標の点で最高のパフォーマンスを発揮しますが、リコール率は CTR や NARRE ほど良くないことがわかります。品質評価の結果は、著者によって生成されたテキストによる説明が、処理動作に関連するグラウンドトゥルースレビューと類似しており、処理動作の背後にある暗黙のユーザー意図を明らかにしていることを示しています。著者らは、以下の事例分析において解釈可能性をさらに調査した。

ケーススタディ

著者は、生成された説明の解釈可能性を示すためにいくつかのケースを選択しました。選択されたケースはすべてテストセットからのものです。したがって、実際のテキストは説明生成プロセスで隠されています。3 つのデータセットの典型的なケースを上の表に示します。地面は、ユーザーによって提供された実際のコメントを表します。

ケーススタディから、私たちのアプローチは、評価されたアイテムに対するユーザーの選択と購入理由を説明する説明を生成することがわかります。解釈可能な概念と側面は太字の斜体で強調表示され、ユーザー行動の根底にある意図を示し、推奨結果の解釈可能性を示します。