HKU がオープンソースの推奨システムの新しいパラダイム RLMRec を公開!ユーザー/製品のテキストポートレートを正確に抽出するための大規模なモデルサポート

レコメンデーション システムは、ディープラーニングとグラフ ニューラル ネットワークの影響を受けて大きな進歩を遂げており、複雑なユーザーとアイテムの関係を捉えるのに特に優れています。

しかし、グラフニューラルネットワーク (GNN) に基づく既存の推奨アルゴリズムは、一般的に ID データから構築された構造化されたトポロジ情報のみに依存しているため、推奨データセットにはユーザーやアイテムに関連する大量の生のテキストデータが含まれます。そのため、学習された表現は十分な情報を提供できません。

さらに、協調フィルタリングで使用される暗黙的なフィードバック データには潜在的なノイズとバイアスがあり、これもユーザーの好みを学習するディープ モデルの有効性に課題をもたらします。

現在、大規模言語モデル (LLM) と ID データに基づく従来の推奨アルゴリズムをどのように組み合わせるかが、学界と産業界から広く注目されています。しかし、アルゴリズムのスケーラビリティや言語モデルの入力制限（テキストモダリティのみ、入力長制限）など、依然として多くの困難が残っており、大規模な言語モデルが実用的な推奨システムに効果的に役立つことは不可能です。

これらの制限に対処するため、香港大学などの研究者らは、大規模言語モデルを使用して既存の推奨アルゴリズムの表現学習を促進するフレームワーク RLMRec を提案しました。実験では、このフレームワークを既存の最先端の推奨アルゴリズムと組み合わせることで、実際のデータセットにおけるアルゴリズムの推奨パフォーマンスをさらに向上させました。

論文アドレス: https://arxiv.org/abs/2310.15950

コードアドレス: https://github.com/HKUDS/RLMRec

具体的には、このパラダイムは、大規模な言語モデルを使用して、テキストの観点からユーザーの行動の好みと製品の意味的特徴をマイニングし、相互情報量を最大化する手法を使用して、グラフニューラルネットワークからのテキスト信号と協調信号の整合を強化し、アルゴリズムによって学習された表現の品質を効果的に向上させます。

RLMRec に基づいて、対照学習と生成学習に基づいた RLMRec-Con と RLMRec-Gen という 2 つのパラダイムを構築しました。これら 2 つのパラダイムは、さまざまなテスト シナリオで異なる利点を示すため、さまざまな実際のシナリオに柔軟に適用できます。

協調信号におけるノイズの軽減に関する理論的観点

グラフ ニューラル ネットワークに基づく協調フィルタリング推奨アルゴリズムでは、協調信号に基づいて各ユーザー/アイテムの表現が学習されます。

私たちはこれを、コラボレーション シグナルに基づく表現と呼んでいます。ユーザーの観点から見ると、これはユーザーの製品に対する好みを反映しており、製品の観点から見ると、これは製品が引き付けるユーザー グループを反映しています。ただし、コラボレーション信号にはノイズ（誤クリック、人気の偏差など）が含まれる可能性があるため、表現は必然的にノイズの影響を受けます。

推奨の観点から、推奨に純粋に有益な潜在的な信号は であると仮定すると、表現は によって生成され、同時に潜在的なノイズも によって生成されることになります。共同データにはテキスト意味情報が存在しないことを考慮して、本稿ではこれを突破口として、テキスト意味情報を使用してこの現象を軽減することを検討します。

各ユーザー/アイテムについて、テキストセマンティクスに基づいた表現があり、元のテキスト自体がユーザーのお気に入りの製品カテゴリと製品が引き付けるユーザーグループを正確に反映していると想定することもできます。したがって、潜在的なシグナルからの情報も含まれますが、推奨に関連しないシグナルもいくつか含まれています（表現に反映される可能性のある文法やその他の言語属性など）。したがって、次の確率グラフィカルモデルを構築できます。

協調フィルタリングアルゴリズムによって学習された表現eの品質を向上させるために、次の学習目標を構築する。

直感的には、協調信号表現 e とテキスト信号表現 s および潜在信号 z の間の直接的な相関を最大化して、表現 e に推奨パフォーマンスを向上させるためのより有用な情報が含まれるようにしたいと考えています。

理論的導出により、上記の目的を最大化することは、表現eと表現s間の相互情報量I(e, s)を最大化することと同等であり、最終的には次の目的を最適化することに変換できます。

ここで、f は密度関数であり、2 つの間の類似性を反映します。上記の表現学習プロセスは次のように視覚化できます。

最適化プロセスでは、協調信号表現 e とテキスト信号表現 s の重複部分を継続的に増やし、協調信号表現におけるノイズの割合を継続的に減らして、高品質の特徴学習結果を得て、推奨パフォーマンスの向上を促進します。

上記の理論的導出から導かれた最適化目標を真に達成するためには、まだ 2 つの課題が残っています。

1. テキスト内の効果的なユーザー/製品のインタラクション設定を通じて、高品質のテキスト意味表現を取得する方法。

2. 学習目標を効率的に最適化するために密度関数 f を実装する方法。

次の 2 つのセクションでは、これら 2 つの課題に対処する方法について説明します。

ユーザー/製品のテキストポートレートを正確に抽出

テキスト信号表現を取得するには、まずテキスト モードでユーザーと製品の正確なポートレート記述が必要です。これは、ユーザーと製品の実際の好みを反映するように偏りのないものでなければなりません。ユーザー ポートレートが、ユーザーが好む製品カテゴリを効果的に反映し、製品ポートレートが、どのようなユーザー グループを引き付けるかを反映することを期待しています。

実際のレコメンデーションデータセット（Yelp、Amazon-bookなど）には、製品の説明、ユーザーレビューなどの生のテキストデータが多数含まれていますが、これらの生のテキストデータには多くのノイズも含まれています。たとえば、Steamデータセットでは、ビデオゲームに関するプレイヤーのコメントに、意味のない記号が多数含まれています。

これまではノイズの存在により、このテキストデータを使用することが困難でした。幸いなことに、大規模な言語モデルの開発により、効率的なテキスト要約と自然言語処理機能により、この目標を達成できるようになりました。

このセクションでは、大規模言語モデル (LLM) と思考連鎖のアイデアに基づいて、製品からユーザーへのテキストポートレートを構築するパスを提案します。これにより、ユーザーと製品のインタラクションの好みが既存のデータに基づいて正確かつ公平に反映され、高品質のテキスト意味表現を取得できるようになります。

簡単に言うと、まずはユーザーからのフィードバックや製品自身の説明をもとにした製品ポートレートを大規模言語モデルの知識に基づいて要約し、思考プロセスを提供してもらいます。これに基づいて、まずは製品に基づいた偏りのないテキストポートレートを得ることができます。

次に、製品に対するユーザーのフィードバックと製品のテキストポートレートを組み合わせて、大規模言語モデルに入力し、ユーザーポートレートを要約します。ユーザーのフィードバックにはユーザーの真の好みが含まれているため、言語モデルはユーザーの真の好みを正確に把握し、正確なテキストポートレートを生成できます。

最後に、高度なテキスト埋め込みモデルを使用して、テキストポートレートをテキスト表現に変換します。上記のプロセスの概略図は次のとおりです（論文の付録では、生成プロセスの具体的なケースの説明を提供します）。

対照的/生成的モデリング密度関数

密度関数の出力は、入力の 2 つの表現間の類似性を反映する実数です。この機能のモデリングがより効果的かつ正確であればあるほど、相互情報量を最大化することができ、共同信号表現とテキスト意味信号表現間の整合を実現できます。

この論文では、2 つの異なるモデリング アプローチを検討し、2 つの異なるアライメントを実現します。

1つ目は対照的アライメント（RLMRec-Con）であり、その具体的なモデリング形式は次の通りである。

簡単に言えば、ネットワークを通じてテキストの意味表現をスケーリングして、コラボレーション信号表現と同じ次元になるようにし、コサイン類似度を使用してそれらの間の類似性を計算します。

前の最適化機能と組み合わせると、これは実際には対照学習のプロセスと非常に似ているため、対照アライメントと呼びます。比喩的に言えば、このプロセスでは、2 つの表現が双方向に実行され、常に互いに整合します。

2つ目は生成的アライメント（RLMRec-Gen）であり、次のようになります。

つまり、Generative Masked Auto-encoder のアイデアに基づいて一部のノードの元の特徴をマスクし、推奨アルゴリズムによってエンコードされたこれらのノードの特徴をテキストの意味表現と同じ次元にスケーリングしてから、それらを整列させます。

比喩的に言えば、このプロセスでは、共同表現がテキストの意味表現に一方向に近づき、生成的に相互に再構築して整合を実現します。

その後の実験では、さまざまなシナリオで 2 つの方法 (RLMRec-Con と RLMRec-Gen) の利点を調査しました。

実験的検証

既存の高度な協調フィルタリング アルゴリズム (GCCF、LightGCN、SGL、SimGCL、DCCF、AutoCF) を 3 つの公開データセット (Yelp、Amazon-book、Steam) のベンチマーク モデルとして使用し、RLMRec でそのパフォーマンスを検証しました。複数のランダムな実験の平均をとることで、RLMRec は既存の推奨アルゴリズムのパフォーマンスを効果的かつ大幅に向上できることがわかりました。

これは結果からわかります。対照学習 (RLMRec-Con) によってもたらされるパフォーマンスの向上は、生成学習 (RLMRec-Gen) によってもたらされるパフォーマンスの向上よりも顕著です。ただし、生成モデリング アルゴリズム自体である推奨アルゴリズム (AutoCF) の場合、生成学習によってもたらされるパフォーマンスの向上の方が大きくなります。これは、2 つの方法の使用をアルゴリズムに適応させる必要があることを示しています。

さらに、テキスト シグナルの導入が本当にレコメンデーションのパフォーマンスを向上させるのか (フレームワークの設計ではなく) を調べるために、ユーザー/製品コラボレーション シグナルとテキスト シグナルの対応を入れ替えて誤ったシグナル対応を作成し、次のようにパフォーマンス テストを実施しました。

結果から、信号の対応が崩れると、誤ったテキスト意味論の導入によって表現学習が正常に進行しなくなり、協調信号表現が意味表現に効果的に近づくことができない（現状のまま）ため、パフォーマンスが相対的に大幅に低下することがわかります。

同時に、意味表現を生成するために、さまざまな意味埋め込みモデル (Instructor、Contriever) も使用しました。意味埋め込みモデルが優れているほど、生成される意味表現の RLMRec が向上することがわかりました。

次に、さまざまなレベルのノイズをランダムに追加して、RLMRec のノイズ耐性を調べるためにノイズ テストを実施しました。結果は次のとおりです。

結果から、ノイズの程度に関係なく、RLMRecフレームワークでトレーニングして得られた表現は、ベースラインモデルよりも優れたパフォーマンスを発揮できることがわかります。同時に、比較アラインメントはノイズに抵抗する能力がより強くなっています。これは、プロダクションアラインメントではマスク操作の存在により特徴レベルでノイズが導入されたため、構造化ノイズへの対応能力が低下したが、ベースラインモデルと比較するとゲインがあるためであると考えられます。

さらに、RLMRec の 2 つのパラダイムが事前トレーニングに適用できるかどうかを調査しました。これを基に、Yelpデータセットの2012年から2017年のデータを事前学習データとして、2018年から2019年のデータを微調整データとして使用し、最終的にパフォーマンスをテストしました。結果は次のとおりです。

結果から、事前トレーニングのシナリオでは、生成アライメントRLMRec-Genが一貫して優れたパフォーマンスを発揮することがわかりました。これは、生成モデリングにおけるマスク操作がオーバーフィッティングを効果的に防止し、制約を構成するためだと考えています。したがって、取得したパラメータは新しいデータに効果的に転送できます。これは、近年の生成手法による言語モデルの事前トレーニングのパラダイムとも一致しています。

最後に、ケーススタディを実施しました

あるユーザーについて、そのユーザーから遠く離れた (グラフ上で 3 ホップ以上) すべてのユーザーの機能類似性を計算し、これに基づいて高いものから低いものの順に並べ替えました。

たとえ 2 人のユーザーが同じ好みを持っていたとしても、従来の推奨アルゴリズムによって得られる表現では、それらの間の類似性を効果的に反映できないことがわかりました。これは、それらの距離がグラフ ネットワークのレイヤー数よりも大きいため、ユーザーがお互いを監視できないためです。

RLMRec にテキスト信号情報を導入することで、同じ嗜好を持つユーザーの表現が効果的に近づき、表現の類似性が向上します。これは、テキスト信号を導入してユーザー/製品の表現学習を最適化することで、同様の嗜好を持つユーザー/製品をグローバルな観点から有益に調整し、表現学習の品質を向上させ、最終的に推奨パフォーマンスを向上させることができることをある程度示しています。

結論

本論文では、大規模言語モデルに基づくモデルに依存しない推奨システム表現学習パラダイムを提案します。合理的な設計により、大規模言語モデルによって大量の生のテキストデータからマイニングされた純粋なテキスト意味信号を使用して、協調信号表現を最適化し、最終的には最先端の推奨アルゴリズムのパフォーマンス向上を促進します。

私たちは、テキスト注釈と提案されたパラダイム RLMRec を備えたクリーンな推奨データセットが、大規模な言語モデルと推奨システムのさらなる統合を促進することを期待して、データセットとコードを GitHub でオープンソース化しました。

最後に、RLMRecのアイデアはレコメンデーションアルゴリズムに使用できるだけでなく、他のシナリオでも実践されています。Baiduの検索アルゴリズムフレームワークの下で、RLMRecの比較アライメントのアイデアをテストし、検索レコメンデーションの精度の有益な改善を達成し、アルゴリズムの効果的な実装を実現しました。