DeepFMアルゴリズムを使用して推奨システムを設計する方法

[[239303]]

[51CTO.com クイック翻訳] 10年以上の開発を経て、推奨システムはインターネット業界でますます人気が高まっています。初期の頃は適切な製品形態がなかったものの、今日ではToutiaoやDouyinなどの商用製品で重要な役割を果たしており、推奨システムはインターネット企業や研究コミュニティの学者からますます注目を集めています。

初期の頃、推奨アルゴリズムは主にロジスティック回帰、協調フィルタリング、行列分解などのさまざまな単一モデルでした。その後、推奨アルゴリズムは GBDT + LR、GBDT + FM などのハイブリッド モデルへと進化しました。ディープラーニングの台頭により、ディープニューラルネットワークは推奨システムの開発にますます影響を与えるようになりました。

Huifeng Guo 氏と他の中国の学者は、IJCAI 2017 で「DeepFM: CTR 予測のための因子分解マシン ベースのニューラル ネットワーク」と題する論文を発表し、FM モデルとディープラーニング モデルを統合して推奨アルゴリズムを作成する方法を説明しました。

DeepFM には次の 3 つの利点があります。

1. DeepFM は、特徴エンジニアリングを必要とせずに、低次と高次の両方の特徴の相互作用をモデル化できます。
2. DeepFM は、モデルのワイド部分とディープ部分が入力だけでなく埋め込みベクトルも共有するため、効率的にトレーニングできます。
3. 実験データは、DeepFM がクリックスルー率の予測において優れた結果を達成できることを示しています。

DeepFM の入力データは、クリックスルー率の推定で一般的に使用される (X, y) タプルです。ここで、X はユーザーとアイテムを表す特徴ベクトル (数値以外のデータが含まれる場合があります)、y はクリック データ ラベルです。y = 1 はユーザーがアイテムをクリックしたことを意味し、y = 0 はユーザーがアイテムをクリックしなかったことを意味します。

DeepFM の予測関数は次のとおりです。これは、実際にはシグモイド関数を使用して、FM ベースの予測と DNN ベースの予測を融合します。アルゴリズム モデルの FM 部分を次の図に示します。

DNN 部分のアルゴリズム アーキテクチャを下図に示します。

ハイブリッド モデルでは、FM と DNN が同じ特徴埋め込みレイヤーを共有します。埋め込み層の構造を下図に示します。

埋め込み層によって取得されたベクトルは として記録され、後続の DNN 計算 、および に使用されます。

次に著者は、AUC や Log-loss などの評価基準を使用して、近年のさまざまなクリックスルー率予測方法をテスト データ セットで評価しました。評価結果を次の図に示します。

DeepFM と比較して、他のいくつかの CTR 予測方法には次のような欠点があります。

1. FNN: FNN は、FM によって初期化されるフィードフォワード ニューラル ネットワークです。 FM 事前トレーニング戦略には、次の 2 つの問題があります: 1) 埋め込み層のパラメータは FM によって大きく影響されます。2) FM 事前トレーニングはアルゴリズムの効率に影響します。さらに、FM には高次の特徴の組み合わせのみが含まれます。
2. PNN: PNN とそのバリエーションである IPNN および OPNN は、低次機能の組み合わせを無視します。
3. ワイドでディープなネットワーク: ワイド ネットワークの FM 部分には、手動の特徴エンジニアリングが必要です。

DeepFMの設計コンセプトはシンプルで、2016年のGoogleのワイド＆ディープネットワーク方式に由来していますが、その効果は抜群です。推奨システムの登場以来、さまざまなモデル融合手法が設計されてきました。トピックモデルを修正する協調トピック回帰から、ブレンディングに基づく GBDT + LR、そしてその後のワイド＆ディープネットワーク方式まで、アルゴリズムを設計するためのさまざまなアイデアを提供します。アルゴリズム自体は、モデル、データ、パラメータの両方を考慮する必要がある分野です。DeepFM は、モデルの設計方法の良い例を示しています。

原題: DeepFM: CTR 予測のための因子分解マシンベースのニューラル ネットワーク、著者: Huifeng Guo、Ruiming Tang、Yunming Ye、Zhenguo Li、Xiuqiang He

[[239308]]

恒昌利通のシニアアーキテクトである王昊氏は、ユタ大学で修士号を取得しています。百度、新浪、網易、豆瓣などの企業で長年の研究開発および技術管理の経験を積んでいます。機械学習、ビッグデータ、推奨システム、ソーシャルネットワーク分析、コンピューターグラフィックス、視覚化などの技術に長けています。 TVCGやASONAMなどの国際会議やジャーナルに8本の論文を発表している。私の学部論文は 2008 IEEE SMI *** 論文賞を受賞しました。

[51CTOによる翻訳。パートナーサイトに転載する場合は、元の翻訳者と出典を51CTO.comとして明記してください]