転移学習とクロスドメイン推奨、およびクロスドメイン推奨のソリューション

この記事では、主にクロスドメインの推奨事項について詳しく紹介します。内容は以下のとおりですが、これらに限定されません。

• 転移学習

• クロスドメイン推奨

• クロスドメインレコメンデーションのやり方

  • その他のコールドスタート方法

• 参照できる論文は何ですか?

1. 転移学習

以下の内容は、[推奨システムにおけるマルチタスク学習 - Lu Mingdong]を参考に修正して紹介したものです。詳細については、https://lumingdong.cn/multi-task-learning-in-recommendation-system.html をご覧ください。

1.1 転移学習の概要

転移学習（TL）は機械学習の研究分野です。既存の問題に対するソリューション モデルを保存し、それを他の異なるが関連する問題に活用することに重点を置いています。たとえば、自動車を識別するために使用される知識 (またはモデル) は、トラックを識別する能力を向上させるためにも使用できます。

ML 対 TL

転移学習は、これらの孤立した学習方法を解決するために設計されています。転移学習では、以前にトレーニングされたモデルの知識 (特徴、重みなど) を使用して新しいモデルをトレーニングしたり、他のタスクから取得した知識を実装して関連する問題を解決したり、データが少ない新しいタスクなどの問題を解決したりすることもできます。

1.2 転移学習はどのような問題を解決できますか?

• ビッグデータとラベルの少なさの矛盾: データは大量にあるものの、その多くはラベルが付いていません。これらのデータには教師なしモデルを適用するのがベストですが、教師ありモデルを使用する場合はあまり使いやすくありません。手動でラベル付けすると、時間がかかり、労力がかかります。

• ビッグデータと弱いコンピューティングの矛盾: 一般の人々は膨大な量のデータとコンピューティング リソースを所有することはできません。したがって、タスクを完了するには、画像認識でトレーニング済みのモデルを微調整するなどのモデル移行を使用する必要があります。

• 普遍的なモデルとパーソナライズされたニーズとの矛盾: 同じタスクであっても、特定のプライバシー設定など、モデルがすべての人のパーソナライズされたニーズを満たすことは難しいことがよくあります。これには、さまざまな人々の間でモデルを適応させることが必要です。

• 特定のアプリケーションの要件（コールドスタートなど）

転移学習にはさらに 3 つの重要な問題があります。

• 何を転送するか: 転送する事前知識をどのように選択するか。すべてのソース ドメインをターゲット ドメインに転送できるわけではありません。たとえば、テキスト分類の経験的知識を画像分類に転送することは明らかに不適切です。したがって、転送するソース ドメインとターゲット ドメインを選択するときは、2 つが関連しているかどうか、つまりユーザーであるかアイテムであるかを判断する必要があります。

• いつ転送するか: いつ転送でき、いつ転送できないか?場合によっては、知識の移転は知識の向上よりも悪い結果になることがあります (「ネガティブな移転」とも呼ばれる問題)。私たちの目標は、転移学習を通じて対象タスクのパフォーマンスや結果を向上させることであり、低下させることではありません。 （ネガティブな転嫁は避けましょう）

• 転移方法: 転移学習を実行するにはどうすればよいでしょうか?ドメインやタスク間で知識を実際的に移転する方法を特定する必要があります。問題は、既存のアルゴリズムやさまざまな技術をどのように改善するか（移行方法を設計する）である。

1.3 転移学習の基本概念

転移学習には、ドメインとタスクという 2 つの非常に重要な概念があります。

ドメイン：学習の主体となるデータの特徴と特徴分布

• ソースドメイン: 既存の知識のドメイン

• 対象ドメイン: 学習するドメイン

タスク：目的関数と学習の結果である学習結果から構成されます。

ドメインに応じて、次の 2 つのシナリオが考えられます。

• 異なる特徴空間

  たとえば、テキスト分類タスクでは、中国語テキストと英語テキストの特徴空間は異なります。

  画像認識タスクでは、顔画像と鳥の画像の特徴空間は異なる

• 周辺確率分布は異なる

  たとえば、テキスト分類タスクでは、テキストはすべて中国語の特徴空間にありますが、政治やエンターテイメントなど、さまざまなトピックについて議論しています。

  画像認識タスクでは、画像はすべて鳥の特徴空間ですが、1 つは街中で撮影された鳥であり、もう 1 つは自然の中で撮影された鳥です。

タスクに応じて、次の 2 つのシナリオが考えられます。

• 異なるラベルスペース

  たとえば、テキスト分類タスクでは、1 つのラベルはニュース カテゴリ ラベルであり、もう 1 つのラベルはテキスト センチメント ラベルです。

  顔認識タスクでは、1 つのラベルは性別、もう 1 つのラベルは名前です。

• 条件付き確率は異なる

  たとえば、ソース データ カテゴリとターゲット データ カテゴリが不均等に分散されています。この状況は非常に一般的であり、オーバーサンプリング、アンダーサンプリング、SMOTE などの方法で対処できます。

  一般に、異なるラベルは異なる条件付き確率分布をもたらします。これは、2 つの異なるタスクが異なるラベル空間を持ちながら、まったく同じ条件付き確率分布を持つことはまれであるためです。

いくつかの論文では、ドメインとタスクを 1 つのデータセットに組み合わせています。クロスデータセットは、ドメインまたはタスクを指します。

1.4 転移学習の分類

特徴空間別

• 同質TL: ソースドメインとターゲットドメインの特徴空間は同じである

• 異種転移学習（TL）：ソースドメインとターゲットドメインの特徴空間が異なる

移行シナリオ別

上の図を参照すると、転移学習の方法は、使用される従来の機械学習アルゴリズムに応じて次のカテゴリに分類できます。

• 帰納的転移学習: このシナリオでは、ソース ドメインとターゲット ドメインは同じですが、ソース タスクとターゲット タスクは互いに異なります。このアルゴリズムは、ソース ドメインからの帰納的バイアスを活用して、ターゲット タスクの改善に役立てようとします。ソースドメインにラベル付きデータが含まれているかどうかに応じて、帰納的転移学習は、マルチタスク学習と自己学習に似た 2 種類の方法にさらに分けられます。

• トランスダクティブ転移学習: ソースドメインとターゲットドメインは異なりますが、学習タスクは同じです。このシナリオでは、ソース タスクとターゲット タスクの間にいくつかの類似点がありますが、対応するドメインは異なります。通常、ソース ドメインにはラベル付けされたデータが多数ありますが、ターゲット ドメインにはラベル付けされたデータが存在しません。トランスダクティブ転移学習は、特徴空間や周辺確率の設定に応じて、さらにいくつかのサブカテゴリに分類できます。

• 教師なし転移学習: ソース ドメインとターゲット ドメインの両方にラベルがありません。このシナリオは、ターゲット ドメイン内の教師なしタスクに重点を置いた帰納的転移学習に似ています。

次の表は、さまざまなシナリオと分野での上記の転移学習戦略の比較をまとめたものです。

• インスタンス転送: 一般的に、理想的なシナリオは、ソース ドメインの知識をターゲット タスクで再利用できることです。しかし、ほとんどの場合、ソース ドメイン データを直接再利用することはできません。ただし、ソース ドメインの一部のインスタンスをターゲット データで再利用すると、結果が改善されます。帰納的転移については、Dai 氏とその協力者による AdaBoost の改善作業のように、ソース ドメインのトレーニング例を使用してターゲット タスクを改善する研究がいくつか行われています。

• 特徴表現転送: このタイプの方法は、ソース ドメインからターゲット ドメインに適用できる適切な特徴表現を識別することにより、ドメインの違いを最小限に抑え、エラー率を下げることを目的としています。ラベル付きデータの可用性に応じて、特徴表現ベースの転送では教師あり学習または教師なし学習を使用できます。

• パラメータ転送: このタイプの方法は、関連するタスクのモデルがいくつかのパラメータまたはハイパーパラメータの事前分布を共有するという仮定に基づいています。ソースタスクとターゲットタスクの両方を同時に学習するマルチタスク学習とは異なり、転移学習では、ターゲットドメインに追加の重みを適用して全体的なパフォーマンスを向上させることができます。

• リレーショナル知識転送: 前の 3 つの方法とは異なり、リレーショナル知識転送は、非独立かつ同一に分散された (iid) データ、つまり各データ ポイントが他のデータ ポイントと関連しているデータを処理することを目的としています。たとえば、ソーシャル ネットワーク データには、関係知識に基づく転移学習技術が必要です。

次の表は、さまざまな移行コンテンツの分類とさまざまな移行学習戦略の関係を明確にまとめたものです。

さて、以上が転移学習の紹介です。これを読めば、きっと自分なりの理解が得られると思います。

2. クロスドメイン推奨

では、クロスドメイン推奨とは何でしょうか?一言でまとめると、転移学習を推奨システムに適用すると、クロスドメイン推奨と呼ばれます。

クロスドメイン紹介の目的は、一般的に次のとおりです。

• コールド スタート: たとえば、ある企業には、ユーザー グループが大きく重複しているが、項目が異なる 2 つの APP ビジネスがあります。ビジネス A のユーザーが初めてビジネス B にアクセスしたとき、リテンション率とコンバージョン率を向上させる効果的な推奨を行うにはどうすればよいでしょうか。クロスドメイン推奨は、コールド スタートに新しいアイデアを提供しますが、非常に制限があります。企業が 1 つのビジネスしか持っていないシナリオに適用するのは困難です。

• 情報の繭から抜け出す: 同じビジネスに基づく推奨は、すべてユーザーの行動に基づいてマイニングされるため、ユーザーの興味を狭めることがよくあります。クロスドメインの推奨を使用すると、元の快適ゾーンから抜け出すことができ、推奨システムのバランス、多様性、新規性が向上します。

• データのスパース性を減らし、精度を向上: これも 2 つの異なるビジネス シナリオに当てはまります。新規ビジネスまたはいずれかのビジネスでは、何らかの理由でデータが比較的スパースです。クロスドメインの推奨事項を導入することで、データが充実します。

• ユーザーの好みを強化する: 新規ユーザーの好みは弱いため、クロスドメインの推奨を使用してユーザーの好みを強化できます。

3. クロスドメインレコメンデーションのやり方

3.1 頻繁なパターンマイニングに基づく

ドメイン A とドメイン B でのユーザーの共起行動を取得し、共起ペア <itemA、itemB> を構築し、共起数が特定の値より大きい場合は有効であるとみなします。最後に、ドメイン A のアイテムに「類似」するドメイン B のアイテムのリストを取得できます。

または、itemA と itemB の相関関係を計算する場合、計算式は次のようになります。

で：

• はアイテムの共起数、はアイテムに対してアクションを起こしたユーザーの数、はアイテムに対してアクションを起こしたユーザーの数です

• ユーザーの総数を示します

3.2 クラスターの人気

• ドメイン A アイテムの埋め込みを取得します。userID の埋め込みベクトルは、ユーザーの最近の行動のアイテム シーケンスを平均化することによって取得されます。

• ドメイン A 内のユーザーをクラスター化し、各クラスター内で最も人気のあるユーザーを取得します。

• ユーザーがドメインBにアクセスすると、人気のある

クラスタリングには必ずしも埋め込みは必要なく、属性に基づいて実行することもできます。

3.3 属性ラベルベースのマッピング

ユーザー アクセス シーケンスでソース ドメインとターゲット ドメインの属性ラベルが共存することによって属性マッピングを構築するには、次の 2 つの方法があります。

• 統計的手法に基づいてソースドメイン属性とターゲットドメイン属性間の相関関係を計算する

• word2vecは、属性シーケンスを通じて属性埋め込みを生成します。

例えば、ユーザーの属性クリックシーケンスデータは

• ユーザー1: cate1、cate2、cate2、tag1、cate2、tag2、...

• ユーザー1: cate3、cate4、tag1、cate2、tag3、...

統計的手法に基づく計算

分子に(cate1, tag1)(cate2, tag2)(cate3, tag1)...を含むユーザーの数を数えます。

分母にcate1、cate2、...、tag1、tag2を含むユーザーの数を数え、相関関係を計算します。

Word2vecベースのアプローチ

word2vecとskip-gramを元にセッションを日ごとに分け、cateとtagの埋め込みを計算します。

3.4 FMに基づく

論文を参照できます: 2014_Cross-Domain Collaborative Filtering with Factorization Machines

その原理と実際の応用を紹介する別の記事が後日公開されます。フォロー大歓迎！

3.5 潜在因子マッピング

参考論文: クロスドメイン推奨: 埋め込みとマッピングのアプローチ

• ソースドメインとターゲットドメインのユーザーとアイテムの埋め込みをそれぞれ構築する

• ソースドメインとターゲットドメインのユーザー埋め込みのマッピング関数fを構築する

• マッピング関数fを使用して、ソースドメインのユーザー埋め込みをターゲットドメインのユーザー埋め込みとして表し、埋め込みの類似性に基づいてリコールを実行します。

参考記事: 論文 | 埋め込みとマッピングに基づくクロスドメイン推奨手法

3.6 DNNに基づく

4. 参考文献は何ですか?

クロスドメインレコメンデーションは業界でも注目されており、多くの論文が発表されています。ここでは代表的な論文をいくつか紹介します。公式アカウントの[クロスドメインレコメンデーション論文]に返信することで入手できます。

• 2014_因数分解マシンによるクロスドメイン協調フィルタリング

• 2015_潜在ベクトル分布の共有によるユーザーやアイテムを共有しないクロスドメイン推奨

• 2016_推奨システムにおけるクロスドメインユーザーモデリングのためのマルチビューディープラーニングアプローチ

• 2016_WRAP-ソーシャル メディアと電子商取引の接続-He-2018

• 2017_CCCFNet - クロスドメインレコメンデーションシステムのためのコンテンツブースト協調フィルタリングニューラルネットワーク

• 2017_多層グラフのクラスタリングによるクロスドメイン推奨

• 2017_クロスドメイン推奨事項 - 埋め込みとマッピングのアプローチ

• 2018_近隣ベースの機能マッピングによるコールドスタートユーザー向けのクロスドメイン推奨

• 2018_ディープドメイン適応によるクロスドメインレコメンデーション

• 2019_DDTCDR- ディープデュアル転送クロスドメイン推奨事項

• 2019_インタードメイン構造を利用した簡単な転移学習

• 2019_電子商取引における商品推奨のためのドメイン認識型アテンションネットワークによる転移学習

• 2020_MiNet - クロスドメインクリックスルー率予測のための混合興味ネットワーク

5. 参考文献

• https://lumingdong.cn/multi-task-learning-in-recommendation-system.html#%E8%BF%81%E7%A7%BB%E5%AD%A6%E4%B9%A0

• https://xmzzyo.github.io/2020/04/12/クロスドメイン推奨/