推奨アルゴリズムコレクション（パート2） - 相関ルール推奨とKBアルゴリズム

[[331263]]

【51CTO.comオリジナル記事】

1. はじめに

前回の記事では、レコメンデーションシステムの設計でよく考慮される、または頻繁に遭遇するいくつかのアルゴリズムについて詳細に説明し、分析しました。もちろん、これらの主要なアルゴリズムに加えて、あまり人気がないものの一定の価値を持つニッチなアルゴリズムもいくつかあります。これらのニッチなアルゴリズムは、いくつかのシナリオで使用されるものの、それぞれ独自の機能と特性を備えており、いくつかの主要なアルゴリズムの欠陥を解決することができます。そこで、読者が推薦アルゴリズムの全体像と各アルゴリズムの重要性をより明確に理解し、ニッチな推薦アルゴリズムを把握して、設計した推薦システムに彩りを添えることができるように、この記事ではニッチな推薦アルゴリズムをいくつか整理し、推薦アルゴリズムの全体像を真に示し、このシリーズの名である「推薦アルゴリズム集」にふさわしいものにしたいと思います。

2. 相関ルールマイニング推奨アルゴリズム

2.1 関連ルールの推奨とは何ですか?

読者に最初に紹介する比較的ニッチなアルゴリズムは、関連ルール マイニング推奨アルゴリズムです。これは実際にはデータ マイニングのテクノロジまたは方法です。関連ルール マイニングは、大規模なトランザクションに現れる類似のルールや関係パターンをマイニングするための一般的な手法です。この技術は、協調フィルタリングアルゴリズムの推奨システムにも適用できます。相関ルールもデータマイニングの概念です。データを分析し、データ間の関連性、つまり各データ間の相関関係を見つけます。

具体的な意味は、トランザクション S がすべての有効な製品の集合 C={c1,c2,c3,......,cN} のサブセットであると仮定すると、購入された製品の集合を表すために使用されます。次に、関連ルール X=>Y は、トランザクション S に X の要素が含まれている限り、Y の要素もセット S に含まれる可能性が高い、または非常に高い確率で含まれると考えられること、つまり、X が Y を含むセットに関連付けられていることを意味します。このカテゴリで最も一般的に使用されるアルゴリズムは、Apriori アルゴリズムです。関連ルールの測定指標は、サポートと信頼度です。

2.2 アプリオリ原理

アプリオリ原理とは、特定のアイテム セットが頻繁に出現する場合、そのサブセットもすべて頻繁に出現するというものです。たとえば、集合 {1, 2} が頻繁である場合、集合 {1}, {2} も頻繁です。読者の中には、これは明白な真実ではないのかと疑問に思う人もいるかもしれません。この原則は何の役割も果たさないか、直感的に役に立たないように思えます。しかし、逆に考えてみるとどうなるでしょうか? つまり、アイテムセットが非頻繁アイテムセットである場合、そのスーパーセットもすべて非頻繁アイテムセットであるという方が理にかなっているように思えます。なぜなら、この命題は実際には元の命題の逆だからです。元の命題が真であれば、その逆も真です。たとえば、セット {5, 6} のサポートを計算した後、このセットが非頻繁なアイテムセットであることがわかれば、このセットの要素を含む他のセットを計算する必要はありません。たとえば、{2, 5, 6} や {5, 6, 7} などのセットのサポートは、これらのセットが要件を満たさないことがすでにわかっているため、計算する必要がなくなります。この原則を使用すると、アイテム セットの数の指数関数的な増加を回避できるため、頻繁に使用されるアイテム セットを妥当な時間で計算でき、推奨の処理時間をさらに節約できます。

2.3 パラメータの詳細

関連ルールを推奨システムに適用する際に発生する主な問題は、評価をトランザクションに変換することです。通常、すべての肯定的な評価セット (つまり、過去の平均化後の評価マトリックス) またはユーザーの過去の購入行動や記録は、トランザクションと見なされます。

サポートと信頼性の計算式も理解しやすいです。サポートとは、X と Y の両方が総取引量に現れるときに完了する取引の割合であり、信頼性とは、X のみが現れたときに総取引量に X と Y の両方が現れるときに完了する取引の割合です。以下を参照してください。

最後に、アイテム i に対するユーザー u の予測評価は、実際にはアイテム i と i に関連付けられたアイテム j の間のサポートと信頼性の積の合計です。式は次のとおりです。

2.4 興味深いマーケティング事例ですか?

関連ルールマイニング推奨アルゴリズムをよりよく理解するために、ここでは広く流布されている古典的なマーケティング事例を紹介します。データ分析製品を開発するチームが、自社のデータ分析製品を宣伝するために、米国の小売店数十社のバックエンド取引データベースのデータを分析したそうです。照会してみると、多くの商品の間には実は特別な相関関係があることがわかったそうです。その一つは、毎日決まった時間帯に、ビールとおむつを一緒に購入する顧客が多いということ。

この関連性が発覚した後、多くのスーパーマーケットがビール売り場を子供用おむつ売り場の隣に移し、おむつを買うときに缶ビールも手に取りやすくなりました。このような推奨はオンラインでも行うことができます。たとえば、顧客がオンラインでおむつを購入すると、ページが自動的にさまざまなビールのページを推奨したり、特定の人気ビールを顧客のショッピングカートに直接追加したりします。しかし、その効果はオフラインマーケティングほど良くないようです。この種の相関関係は、データを分析および統合し、このパターンを巧みに使用して顧客により良いサービスを提供することによって得られるパターンです。おむつとビールが小売売上を伸ばすという事例が真実であるかどうかについては検証する方法はありませんが、このいわゆる古典的なマーケティング事例は広く流布されています。

2.5 妥当な推測でしょうか?

読者の中には、ビールとおむつにどんな関係があるのか​​と疑問に思う人もいるかもしれません。直感的に、この2つの製品には何の共通点もないように思えますが、なぜ顧客は一緒に購入するのでしょうか。この質問に関しては、明確な答えはありません。私が見てきた、ある程度妥当と思われる推測をいくつか提示することしかできません。仮説は、家族がおむつを買う必要がある場合、家族の中におむつを使う必要がある赤ちゃんがいる可能性が高いということです。しかし、赤ちゃんが風邪をひかないようにするために、そのような小さな赤ちゃんを外に連れ出すのは不便なので、誰かが家で子供の世話をする必要があります。一般的に、そのような小さな赤ちゃんの世話ができる人のほとんどは母親なので、おむつを買いに出かけることができるのは父親だけです。家族を持つ成人男性は多かれ少なかれビールを飲むのが好きなので、おむつを選ぶときにビールが横にあるのを見ると、ほとんどの場合それを買うでしょう。読者がこの推測を理解し、受け入れることができるかどうかはわかりません。しかし、このマーケティング手法は実際には顧客のニーズを考慮し、顧客のニーズを満たし、顧客がビールを買い忘れるのを防ぎ、売上を伸ばすことができます。実際、咳止めシロップやジュース（風邪をひいている人は免疫力を高めるためにビタミンCを補給する必要がある）、ダイエット茶やペーパータオル（ダイエットしたい人のほとんどは運動して汗をかくでしょう）など、生活の中で関連するものは多々あります。実際、自分で勉強して考えれば、いくつかの物体間のつながりを見つけることは難しくありません。これらの関連付けにより、より包括的なサービスや推奨方法を設計できます。

3. 知識ベース推奨アルゴリズム（KB）

3.1 知識ベースの推奨とは何ですか?

協調フィルタリング推奨アルゴリズム (CF) とコンテンツベースの推奨アルゴリズム (CB) はどちらも従来の推奨アルゴリズムです。これらの従来の推奨アルゴリズムの使用シナリオは、書籍、映画、ニュースなど、類似した特性や嗜好を持つアイテムを推奨することです。ただし、金融商品、不動産、携帯電話、自動車など、特定の商品を推奨する場合、特に適切ではない場合があります。主な問題は 2 つあります。特定の製品に対して大量のユーザー評価を得ることが難しいこと、すでに推奨を受け、商品や情報を購入したユーザーは、比較的古い製品に対してコメントやフィードバックを提供しないことです。

知識ベースの推奨 (KB) は、この種の問題を解決するために特別に設計された新しい推奨テクノロジーです。この推奨技術は知識源を重視しており、前述のコールドスタートの問題がなく、推奨ニーズが直接引き出されます。しかし、すべての知識源を入手できるわけではないため、このタイプの推奨方法の欠点は、知識の獲得が難しいことです。知識を獲得する過程で、専門のエンジニアは専門知識を統合し、完全で標準化された条件式を形成する必要があります。これは、他のユーザーのニーズを積極的に尋ね、回答されたニーズに基づいて必要な結果をユーザーに推奨するのと似ています。

知識ベースの推奨技術は、実際には検索プロセスと似ています。違いは、システムが静的な検索プロセスのトレースを、または検索プロセスで指定されたパラメータを知識ベースに保存し、これらの入力トレースまたはパラメータに基づいて関連製品を推奨する必要があることです。

3.2 会話インタラクションプロセス

上で述べた方法の 1 つは、他のユーザーに積極的にニーズを尋ねることであり、専門的には Web 上での会話と呼ばれます。したがって、知識ベースの推奨システムは一般的に会話型のインタラクション形式を採用しており、インタラクションのプロセスは次のようになります。

（１）現在のユーザーが指定されたウェブページインターフェースに入った後、ユーザーは初期指定を行って自分の興味を初期嗜好情報として決定し、その後、初期嗜好に関連するすべての質問を一度に尋ねるか、すべての質問を段階的に尋ねる必要がある。

（２）システムは、ユーザの回答やユーザのニーズや嗜好に関するすべての情報を収集した後、この嗜好情報に基づいて、ユーザに適した製品のリストを提示する。

（3）その後の体験中、ユーザーはいつでも自分のニーズや嗜好情報を変更することができます。システムは嗜好情報の変更に応じて対応する商品リストを調整し、リアルタイムの推奨を保証します。

3.3 ちょっとした質問ですが？

知識ベースの推奨システムでは、開発者は、ユーザーが高精度の推奨結果を必要とする状況にどのように対処するかに注意を払う必要があります。もちろん、これは簡単な作業ではなく、専門分野の専門家が知識ベースを継続的に反復して更新し、条件付きルールの形式を更新する必要があります。また、ユーザーが返信せず、おすすめ商品と完全にマッチングできない場合はどうすればよいのでしょうか。これも、先ほどのコールドスタート問題と同様に、開発者が事前に考えて、事前に解決策を提供しておく必要があるものです。予備的な推奨結果をユーザーに積極的に提供するには、専門家または技術者が必要です。

一般的なシナリオでは、知識ベースの推奨システムは主にアイテムの特徴に関する詳細な情報に依存します。この情報を分類して統合し、現在のユーザーのニーズと好みに一致するアイテムのセットを選択します。

3.4 同様のケースはありますか?

この方法は、顧客がタオバオを閲覧して商品を購入する方法と似ています。一般的に、顧客は欲しい商品の大まかな概要や印象、要件を頭の中に持っており、知識ベースの推奨は商品を購入する際のスクリーニング条件であり、顧客が購入したい商品のブランドや価格などのパラメータ情報が含まれています。顧客が好みの商品の条件を入力すると、入力条件に応じて該当する商品リストがマッチングされ、顧客に表示されます。たとえば、実際に私はオンラインでパソコンを購入したいと考えています。Taobaoに行く前に、パソコンを購入するためのいくつかのパラメータについて基本的に考えました。私が決定したパラメータは、価格が3,000元から6,000元の間、CPUがCore i5、画面サイズが約15インチです。 Taobaoから提供された表示ページの商品の具体的な情報は次のとおりです。

フィルター条件を入力すると、次の推奨リストがすぐに作成されます。

入力スクリーニング条件に基づく Taobao の推奨プロセスは、実際には知識ベースの推奨テクノロジーです。

3.5 知識推奨に基づく分類

知識ベースの推奨の範囲は比較的広く、主に例ベースの推奨と制約ベースの推奨の 2 つのカテゴリに分けられます。これら 2 つの方法は非常に似ています。どちらも、最初にモバイル ユーザーのニーズを理解し、次にニーズに基づいて推奨ソリューションを見つけます。推奨ソリューションが見つからない場合は、ニーズとの不一致を自動的に修復し、合理的な説明を提供します。それらの違いは、推奨ソリューションを計算する方法にあります。例ベースの推奨方法では、類似性メトリック クラスを通じてカタログからアイテムを取得しますが、制約ベースの推奨方法では、特定のユーザー ニーズと、これらのユーザー ニーズに関連するアイテム情報の特性属性を記述するために使用される知識リソースである、事前定義された推奨知識ベースを使用する必要があります。制約を解決するために制約ソルバーを使用するか、データベース エンジンを通じて実行されるクエリ フォームを使用します。

4. 事例に基づく推奨アルゴリズム

サンプルベースの推奨方法では依然として類似度測定計算が使用されるため、ピアソン相関係数や改良コサイン類似度などの類似度計算についてはすでに説明しました。そして現在、ほとんどの企業では、知識ベースの推奨方法が使用されている場合、実際には制約ベースの推奨がより一般的に使用され、サンプルベースの推奨はほとんど使用されていません。したがって、この点に関して、読者はこの推奨方法の意味と、類似性を使用して関連性を測定する方法を理解するだけで済みます。以下は、例に基づく推奨技術におけるアイテムとニーズの類似性の一般的な計算式です（例に基づく推奨技術は、主にユーザーのニーズとアイテム間の距離を解決することです）。

5. 制約ベースの推奨技術

5.1 制約パラメータの意味

制約ベースの推奨技術は、知識ベースの推奨技術の分野でよく使用される方法であり、そのプロセスは、コンピューターのTaobaoで買い物をするときに、スクリーニング条件に基づいて推奨を完了するプロセスに似ています。制約ベースの推奨手法は、(V、D、C) トリプレットのセットによって記述できます。セット内の V は変数のセットです。D はこの変数セットのスコープであり、有限体とも呼ばれます。C は、この変数セットが同時に満たすことができる値に必要な条件の組み合わせを記述する制約のセットです。したがって、実際のアプリケーション シナリオでは、制約ベースの推奨テクノロジは、実際には (V、D、C) トリプルの条件下で要件を与え、その要件に基づいて最終的な推奨結果を与えます。 (V、D、C) トリプルの一般的なパラメータは次のとおりです。

（１）：ユーザー属性は顧客の潜在的なニーズを記述し、顧客ニーズの特徴的な属性を具体化する。例えば、私がタオバオで買い物をするときに受け入れられる最高価格は6,000だった。

（２）製品属性は、コンピュータを購入する際にそのコンピュータのCPUプロセッサなど、特定の製品の特徴的な属性を記述するために使用される。

（３）一貫性制約。これは、ユーザーインスタンス化オブジェクトの範囲、つまり顧客ニーズのインスタンス化に対する制約を定義します。たとえば、i5 CPUプロセッサを搭載したコンピュータを購入する場合、許容可能な最低価格は3,000より大きくなければなりません。

（4）：フィルタリング条件、つまり、要件を満たさない製品をフィルタリングし、フィルタリング条件の下で選択する必要があるいくつかの製品を定義する、つまり、ユーザー属性と製品属性の関係を定義する、つまり、8Gのメモリ容量の要件を満たすコンピュータは、画面サイズが15インチ前後ではないコンピュータをフィルタリングする必要がある。

（5）：現在有効な製品分類を定義するために使用されます。

5.2 デフォルト値の設定方法

タオバオを閲覧中にフィルタリング条件を入力する場合のように、コンピュータ初心者の中には、コンピュータを購入する前にどのようなパラメータが必要かよくわからない人もいます。また、購入したいコンピュータのモデルは決まっていませんが、とにかくコンピュータを購入する必要があります。特定の状況下では、推奨結果を見た後、どのように選択すればよいかがわかります。そのため、私のようなコンピューター初心者はフィルタリング基準を入力しない可能性があります。そのため、フィルタリング基準を入力しなかったときと同じように、Taobao はコンピューターの詳細リストを推奨しました。これは、制約ベースの推奨技術、つまりデフォルト値の設定機能です。デフォルト値を設定する主な目的は、ユーザーが自分のニーズを説明できるようにすることです。ユーザーはどのような種類の製品を購入する必要があるかが明確ではないため、推奨システムがユーザーを支援する必要があります。ユーザーが提示した漠然とした、または一般化されたニーズ（コンピューターの購入など）に基づいて、いわゆる属性を解析および変換し、必要な製品のより良いリスト（総合力の強いコンピューター）をユーザーに推奨できます。デフォルトのメソッドは次のとおりです。

（１）静的デフォルト設定：各製品属性ごとにデフォルト値を設定すること。

（２）条件付きデフォルト設定：動的デフォルト設定と同様に、ユーザーが指定したデフォルト条件（コンピュータ）に基づいてデフォルト値を設定します。

（３）導出されたデフォルト設定：すべてのユーザーの過去のインタラクション情報やログ、現在のユーザーが指定したいくつかのパラメータを利用して分析とモデリングを実行し、各属性のデフォルト値を取得します。最も一般的に使用される方法は、最近傍投票と加重多数決です。

5.3 もう一つの逆の状況

上記の現象は、与えられたフィルタリング条件が曖昧であったり空であったりする場合に、デフォルト値を設定して推奨が行われるというものです。しかし、逆に、ユーザーのニーズのフィルタリング条件が多すぎたり、システムが一致できる範囲を超えている場合、つまり、ニーズが多すぎて、システム内のどのアイテムも特定のニーズを満たさない場合、空の推奨結果につながります。この状況は常に存在しており、現在のすべての推奨システムが完全に解決できない問題です。この問題の発生を比較的減らすことができる解決策は、まずユーザーの需要パラメータの優先順位を与え、ユーザーに優先順位に従ってフィルタリング条件を入力させ、次にユーザーの入力属性の優先順位に従ってユーザーの元のニーズのフィルタリング条件を削除し、新しい需要条件リストを取得して新しい推奨結果を取得することです。

5.4 推奨結果のランキング問題

スクリーニング基準に従って関連する推奨結果を完了した後、推奨製品リストの並べ替えの問題が発生し、ここで説明する必要があります。プライマシー効果により、ユーザーは推奨商品リストの先頭にある一部の商品に多くの注目を向けるため、ユーザーの注目度によって形成される推奨結果のランキングは、推奨システムの品質とユーザーの購入意欲に直接影響します。

推奨製品リストをソートする原則は、基本的に多属性効用理論に基づいています。つまり、各製品を現在のユーザーに対する実際の効用に基づいて評価します。したがって、各製品はあらかじめ決められた基準に基づいて評価されます。たとえば、コンピューターの場合、CPU プロセッサと価格が主な考慮事項ですが、化粧品などの他のカテゴリの場合、ブランド、ベストセラーステータスなどが主な考慮事項になります。製品に対する最終的なユーザーの好みは、各次元のユーザーの好みのパーセンテージを組み合わせて計算されます。製品嗜好スコアの計算式は次のとおりです。

6. 知識ベース推奨アルゴリズムの利点と欠点

知識ベースの推奨システムは、協調フィルタリング推奨やコンテンツベースの推奨技術の明らかな欠点に直面したときに特に重要かつ有用となり、大規模な推奨システムにもうまく適用できます。しかし、同時に、完璧な推奨システムは存在しません。知識ベースの推奨システムには、まだいくつかの問題が残っています。

（１）前述したように、制約ベースの推薦のプロセスでは、多くの制約を持つシステムを構築することは非常に困難である。

（２）サンプルベースの推薦技術は、アイテムとユーザーニーズの類似度の計算がうまくいかないと、推薦結果も非常に悪くなります。また、アイテムの構造化された特徴の数を計算したり、特徴属性とニーズの類似度計算ルールを構築したりすることは比較的難しく、比較的高いレベルの知識も必要です。

知識ベースの推奨技術にはまだいくつかの問題がありますが、今日の推奨分野では実用的なアプリケーションは多くありませんが、将来の発展方向です。

7. ハイブリッドレコメンデーションシステムの設計

これまで、推奨アルゴリズムによって形成される推奨システムについて多くのことを説明してきました。率直に言えば、推奨システムを独立したモジュールと見なすと、完成した推奨プロセスは実際には入力 - 推奨モジュール - 出力の 3 つの部分で構成されます。したがって、推奨システムはソフトウェアテストにおいて完全に「ブラックボックス」とみなすことができます。以下のように表示されます。

このブラック ボックスは、入力データを出力用の順序付けられた項目のリストに変換できます。入力データには主に、ユーザー レコード、コンテキスト情報、製品機能、知識モデルなどが含まれます。ただし、入力データ パラメータの種類が多数あるため、単一の推奨システムでこれほど多くの入力データを使用することはできません。そこで、複数の推薦システムモデルの結果を混合して最終的な推薦結果を完成させる、つまり、元の大きなブラックボックス（全体の推薦システムモジュール）の中にいくつかの小さなブラックボックス（サブ推薦システムモジュール）を構築する推薦方法が導入されました。したがって、最終的な大きなブラック ボックス (全体的な推奨システム モジュール) は、両方の長所を取り入れ、内部のすべての小さなブラック ボックス (サブ推奨システム モジュール) の機能と利点を備えています。このように構築された推薦システムはハイブリッド推薦システムと呼ばれます。一般的に使用される構造のタイプは次のとおりです。

このハイブリッドな推奨構造は、全体像を把握しているに過ぎません。各推奨モジュールで使用される具体的な推奨アルゴリズムについては、前述のさまざまな推奨アルゴリズムの長所と短所、使用シナリオを考慮した上で、各データタイプに適した最も適切な推奨アルゴリズムを選択し、対応する推奨システムを設計する必要があります。

8. まとめ

推薦システムのアルゴリズムについては、このシリーズのいくつかの章を通じて詳細な説明が原稿を通じて行われてきました。これで、読者は推奨システムの分野におけるさまざまな推奨アルゴリズムの優先度や重要度をより明確に理解できるはずです。これが私の記事で紹介する順序です。最も重要なのは協調フィルタリング推奨アルゴリズムで、次にコンテンツベースの推奨アルゴリズムが続きます。SVD行列分解アルゴリズムは、協調フィルタリングアルゴリズムの処理であり、協調フィルタリングアルゴリズムの補足です。次に、相関ルール推奨アルゴリズムがあり、最後に知識ベースの推奨アルゴリズムがあります。知識ベースの推奨アルゴリズムの中で、制約ベースの推奨技術がより重要です。言い換えれば、最も一般的に使用されていないのはサンプルベースの推奨技術です。これらの記事を読むことで、読者がレコメンデーション システムとさまざまなレコメンデーション アルゴリズムを全体的に把握し、将来のレコメンデーション システムを設計するための強固な基盤を築くことができることを願っています。

このシリーズはかなり長いため、多かれ少なかれ内容に抜けがあるかもしれません。その点についてはお詫び申し上げます。これらの記事を整理し、補足原稿の形でこれらの後悔を補います。補足原稿以外の原稿では、推奨アルゴリズムに近づくために、一部のコンテンツを深めたり強化したりします。読者の皆さんが推薦システムについて学ぶことをやめないでほしいと思います。なぜなら、前述のように、どんな推薦システムも完璧とは言えないからです。結局のところ、「完璧な人間などいないし、純粋な金など存在しない」のです。これは残念なことですが、私たちの推奨システム設計の継続的な発展の原動力でもあります。なぜなら、どの推奨システム開発者も、あらゆる実用的なアプリケーション シナリオであらゆる戦いに勝つことができる、普遍的で完璧な推奨システムを設計するという同じビジョンを念頭に置いているからです。したがって、推奨システムの設計にはまだまだ長い道のりが残っています。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]