Shopee多言語商品知識グラフ技術構築方法と応用

Shopee は世界中の複数の市場にサービスを提供する電子商取引プラットフォームであり、消費者に、より便利で安全、迅速で優れたショッピング体験を提供することに取り組んでいます。 Shopee はさまざまな言語や市場に深く関わっています。この国際的なサービス プラットフォームでは、複数の言語や混合言語の複雑なコーパスを処理する必要があります。私の個人的な仕事は、主に電子商取引プラットフォーム上の製品に関連するグラフの構築とグラフアルゴリズムに焦点を当てています。また、この共有が皆様に何らかの利益をもたらすことを願っています。これには、複数の市場で製品ナレッジグラフを構築した経験、製品ナレッジグラフの最新の進歩と新しいアプリケーション、複雑な電子商取引アプリケーションの要求を満たす技術モデルと技術フレームワークを構築する方法が含まれます。

1. 知識モデリング

まず、ナレッジモデリングに関連するコンテンツをいくつか共有したいと思います。

1. 知識オントロジー

上の写真からわかるように、消費者がShopee eコマースアプリを使用するとき、カテゴリオプションを使用して特定のカテゴリの製品を見つけ、閲覧して購入することができます。分類システムは、製品グラフ内の製品情報を管理するために使用される非常に重要なオントロジー レイヤーです。製品グラフのオントロジー層には、主に製品の分類と各カテゴリの特定の属性が含まれます。このような分類と属性の組み合わせにより、製品グラフ全体の各製品エンティティの特定の情報が表現されます。

電子商取引の分類は、最も粗い粒度から最も細かい粒度までのツリー構造になっており、分類ごとに深さが異なります。モバイル電子機器を例にとると、さらにウェアラブル電子機器製品に細分化され、ウェアラブルカテゴリには携帯時計などが含まれます。サブカテゴリについては、皆さんが気になる属性や属性値を整理していきます。 Tシャツを例にとると、消費者やプラットフォームは、Tシャツのブランドや素材などの情報に注目する可能性があります。ここで、ブランドと素材は属性タイプです。ブランドや素材などの属性項目に対応する具体的な属性値（属性値）を整理します。例えば、素材には純綿Cotten、シルクSilkなどが含まれます。

カテゴリ、属性タイプ、属性値の組み合わせにより、製品ナレッジ グラフのオントロジー レイヤーを構築できます。このようなオントロジーは、すべての特定の商品エンティティの情報を表現するために使用されます。

2. 知識オントロジー - オントロジーとエンティティ

この図では、上部がオントロジー、下部が各製品のエンティティです。もちろん、商品エンティティにはさまざまな粒度があります。たとえば、私たちが毎日何かを購入するときに見るページは、実際には商品ディメンションであるアイテムです。購入する特定のモデルを選択するときは、最も詳細な製品情報である SKU モデルを選択します。このようなオントロジーシステムと商品エンティティの組み合わせにより、大規模な商品情報の構造化された管理と表現を実現できます。

3. ナレッジオントロジー - Uplift All in One

経済の発展に伴い、電子商取引は急速に変化する市場の需要を満たすために絶えず進化しており、電子商取引プラットフォームのオントロジー層は静的ではありません。

Shopee の構築の初期段階では、さまざまな言語市場で独自のオントロジー分類と設計が行われていました。その後、統一されたセットの方が、多言語コーパスと多言語市場間の製品の相互運用性、および異なる言語間の製品情報の効率的な変換に役立つことがわかり、異なる言語間のオントロジーを Global-Category-Tree などのグローバルに統一されたシステムに集約しました。同じ分類システムと同じ属性システムの下で、言語の異なるバージョンを使用して、すべての市場の商品エンティティ情報を管理できます。

4. 知識オントロジー - 継続的な向上

グラフ オントロジーに関して、私たちが直面する主な問題点は、時代の変化に合わせてオントロジーを反復して変更する方法です。市場が発展するにつれて、新しいカテゴリー、新しい商品、新しい価値観が生まれ続けます。しかし、新製品、新アイテム、新価値は既存のコーパスでは比較的稀なので、どうすればそれらをタイムリーに捉えることができるのでしょうか。このテクノロジーのアイデアは、New Phrase Mining から始まります。通常の NER モデルは、OOV 問題でのパフォーマンスがアプリケーションの要件を十分に満たすことができません。私たちの中心的なアイデアは、MINER モデルを導入して OOV 問題を軽減し、改善することです。主なアイデアは、SpanNER に基づいて情報ボトルネック層を導入し、目的関数を相互情報量の形式で変換し、モデルがコンテキストをキャプチャする能力を最適化できるようにすることです。これにより、モデルの一般化能力が向上します。このように、新しいカテゴリ単語、属性項目、属性値を継続的にマイニングすることで、スパンレベルの精度が 4.5% 以上、値レベルの再現率が 7.4% 以上向上し、非常に優れた結果が得られました。この継続的なマイニングのアイデアセットに基づいて、オントロジー レイヤーへの調整をインテリジェントに推奨し、オンライン効果評価を組み合わせ、新しいコーパスに基づいてマイニングを継続的に反復およびサイクルすることができます。

2. 知識の獲得

1. 課題

知識獲得の日々の作業でも、私たちは多くの課題に直面します。たとえば、商品コーパスを処理する場合、さまざまな言語、さらにはさまざまな複雑な言語が混在する言語に遭遇します。同時に、きめ細かい分類を処理する必要があり、分類システムは数千のカテゴリに達する可能性があります。このようなきめ細かい分類では、異なるカテゴリには異なるコーパス特性があり、カテゴリと属性項目ディメンションの組み合わせは 10,000 以上の組み合わせに達する可能性があります。各項目の下にある異なる属性値と組み合わせると、全体の規模は 260K 以上に達する可能性があります。この規模では、全体的なサービス精度を 90% 以上に維持する必要があります。

このような課題に直面して、より優れた技術的アイデアが必要です。限られた開発者と研究開発時間に基づいて、オンライン サービスの反復の要求に迅速に対応し、オンライン サービスの有効性を確保できます。したがって、アプリケーションの要求に応えるには、スケーラブルな技術構造が必要です。

2. 商品カテゴリー分類

まず、製品分類に関連するタスクとソリューションを紹介します。製品分類問題の主な目標は、製品分類情報を理解し、その正確性を向上させ、確保することです。同時に、システムの効率性と安定性を確保するために、販売者の商品リリースシステムに分類サービスを提供することも必要です。具体的な問題は、いくつかのタスクに分けることができます。

①新発売の商品を的確に提案する方法

② 既存の商品は新しい分類体系に移行されます。

③ 在庫商品情報の誤りを適時に把握し修正する。

電子商取引プラットフォームの発展に伴い、ユーザーの注目を集めるために商品情報の表現は常に変化しています。これはモデルにとって課題です。正確なモデルを構築するだけでなく、その有効性を維持するために継続的に反復して更新する必要があります。

情報分類に対処するには、モデル アーキテクチャを設計する必要があります。このようなモデル アーキテクチャにはさまざまな種類があります。たとえば、最初のものは各製品を粗く分類し、数十の主要カテゴリに分割することです。各主要カテゴリの下には、より細かい分類があります。このように、各サブモデルが分類する必要があるカテゴリの数は比較的少なく、分類効果はより洗練されます。 2 つ目は、よりエンドツーエンドのフレームワークで、製品情報を直接入力して、最もきめ細かい分類を見つけます。

どちらのアーキテクチャにも長所と短所があります。 1 つ目の欠点は、管理する必要があるモデルが多数あることです。言語市場を例にとると、管理する必要があるモデルは数十個あります。 12 を超える言語市場と組み合わせると、管理されるモデルの数は数百に達します。 2 番目のモデルはよりエンドツーエンドですが、一部のサブカテゴリへの影響は異なる場合があり、細分化されたカテゴリの最適化は他のカテゴリへの影響にも影響します。実際の結果に基づいて、これら 2 つのシステムの間でより科学的な選択を行います。

システムに関係なく、基礎となるレイヤーはテキスト分類方法と、テキストと画像を組み合わせたマルチモーダル方法に依存します。一般的なテキスト モデルには、Fasttext や BERT などがあります。さまざまなモデルを比較した後、マルチモーダル部分の商品画像とテキスト情報の包括的な認識を実行するためにAlign-before-fuseを使用することを選択し、最終的に適切な分類を見つけました。 Align-before-fuse モデルの核となる考え方は、まず画像テキスト対照学習、画像テキストマッチング、マスク言語モデリングを通じて事前トレーニングを実行し、次に Momentum Distillation を使用して汚れたデータの影響を軽減し、より良い分類結果を達成することです。

モデルの開発、リリース、適用により、各市場の主要カテゴリーで 85% ～ 90% 以上の精度を維持できます。同時に、さまざまなパブリッシング システムの高頻度呼び出しもサポートできます。

2 つ目の課題は、カテゴリ システムの変更に迅速に対応し、製品を新しいカテゴリに変換する方法です。ここでのビジネス背景は、市場の発展に伴い、多くの新製品が登場し、製品カテゴリが拡大したことです。比較的粗い分類方法を使い続けると、下流の電子商取引システムの流通と顧客の消費体験に悪影響を与えるため、詳細な分割を行う必要があります。新しい分類では自然なトレーニング コーパスを直接取得できないため、テクノロジーにとってはより困難です。そのため、この作業の焦点は、トレーニング コーパスをインテリジェントに構築し、アップグレードして、新しい分類システムの要件に対応する方法です。

上の図は、データ マイニングのプロセスとアイデアを示しています。中心となるアイデアは、キーワード マイニングと OOD 検出の方法に基づいて、変化または出現するカテゴリのキーワードをマイニングし、キーワードに基づいて自動サンプルを構築することです。たとえば、新興カテゴリーのキーワードをマイニングした後、既存の製品や市販の製品がそのようなキーワードにヒットし、実行度が高い場合は、それらをトレーニングコーパスに追加して、新しいカテゴリーのトレーニングサンプルにすることができます。実行が少ないデータコーパスや複数の可能性のあるデータコーパスの場合、簡単な手動検証によりトレーニング サンプルを迅速に構築し、モデルを効率的に反復処理できます。

上図のケースを例にとると、元のグローバル カテゴリ ツリーには 2 つのカテゴリがあります。20 以上の細分化されたカテゴリに拡張した後、テキスト モデルとマルチモーダル モデルの両方が複数の異なる市場で 90% 以上の精度を達成し、分類調整の問題に効率的に対応できます。

3 番目のタスクは、誤分類された製品をどのように捕捉して修正するかです。ここでのビジネス背景は、誤った製品情報が消費者とプラットフォームの両方にさまざまな悪影響を及ぼすことです。たとえば、物流コストがさらに増加し​​、商人の売上に影響を及ぼし、商品管理の難易度が増すことになります。技術的な難しさは、このような置き忘れられたアイテムはモデルにとって検出が難しいケースであり、分類モデルがこれらのデータを正確に捕捉することが難しいことです。

この問題を解決するために、置き忘れられたアイテムを識別する検出モデルを構築し、識別された置き忘れられたアイテムに基づいて修正作業を実行し、より適切な分類を見つけました。検出モデルでは、マルチタスク学習を使用して CrossEncoder に基づいて Shopee コーパスを事前トレーニングし、分類を実行するという中心的なアイデアが採用されています。製品情報と分類情報を組み合わせることで、各分類レベルで製品が誤って分類されていないかを識別することができます。置き忘れられた製品については、リコールと並べ替えを通じて、最も近いカテゴリまたは最も頻繁に実行されるカテゴリを見つけます。中心となるアイデアは、Siamese Network Structures と Triplet Contrastive Learning を使用して、Sentence-BERT に基づいて最も信頼性の高い分類を 1 つ以上選択し、修正を行うことです。

処理または注釈を付ける必要がある疑わしいコーパスの規模は非常に大きいので、少量のデータのみをマークすることでモデルを改善するにはどうすればよいでしょうか。この問題を解決するために、能動学習を通じてコーパスの信頼性を学習する、データコーパス最適化を実施しました。3～4 個のモデルを作成した後、投票と最適化手法を通じて、どのデータが外れ値であると予想されるかを学習しました。サンプリング時には、重心データ、外れ値データ、ランダム データがすべてサンプリングされます。これにより、コーパス内の注釈の量を削減し、モデルを改善できます。

上記の作業を組み合わせることで、製品が誤分類されているかどうかを識別するサービスは、98% を超える精度を達成できます。主要カテゴリにおいて、検索クエリに関連する不正なケースの数が約 50% 減少しました。

3. アイテム属性認識

次に、新たに追加された製品属性の識別について紹介します。上図からわかるように、商品情報を入力した後、属性認識は 4 つの異なるアイデアに基づいています。1 つ目は文字列一致モデルに基づいています。2 つ目は、保証期間: 1 年などのルールベース モデルに基づいており、コーパスの特性とルールと一致しています。3 つ目は、属性を識別するための NER モデルに基づいています。4 つ目は、視覚とマルチモダリティに関連するモデルである画像モデルに基づいています。

これら 4 つの異なる識別アイデアに基づいて、製品情報からさまざまな属性項目と値が得られます。これら特定された属性項目と値に対して、属性値統合のレイヤーが実行され、さまざまな情報に基づいてより信頼性の高い項目と値が選択されます。例えば、学習ソースの信頼性など。より高い信頼性で属性値を学習した後は、属性値間の関係性を組み合わせて、商品情報を超えて推論された商品知識を補完することも必要です。

オープンセット属性値には通常、さまざまな表現があり、NER モデルは製品情報表現の既存の値をキャプチャするのに適しています。そこで、製品情報属性の認識をNERモデルからMRCモデルに変換しました。 MRC のソリューションを通じて、Wordpiece トークナイザーを使用して OOV の問題を軽減し、Labse PLM を使用していくつかの多言語問題を解決し、MRC + CRF を使用してテキスト属性と製品属性の認識および抽出タスクを完了したいと考えています。

多数の属性値を識別して抽出すると、その表現が多様であり、スペルミスや同義語が存在することがわかります。サムスンケースのように、すべて青いですが、「青い」や「青い」などの異なる表現があります。これらの単語を標準化して、下流のアプリケーションに適切に対応し、すべての製品情報を標準情報レイヤーに変換して、下流のシステムによるより効率的な理解を促進する必要があります。

次に、製品から抽出された情報が矛盾する可能性があるため、この情報をより曖昧に理解する必要があります。たとえば、商品タイトルの色は「赤」で、詳細情報の色は「黄色」です。「シルバー」は色と素材の両方を識別でき、「赤」は赤またはRedmiブランド情報を指す場合があります。 promat アプローチに触発されて、この問題を生成タスクに変換します。上図は T5 モデルに基づく全体的なフローチャートであり、データをテンプレート形式に変換し、エンコーダーとデコーダーを作成し、最後に識別する項目に対応する値を出力することに重点を置いています。比較してみると、T5 のパフォーマンスは依然として良好であり、他のモデルと比べて大幅に改善されていることがわかりました。

製品情報を特定した後、この情報を使用していくつかの推論を行うこともできます。たとえば、保証タイプが保証なしの場合、保証期間項目は当然「なし」になります。この種の推論は、ナレッジ グラフの関連属性をマイニングすることによって実現できます。

同様に、関連属性を使って商品情報を補完できるだけでなく、商品グラフには商品同士の関係や、商品と属性の関係も含まれており、これらの関係の間でも一連の情報を補完することができます。これを基にグラフシステムも構築しました。

3. 知識の融合

次に、オントロジー融合、エンティティ融合、情報融合に分かれている知識融合部分を紹介します。

1. オントロジーの融合

オントロジーレイヤーの融合は、商品オントロジーとして理解できます。たとえば、Shopee の商品分類システムと市場の他の分類システムは、カテゴリのマッピング、属性項目のマッピング、属性値のマッピングなど、相互にマッピングして関連付けることができます。核となるアイデアは、サポートを提供するための多数の原子技術モジュールを持つことです。たとえば、カテゴリのマッピング関連付けでは、商品の分類情報を分類システムのマッピング関係にまとめることができます。属性項目は、類似語、同義語などと組み合わせることができ、分類下で項目と値の間の関連付けられたマッピング関係を構築することができます。このような関連付け関係も、実際の状況に基づいて、正確性や条件の面で制限されます。

2. エンティティの融合

重点は物理層の統合にあり、これは電子商取引レベルでは製品間の関係の識別と理解として理解できます。たとえば、同じ製品、類似製品、関連製品などです。

さまざまな関係の基本的なアルゴリズムには、いくつかの古典的なアイデアがあります。最も一般的なものは、画像とテキストの類似性の一致に基づいて関係を見つけることです。さらに一歩進んで、製品グラフに基づいて製品情報属性のよりきめ細かいマッチングを実行し、製品間のマッチング関係の特定の要件を、よりビジネス的に解釈しやすい方法で分解することができます。たとえば、2 つの製品のブランド、素材、色が同じかどうかを知りたい場合や、ビジネスでカスタマイズしやすくするために、より細かい粒度や粗い粒度が必要な場合があります。

画像とテキストの類似性に基づくマッチングでは、主にリコールソートに基づくフレームワークと手法を構築しました。商品情報に基づいて埋め込みを構築し、画像とテキストの埋め込みに基づいて検索、想起、正確なランキング付けを実行し、類似性に基づく同一アイテム関係の構築を実現します。

これを基に、グラフの属性ディメンションに基づいてより正確な同一アイテム関係を構築することも望まれ、標準製品ノードである Standard Product Unit (spu) という概念が生まれました。上図からわかるように、各商品の細分化された分類のもとで、商品関係で最も気になる項目と価値を定義できます。たとえば、写真の Apple iPhone 13 Pro は一連の製品ノードを表しています。どの販売店がどの場所で Apple iPhone 13 Pro を販売しても同じ製品です。もちろん、この製品ノードもより細かい粒度で刻印されています。このような製品ノードを作成した後、この製品の定義を満たすすべての製品を接続して、製品粒度での製品集約を実現できます。

これの利点は、より説明可能で、ユーザーや内部プラットフォーム操作にとって便利であり、さまざまな粒度の集計をカスタマイズできることです。

全体的なフレームワークは上図に示されており、定義の洗練と定義に基づく属性の抽出が含まれます。製品ディメンションは、定義の要件と抽出された属性に基づいて集約されます。すべてのモジュールを接続することで、SPU データ資産の生成を実現できます。最終的には、すべての製品ノードが生成され、すべての製品情報が接続されるだけでなく、製品情報を製品ディメンションに集約して、最終情報レイヤーで知識の融合を実現することもできます。

そこで、上図のようなナレッジ グラフを構築しました。このナレッジ グラフには、さまざまな製品ノードと、それに対応する分類情報、属性情報、およびさまざまな製品エンティティ間の接続が含まれています。

4. 知識の応用

次に、当社のナレッジアプリケーションシリーズについて簡単に紹介します。

ナレッジ アプリケーションが提供するサービスは非常に広範囲にわたります。たとえば、オペレーションが市場を理解し、製品を選別し、製品の品質を検証するのに役立ちます。また、販売者がカテゴリをインテリジェントに識別し、価格を推奨し、製品を公開する際に物流情報を入力するのに役立ちます。さらに、消費者が費用対効果の高いイベント会場を推奨するのに役立ち、検索推奨に対するさまざまなインテリジェント サポートを提供します。

5. ナレッジグラフの展望

最後に、今後のナレッジグラフの取り組みの展望について紹介します。

前のグラフからわかるように、当社の製品グラフは、製品や製品属性分類などの情報への接続だけでなく、ユーザー、販売者、さまざまな市場プラットフォームの高次元情報との関連付けをさらに拡張し、情報間の正確な相互運用性と推論を実現し、その完成に基づいてより広範なビジネスアプリケーションを実行できます。

現在のAIGC時代では、多数の新技術の出現が人々の思考に影響を与え、さまざまな大規模言語モデルが次々と生まれています。 chatGPT大規模モデルの突破により、AIの開発は一定の段階に達しました。 chatGPT の成功は、十分なデータと十分に大きなモデルがあれば、より優れた知識推論を実現できることを証明しています。このような背景から、グラフ関連の仕事に携わる人々や私たちの仕事は、どのような発展の機会や課題に直面しているのでしょうか。

大規模なモデルの場合、グラフに提供できる支援は特に優れておらず、エンドツーエンドの要件を満たすことができません。特に垂直分野では、各企業が独自の運用モデルとビジネス標準を持っています。上の図に示すように、きめ細かな製品認識を実行します。この例では、精度は約 50% であり、エンドツーエンドの商用アプリケーションの要件をまだ満たしていません。きめ細かなサブモデルを構築する必要があります。さらに、現在のコンピューティング電力消費量に基づくと、大規模モデルの計算はコスト効率のよい選択肢ではなく、垂直分野のモデルには依然として利点があります。ただし、大規模なモデルは、トレーニング データの強化やサンプルの生成など、垂直ドメイン モデルの最適化に役立ち、垂直ドメイン モデルを迅速に改善するのに役立ちます。

ビッグモデルのトレンドの中で、ナレッジグラフがどのような役割を果たせるかについても考える必要があります。実際、現在のビッグモデルにはまだいくつかの問題があります。たとえば、ビッグモデルはリアルタイムではないものの、一見妥当な予測を提供する可能性があり、より複雑な論理的推論や数学的推論の推論機能にはまだ改善の余地があります。ナレッジグラフは実際に推論能力においていくつかの利点を持っているため、将来的にはナレッジグラフの構造を既存の方法論や大規模モデルのトレーニング方法と組み合わせることができるかどうかを検討することができます。

現在のアプリケーションから判断すると、New Bing はすでに検索エンジンを使用して chatGPT-4 の有効性を補完および強化しており、知識ベースのエラーもある程度削減されています。たとえば、独自のビジネス知識については、ゼロ微調整テクノロジーを使用して、ナレッジグラフの知識表現をプロンプトとして使用し、GPT 大規模モデルにビジネスシナリオに沿った回答を生成するように促すことができますか?もちろん、これらは表面的なアイデアと応用にすぎません。モデルに対する理解が深まるにつれて、より優れた組み合わせ方法が見つかると信じています。