AIは自メディア記事の質を知っている。これがWeChatの自動評価アルゴリズムだ

セルフメディアの時代において、すべてのパブリックアカウントは、自分の記事をより多くの人に見てもらえるようにするにはどうすればよいか、という 1 つの疑問について考えています。実は、操作に加えて、章自体の品質が最も基本的です。この記事では、テンセント WeChat データ品質チームが自社メディア向けの自動オンライン記事品質評価アルゴリズムについて説明し、モデルの視点から見た優れた記事の見方を説明します。

モバイル読書の時代には、ユーザー生成コンテンツ モデルに基づくセルフ メディア プラットフォームが数多く登場しています。すべてのユーザーがコンテンツ プロデューサーになることができます。このオープン性により、セルフ メディアのオンライン記事の品質も不均一になります。オンラインのセルフメディア記事の品質を自動的に評価することは、オンライン推奨、検索、広告などのアプリケーションシナリオにとって非常に重要です。ただし、現在このタスクに関する研究はほとんどありません。

適切にフォーマットされた従来の記事（学術論文や Wikipedia 文書など）とは異なり、セルフメディアのオンライン記事は主にユーザーによって作成され、統一されたフォーマット、レイアウト、および執筆基準がなく、テキスト、画像、ビデオのマルチモーダル混合編集、および豊富なコンテンツ、多様なスタイル、幅広い意味範囲などの潜在的な特性を備えています。同時に、評価プロセスでは読者の読書体験を十分に考慮する必要があります。さらに、記事の品質に影響を与える要素には、内容、レイアウト、文章スタイルなどの側面が含まれます。これらすべてにより、オンラインのセルフメディア記事の品質の自動評価はより複雑で困難なものになります。

これらの課題に対処するため、ACM MM2020において、テンセントWeChatデータ品質チームは、オンライン記事の品質評価のためのさまざまな要素を効果的に学習および統合するための統一フレームワークを確立し、組版レイアウト、文体、およびディープセマンティクスを組み合わせて共同モデルCoQANを確立し、特にモバイル端末でのインタラクティブな機能学習プロセスとインタラクティブな読書習慣を考慮して、さまざまな表現学習サブネットワークを設計しました。これは、記事の品質を評価する人間の認知方法により一致しています。著者らは、大規模な実世界評価データセットも構築しました。広範な実験結果により、提案された方法がオンライン記事の品質評価のためのさまざまな要素を効果的に学習し、統合することが実証されています。

論文リンク: https://arxiv.org/pdf/2008.05658.pdf

セルフメディア プラットフォームの性質を考慮して、著者はセルフメディア オンライン記事の品質を、記事がユーザーにもたらす読書体験のレベル、つまり記事の読みやすさとして合理的に定義します。これは、情報コンテンツ、執筆基準、ユーザーの認識、および記事のその他の側面に反映されます。

高品質な記事には、すっきりとした美しいレイアウト、明確なセクションと段落、きちんと配置された画像とテキストが必要です。また、コンテンツは首尾一貫し、高度に集約され、優れた文章論理と豊富な情報を備えている必要があります。逆に、低品質の記事は、レイアウトや文章の論理がわかりにくかったり、コンテンツが不完全または無意味だったり、テキストがぎっしり詰まっていたり、写真や動画ばかりがごちゃごちゃしていたり​​することがよくあります。

図1は、同じニュース「中国の学者張英英の誘拐と殺害」を報じたWeChatパブリックアカウントの記事2つを示しています。両者の違いは簡単にわかります。右側の低品質の記事には無関係な広告画像が含まれており、少ないテキスト行数で複数のテキスト形式を使用しているため、読者の目に不必要な負担がかかり、表現には口語的で感情的な言葉が多く使用されています。逆に、左側の質の高い記事は文章の論理や表現が優れており、より豊かな内容を伝えています。

図1: 高品質の記事（左）と低品質の記事（右）の例

人間がセルフメディアのオンライン記事を読むときの認知プロセスは、浅いものから深いものへと進むことが分かっています。

読者が記事をクリックしたときに最初に感じるのは、レイアウトと外観であり、これは読者の表面的な認識です。絶妙な視覚レイアウトと豊富なプレゼンテーション形式により、読者は記事に興味を持ち、より良い読書体験を得ることができます。

そして、読者は語彙、構文、記事の構成、写真などを閲覧することで、内容の主な印象をつかみますが、これは読者の表面的な認識です。

最後に、読者は記事の意味と価値を理解するために、テキストの意味論と文章の論理を深く理解する必要があります。これが読者の深い認識です。

上記の認知プロセスに着想を得て、本論文では、レイアウト構成、文章特徴、テキスト意味論を組み合わせ、特徴表現をインタラクティブに学習し、それらを統一されたフレームワークに統合して、セルフメディアのオンライン記事の品質を評価することを提案します。主にテキスト要素のみを考慮する従来の文書品質評価とは異なり、本論文で提案する方法では、ページレイアウトをモデル化するための主要な単位として画像を使用し、記事の視覚的知覚レベルと読みやすさを反映する重要な画像特徴を抽出します。

この研究の主な貢献は次のとおりです。

これは、オンラインのセルフメディア記事の自動品質評価の問題を解決した最初の研究作業であると理解されています。提案された方法は、人間の専門家の採点要素と読書習慣をうまくシミュレートできます。

著者らは、異なる特徴空間サブネットワークを組み合わせた共同認知表現学習モデルを提案し、オンラインセルフメディア記事の品質評価のためのエンドツーエンドのフレームワークを構築しました。

著者らは大規模な現実世界のデータセットを構築した。広範囲にわたる実験結果により、提案されたモデルが従来の文書品質評価方法よりも大幅に優れていることが実証されています。

具体的な方法

この論文では、オンラインセルフメディア記事の品質評価を分類タスク、つまり、記事が与えられた場合に、それが高品質の記事であるか低品質の記事であるかを予測するタスクとみなします。

図 2 は、本論文で提案されたオンライン セルフ メディア記事の品質評価のための CoQAN ネットワーク アーキテクチャを示しています。このアーキテクチャでは、レイアウト構成、文章機能、テキスト意味論のモデリングを分離するように 3 つのサブネットワークが設計されています。

レイアウトモデリングでは、研究者らは、端末で自メディア記事を読むときに上から下へスライドする順次的な読書習慣を考慮し、記事を一連のコンテンツブロックに分割し、記事画像、テキスト、タイトルなどの要素のレイアウトを明示的に学習し、ページ全体のレイアウトとローカルレイアウトパターンを同時に捉えました。

ライティング特徴サブネットワークは、マルチモーダル要素の特性を考慮し、特徴相互作用関係の深層学習を通じて異なる特徴サブスペースで特徴選択と特徴融合を実行し、高次の非線形特徴融合を実現します。

テキスト意味サブネットワークは、異なる意味レベルから章レベルの長いテキストコンテンツの意味と凝集関係を深く捉え、複雑な意味空間における単語と文の間の依存関係や記事の全体的な文章ロジックを深く学習します。融合層では、各サブネットワークが完全接続層を通過して、出力ベクトル内の各ニューロンの重みを調整します。カスケード後、出力層によって予測され、品質カテゴリが得られます。

図2: 本論文で提案する自己メディアのオンライン記事品質評価のためのCoQANネットワークアーキテクチャ

レイアウト構成サブネットワーク

外観レイアウトの組織的配置を明示的に学習するために、著者はまずページ解析を通じて記事を一連のコンテンツ ブロックに分割します。コンテンツ ブロックは、図 3 に示すように、タイトル、段落、画像、またはビデオです。

その後、コンテンツブロックごとに、種類（テキスト/画像/動画）、記事内の位置、コンテンツブロック自体の高さ、ページ上部からの距離など、ページレイアウトに関連する特徴が抽出されます。これらの特徴値は集約されて各コンテンツ ブロックのレイアウト特徴ベクトルを形成し、複数の重要なレイアウト特徴を表現できます。

図3: レイアウト組織サブネットワークにおけるコンテンツブロックの抽出と入力特徴ベクトルの構築

GRU ネットワークは、コンテンツ ブロック レイアウト特徴ベクトル シーケンスに適用され、コンテンツ ブロック間の順次依存関係をモデル化し、記事の全体的な配置パターンを取得します。同時に、著者らは入力レイアウト ベクトルに 1 次元畳み込みニューラル ネットワークを適用して主要なローカル レイアウトを学習し、複数のサイズの畳み込みカーネルを設定して、異なるスケールのレイアウト パターンをキャプチャしました。 2 つのネットワークがカスケード接続され、サブネットワークの出力ベクトルが生成されます。

書き込みフィーチャサブネットワーク

ライティング機能サブネットワークは、オンライン記事の編集スタイルを捉えることができます。著者らは、タイトル、テキスト、画像、ビデオ、章の構成などの特徴を抽出し、計算しました。たとえば、タイトルの特徴にはタイトルの長さ、キーワードの数などが含まれ、テキストの特徴には記事のカテゴリ、テキストの長さ、n-gram、品詞タグ、非繰り返し文字、非繰り返し単語の比率などが含まれ、画像とビデオの特徴には画像の数、アニメーション画像の数、ビデオの数、OCR テキストの最大数などが含まれ、章の構成の特徴には段落の数、セクション識別子として使用されるテンプレート画像の数、画像の数と段落の数の比率などが含まれます。

異なるカテゴリおよび数値特徴間の相互作用を可能にするために、書き込み特徴サブネットワークは、まず埋め込み層を介してすべての特徴を同じ特徴空間に投影し、埋め込み空間で高次の複合特徴をモデル化することを目指します。本論文では、マルチヘッド自己注意層を適用して、複数の特徴サブスペース内の異なる特徴間の相互依存性を同時に学習し、特徴空間融合を実行します。複数のヘッドを使用すると、フィーチャ ドメインをさまざまな組み合わせフィーチャに含めることができます。

著者らは、元の単一特徴を含む、以前に学習した低次の複合特徴を保持するために、ネットワークに残余接続を追加しました。ネットワークは、マルチヘッド自己注意層を複数層積み重ねることで、複数の順序を組み合わせた特徴を同時にモデル化し、異なる空間で深い特徴融合を実現できます。

テキストセマンティックサブネットワーク

著者らは BERT を改良し、テキスト セマンティック サブネットワークとして hi-Bert を設計しました。 BERT は強力な事前トレーニング テクノロジーを活用し、コンテキスト関係をモデル化する強力な機能を備えています。 BERT の自己注意メカニズムの時間計算量は O(n2) であるため、BERT は現在、文レベルのテキストの処理にのみ使用されており、ドキュメント レベルの長いテキスト入力には適していません。文書の固有の階層構造、つまり単語が文を構成し、文が文書を構成することを考慮して、著者らは BERT を hi-BERT と呼ばれる階層構造に改良しました。hi-BERT には、文書を順番にエンコードするための 2 つのレベルのエンコーダーが含まれており、それぞれ文レベルと文書レベルに適用されます。

タイトルは記事の概要を表すものなので、ここでは入力文としても使用されます。文レベルでは、ネットワークは転移学習方式で事前トレーニング済みの BERT を使用します。ドキュメント レベルでは、作成者はドキュメント レベルの双方向 Transformer レイヤーを使用して、文間の深い依存関係を学習し、最終的な記事のセマンティック ベクトルを取得します。 hi-BERT は、単語と文の相互作用的な関係を深く学習し、さまざまな書き方に直面しても堅牢な記事の意味表現を学習できます。

実験結果

セルフメディアオンライン記事の品質評価タスクに利用できる公開データセットがないため、著者らはWeChatパブリックアカウントプラットフォームからオンライン記事データを収集して処理し、セルフメディアオンライン記事の品質分類データセットを構築しました。このデータセットには、ニュース、金融、テクノロジー、人々の生活など、44 の記事カテゴリをカバーする 38,248 件のオンライン記事が含まれています。このデータセットで実験が評価されます。

比較実験の結果、提案された方法 CoQAN がすべての指標において大幅に最高のパフォーマンスを達成することが示されました。実験では、ベースラインモデルはこの記事で提案されたモデルと同じ機能を使用しています。そのため、モデルの優れたパフォーマンスは、著者が提案した共同ネットワーク表現学習アーキテクチャの恩恵を受けており、より価値のある情報を十分に学習できます。

アブレーション実験の結果は、各サブネットワークのアーキテクチャと共同学習の有効性を実証しています。テキストセマンティックサブネットワークが削除されると、ネットワークパフォーマンスが最も低下します。これは、複雑なライティング知識を適切にモデル化することが非常に重要であることを示しています。さらに、テキストセマンティクスサブネットワークのパフォーマンスは、テキスト入力のみをモデル化するすべてのベースラインモデルを上回り、ライティング機能サブネットワークのパフォーマンスはすべての機能ベースのベースラインモデルを上回ります。記事レイアウトをモデル化することで、記事品質評価のパフォーマンスを効果的に向上できます。実験結果から、任意の 2 つのサブネットワークを組み合わせた場合のパフォーマンスは単一のサブネットワークのパフォーマンスよりも優れており、3 つのサブネットワークを組み合わせた全体的なネットワーク CoQAN が最適であることがわかり、各サブネットワークがセルフメディアのオンライン記事の品質評価において重要な役割を果たしていることを証明しています。

著者らは、モデルが興味のある文章ロジックとレイアウトパターンを学習できるかどうかを確認するために、摂動実験を設計しました。実験では、正のサンプルとして正しく予測されたすべての記事の文章またはレイアウトコンテンツブロックの順序をランダムにシャッフルし、シャッフルされたサンプルを負のサンプルと見なして、成功した摂動の割合を観察しました。摂動率が高いほど、モデルは文章ロジックとレイアウトパターンに対して敏感になり、記事の品質を評価する能力が強くなります。

結果から、提案されたモデルは明らかにすべての比較モデルよりも文のシャッフルの干渉に対して敏感であり、CoQAN が文間の凝集関係をより簡単に捉え、コンテンツと文章ロジックの一貫性を学習できることがわかります。単一のテキスト意味サブネットワーク (TS) の成功摂動率は、全体的な結合ネットワーク CoQAN よりも高くなっています。これは、摂動実験が、テキスト品質とタイプ設定品質が良好な正のサンプルに対して実行されるためです。したがって、文章をシャッフルするだけの場合、適切なレイアウトにより、CoQAN がそれらをネガティブサンプルとして判断することをある程度防ぐことができます。レイアウト順序と文順序の両方が同時に乱れると、干渉が成功する割合は、単一次元の干渉の場合よりもはるかに高くなります。これらの結果は、提案された CoQAN がテキストの書き方とページレイアウトに関する知識を正常に学習することを示しています。

さらに、著者らは特徴間の相互作用の視覚的分析を実施し、最下層の自己注意層は主要な特徴を区別できる一方で、最上層はより複雑な特徴空間の相互作用を学習して意味のある高次融合特徴を取得できることを発見しました。図の結果からわかるように、主な特徴はテキストの長さと画像の最大文字数です。高品質の記事は通常、コンテンツが豊富で画像も規則的であるのに対し、低品質の記事は通常、コンテンツが不完全で、テキストを多く含む広告画像が多く見られます。その他の重要な特徴としては、画像内のテキスト領域の割合、重複しない単語の数、タイトル内のキーワードの数、画像の数、段落の数、品詞などが挙げられ、画像、タイトル、文章、テキストの構成がセルフメディアのオンライン記事の品質にとって非常に重要であることがわかります。