「ユーザーを数える」、なぜTikTokはこんなにも中毒性があるのでしょうか？

かわいい子犬や遊び好きな子猫を見るのが好きな人はいないでしょうか?特に、新型コロナウイルス感染症のパンデミックの影響で世界が完全に孤立しているこの時期、私たちは気分を調整するためにもっと楽しい動画を必要としています。

しかし、これだけではDouyinがなぜこれほど支持を得たのかを説明するには不十分だ。わずか2年足らずで、わずか数人のファンしかいなかった「リップシンク」アプリから、今年は月間アクティブユーザー数が8億人近くに達する「バイラル」アプリへと成長した。 「コロナウイルス」のタグが付いたTikTok動画でさえ、アプリ内で530億回再生されている。

Tik Tokの最も注目すべき特徴は、さまざまな洗脳ソングと面白いパントマイム風の短編動画です。

ユーザーは平均して1日52分をアプリに費やしているが、Snapchatでは26分、Instagramでは29分、Facebookでは37分となっている。

▲ Oberlo 使用時間レポート

さらに、60秒の短い動画のみをサポートするこのアプリには、ミーム、コメディ、ダンス、そして数え切れないほどの才能あるユーザーが集まっています。業界で最も強力な推奨エンジンの 1 つにより、検索したり特定の要求をしたりすることなく、自分の好みに合ったコンテンツをすばやく見つけることができます。ワンクリックで、エンジンがあなたに合わせた提案を生成します。

この終わりのない高速な刺激は、リラックスして楽しいユーザー体験をもたらし、最終的にユーザーを中毒にさせます。 「Tik Tokでは5分が経過したように感じるが、実際には1時間経過している」と言って、Tik Tokを究極の時間浪費キラーと呼ぶ人もいます。

本日の記事では、Tik Tok が機械学習技術を使用してインタラクティブなメカニズムを通じてユーザーの興味や好みを分析し、それに基づいてユーザーにさまざまなパーソナライズされた推奨コンテンツを表示する方法について説明します。

推奨エンジンは、データ サイエンス コミュニティにとって目新しいものではありません。しかし、画像認識や言語生成といった最新の目を引く「特殊効果」が欠けているため、多くの人はそれを従来の AI システムとして分類する傾向があります。

それにもかかわらず、推奨エンジンは依然として重要なタイプの AI システムであり、ほぼすべてのオンライン サービスとプラットフォームに存在しています。 YouTube 動画のおすすめから、Amazon から送信される広告メール、Kindle 書店の人気書籍まで、すべては推奨エンジンのおかげです。

ゴメス・ウリベ氏とNetflixのストリートレベルエンゲージメント責任者ニール・ハント氏が発表した研究論文によると、パーソナライゼーションとレコメンデーションの相乗効果により、Netflixは年間10億ドル以上の節約が可能になる可能性があるという。さらに、チャンネル登録者の 80% は、エンジンが提供する推奨リストから動画を選択します。

では、Tik Tok のユニークなスキルとは何でしょうか?

[レコメンデーションエンジンの基本的な概念をすでに理解している場合は、次の章を直接読むことができます]

インターネット上にはレコメンデーション エンジンに関する記事やオンライン コースが多数あるため、ここでは関連する学習リソースへのリンクを 2 つだけ紹介します。

• レコメンデーションエンジンをゼロから構築するための総合ガイド [注 1] (読むのに約 35 分、Python コードの再現に約 40 ～ 60 分)

• Andrew Ng氏によるレコメンデーションエンジンガイド[注2]（ビデオ時間：約1時間）

これらの必要な基盤に加えて、産業グレードの推奨エンジンでは、完全な統合を実現するために強力なバックエンドとアーキテクチャ設計も必要です。いくつか例を見てみましょう。

リアルタイム システムには、さまざまなビジネス上の問題を解決するために、強固なデータ基盤 (収集と保存用) が必要であり、最上位の複数の抽象化レイヤー (アルゴリズム レイヤー、サービス レイヤー、アプリケーション レイヤー) をサポートする必要があります。

ダンス ビデオをクリックすると、システムは最初にユーザーの好みをエンターテイメントに合わせてカスタマイズし、その後もユーザーの行動を追跡してさらに分析を続け、最終的にはユーザーの好みと非常に一致する正確な推奨事項を提供します。

大まかなワークフローについてお話ししましょう。

Douyin のプロトタイプ システムには、1) コンテンツのタグ付け、2) ユーザー プロファイルとユーザー シナリオの作成、3) 推奨アルゴリズムのトレーニングと提供という 3 つのコア コンポーネントが含まれています。

以下では、これら 3 つのコンポーネントについて詳しく説明します。

2.1 データと機能

まず、データです。推奨モデルをより正式な言葉で説明すると、これは実際にはユーザー満足度を「ユーザー生成コンテンツ」と一致させる機能です。この目標を達成するには、3 次元からデータを入力する必要があります。

• コンテンツデータ– TikTok は、大量のユーザー生成コンテンツを持つプラットフォームです。各タイプのコンテンツには独自の特性があり、信頼性の高い推奨を実現するには、システムがさまざまなタイプのコンテンツを識別して区別できる必要があります。

• ユーザー データ(興味タグ、職業、年齢、性別、人口統計情報など) には、ML に基づく顧客クラスター内の潜在的な特性も含まれます。

• シナリオ データ- このデータは、さまざまなシナリオにおけるユーザーの個人的な好みの変化を追跡するために使用されます。たとえば、ユーザーは仕事中、旅行中、通勤中にどのような種類の動画を視聴することを好むでしょうか?

関連データを収集した後、システムは 4 種類の主要なエンジニアリング機能を導き出し、推奨エンジンに入力します。

• 関連付け機能: キーワードの一致、カテゴリ タグ、ソースの一致、トピック タグ、ユーザーとコンテンツ間のベクトル距離などの潜在的な機能を含む、コンテンツ属性とユーザー タグ間の関連付けを表します。

• ユーザー シナリオ特性: 地理的位置、現在の時刻、イベント タグなどのシナリオ データに基づいてエンジニアリング処理が実行されます。

• トレンド機能: ユーザーの操作に基づいて、世界的なトレンド、ホットなトピック、人気のキーワード、トレンドのトピックなどとして表現されます。

• 協調機能: 協調フィルタリング技術に基づいて、狭い範囲の推奨 (バイアス) と協調的な推奨 (一般化) の間のバランスを見つけます。より正確には、単一のユーザーの履歴を考慮するだけでなく、類似したユーザーのグループ間の共同行動（クリック、いいね、キーワード、トピックなど）も分析します。レコメンデーション エンジン モデルは上記の特徴を学習し、特定のシナリオにおいて特定のコンテンツが特定のユーザーに適しているかどうかを予測します。

2.2 隠された目標

レコメンデーション モデルでは、クリックスルー率、視聴時間、いいね、コメント、再投稿はすべて明確で定量化可能な目標です。モデルやアルゴリズムを使用してこれらの指標を適合させ、最終的な予測を行うことができます。

しかし、これに加えて、これらの定量化可能な指標では評価できない暗黙の目標も存在します。

たとえば、健全なコミュニティとエコシステムを維持するために、Douyin は暴力、詐欺、ポルノ、噂に関連するコンテンツの管理に力を入れており、プラットフォームに投稿されるコンテンツが事実に近づくように努めています。
このため、定量化可能なモデルの目標を超えた新たな境界制御フレームワーク（コンテンツレビューシステム）を定義するのは当然のことです。

2.3 アルゴリズム

推奨目標は、古典的な機械学習の問題として指定でき、その後、協調フィルタリング モデル、ロジスティック回帰モデル、分解マシン、GBD、ディープラーニングなどのさまざまなアルゴリズムを通じて問題を解決できます。

産業グレードの推奨システムでは、多くの場合、さまざまなモデルを迅速にトレーニングし、さまざまなモデルを積み重ねてリアルタイム サービスを実現するための実験的なパイプラインを構築するために、柔軟でスケーラブルな機械学習プラットフォームが必要になります。 （強化学習、DNN、SVM、CNNの組み合わせなど）

Douyin では、メインの推奨アルゴリズムに加えて、コンテンツ分類アルゴリズムとユーザー嗜好アルゴリズムもトレーニングする必要があります。次に、Douyin がコンテンツ分析を実装するために確立したマルチレベル分類アーキテクチャを見てみましょう。

メインルートから始めて、レイヤーごとに下へ進んでいきます。まず、メインカテゴリとサブカテゴリがあります。独立した分類器と比較して、このマルチレベル分類メカニズムは、データの偏りの問題をより適切に解決できます。

2.4 トレーニングの仕組み

Douyin はリアルタイムのオンライン トレーニング プロトコルを使用しているため、コンピューティング リソースの要件が少なく、より迅速なフィードバックを提供できます。これら 2 つの点は、ストリーミング メディアや情報フロー製品にとって間違いなく非常に重要です。

トレーニング システムは、ユーザーの行動とアクションをリアルタイムでキャプチャし、モデルにフィードバックして次の応答に反映させます。 （たとえば、新しいビデオをクリックすると、フィードは最新のアクションに基づいてすぐに変化します）

私の個人的な推測によると、Tik Tok はクリック、表示、お気に入り、いいね、コメント、共有などのリアルタイムのサンプルデータを処理するため Storm Cluster を使用する可能性が高いようです。

また、システム パフォーマンスをさらに向上させるために、モデル パラメーター サーバーおよび機能サーバー (それぞれ機能とモデルを保存) も構築しました。機能ストレージは、数千万の生の機能とエンジニアリング ベクトルを保存して配信できます。一方、モデル ストレージは、モデルと調整されたパラメーターの保守と配信を担当します。

以下にトレーニング プロセスをまとめます。1) オンライン サーバーがリアルタイム データをキャプチャして Kafka に保存します。2) Storm Cluster が Kafka データを使用して機能を生成します。3) 機能ストアが新しい機能と推奨タグを収集し、それらに基づいて新しいトレーニング セットを構築します。4) オンライン トレーニング パイプラインがモデル パラメーターを再トレーニングし、モデル ストレージにパラメーターを保存します。5) クライアント推奨リストが更新され、新しいフィードバック (ユーザー操作) がキャプチャされ、サイクルが再び開始されます。

TikTok は、そのコアアルゴリズムを一般の人々や技術コミュニティに公開したことはありません。しかし、同社が公開した散発的な情報と、オタクコミュニティがリバースエンジニアリングを通じて見つけた手がかりから、私たちは当初、次のような結論を導き出しました。 （免責事項 - 以下の内容は著者の個人的な解釈と推論であり、Douyinの実際の状況と異なる場合があります）

ステップ 0: ユーザー生成コンテンツ (UGC) の二重レビュー システム

TikTokでは、何百万人ものユーザーが毎日独自のコンテンツをアップロードしています。悪意のあるコンテンツは、単一の機械によるレビュー システムの抜け穴を見つけてすり抜けてしまう可能性が高く、アップロード数が膨大であるため手動によるレビューは非現実的です。このため、二重審査はDouyinの主な動画コンテンツ審査アルゴリズムとなっています。

• 機械によるレビュー: 全体として、デュアルレビュー モデル (コンピューター ビジョンに基づく) は、ユーザーがアップロードしたコンテンツ内のビデオ画像とキーワードを識別できます。主に 2 つのコア機能を提供します: 1) クリップされたコンテンツに違反がないかを確認し、テキスト情報を確認します。問題が疑われる場合、コンテンツはブロックされ、人間のレビュー担当者によるレビューのために黄色または赤でマークされます。 2) TikTok の二重監査アルゴリズムは、動画から画像とキーフレームを抽出し、それらのコンテンツをアーカイブされたコンテンツの膨大なライブラリと照合します。これらのコピーは、帯域幅の使用量を削減し、推奨エンジンの処理負荷を軽減するために、低精度バージョンとしてレンダリングされます。

• 手動レビュー: 主にビデオのタイトル、カバーのサムネイル、ビデオのキーフレームの 3 つの問題に焦点を当てます。二重レビュー モデルによって疑わしいとマークされたコンテンツについては、技術者がさらに手動で検査を実施します。違反が確認された場合、動画は削除され、アップロードしたアカウントは凍結されます。

ステップ1: コールドスタート

Douyin の推奨メカニズムの中核は、情報フロー ファンネルにあります。コンテンツがダブルレビュー フィルターを通過すると、コールド スタート トラフィック プールに配置されます。たとえば、ユーザーの新しい動画が審査プロセスに合格すると、Douyin は 200 ～ 300 人のアクティブ ユーザーからの初期トラフィックをその動画に割り当て、コンテンツがユーザーに表示される最初の機会を確保します。

この仕組みにより、新しいクリエイターは、オピニオンリーダー（すでに何千人ものフォロワーがいる場合もある）と同じ出発点からスタートし、作品の質だけに基づいて真っ向から競争することができます。

ステップ2: 指標に基づく重み付けメカニズム

初期のトラフィックのプールを通じて、私たちのビデオは何千回も視聴されており、このデータは今後さらに収集され、分析される予定です。分析で考慮される指標には、主にいいね、視聴回数、視聴完了数、コメント、フォロー、再投稿、共有が含まれます。

次に、推奨エンジンは、これらの初期指標とアカウント スコア (高レベルのクリエイターであるかどうかに関係なく) に基づいてコンテンツに重み付けを行います。

スコアリング結果に基づいて、上位 10% の動画には、さらに 10,000 ～ 100,000 件の推奨表示機会が与えられます。

ステップ3: ユーザー嗜好アンプ

ステップ 2 のトラフィック プール ステージからのフィードバックはさらに分析され、システムがユーザー プリファレンス アンプを使用するかどうかを判断するのに役立ちます。このステップでは、特定のユーザーグループ（スポーツファン、ファッション愛好家など）に高品質のコンテンツを配信し、さらに強化・拡大します。

これは「何が好きかを推測する」という概念に似ています。推奨エンジンは、コンテンツとユーザー グループの最適な組み合わせを見つけるために、ユーザーの個人的な好みのライブラリを構築します。

ステップ4: ブティックトレンドプール

最終的にトレンドプールに入るコンテンツは 1% 未満です。トレンド プール内のコンテンツは、無差別にすべてのユーザーに推奨されるなど、他の動画よりもはるかに多くの露出が得られます。

追加手順: 遅延曝露

TikTok ユーザーの中には、自分のコンテンツが投稿されてから数週間後に突然大きな注目とクリック数を獲得していることに気づく人もいるかもしれません。それ以前は、視聴回数やリポスト数は比較的平均的でした。どうしたの？

これには主に 2 つの理由があります。

• まず、TikTokは「gravedigger」というニックネームのアルゴリズムを使用して、古いコンテンツを遡って高品質の露出オブジェクトを発掘することができます。あなたのコンテンツがこのアルゴリズムに選ばれたということは、明確な位置付けタグを取得するのに十分な縦向きの動画がアカウントにあることを意味します。言い換えれば、明確なタグを設定すると、コンテンツが Gravedigger アルゴリズムで好まれる可能性が高まります。

• 2つ目は「ファッション効果」です。つまり、あなたのコンテンツの 1 つが何百万回も閲覧された場合、視聴者は積極的にあなたのページにアクセスし、以前に投稿した他のコンテンツを見るようになります。これは積極的な探索と宝物の発見のプロセスであり、ユーザーの達成感もある程度高まります。

制限: トラフィックのピーク

コンテンツが情報フローの抜け穴（二重レビュー、重み付けの反復と増幅）を通過すると、作成者のアカウントは多くの表示機会、ユーザーとのやり取り、注目グループを獲得します。

しかし、研究によれば、この高露出時間枠は非常に狭いそうです。通常、この期間は 1 週間程度しか続きません。その後は、コンテンツとアカウントはすぐに古くなり、その後のコンテンツも人々の注目を集めなくなります。

なぜこのようなことが起こるのでしょうか?

これは主に、TikTok がコンテンツ制作者にとってより公平な公開環境を提供し、アルゴリズムの偶発的な偏りを排除することを望んでいるためです。この設計により、推奨エンジンは特定の種類のコンテンツを優先することはなくなり、すべての種類の新しいコンテンツが新しいヒットになる可能性が平等に確保されます。

【注記】：

1. https://www.analyticsvidhya.com/blog/2018/06/comprehensive-guide-recommendation-engine-python/

2. https://www.youtube.com/playlist?list=PL-6SiIrhTAi6x4Oq28s7yy94ubLzVXabj

【参考文献】：
1. https://www.businessofapps.com/data/tik-tok-statistics/
2. https://mediakix.com/blog/top-tik-tok-statistics-demographics/
3. https://en.wikipedia.org/wiki/TikTok
4. http://shop.oreilly.com/product/9780596529321.do
5. https://sensortower.com/
6. https://www.nytimes.com/2020/06/03/technology/tiktok-is-the-future.html