顔認識、マルチターゲット追跡…Suningのスマートストアのその他のブラックテクノロジーを公開！

[51CTO.comからのオリジナル記事] インターネット+の急速な発展に伴い、オフライン小売業界は破壊的な発展と再編の転換点を迎えています。

[[218255]]

業界でオンラインとオフラインの融合を実践する企業として、Suningはスマートリテールの先行者利益をつかみ、本格的な爆発的な成長の瞬間を先導しました。

2018年、蘇寧は「頂点を極める」という開発方向を提唱し、オタク精神と極限のスピードで究極のスマートリテールを創造することを目指しました。

ビッグデータと人工知能を統合したスマート小売製品として、北斗システムは蘇寧のオフライン開発に強力な技術サポートを提供します。

北斗システム構築の当初の意図

オフラインストアの場合、ビジネスが成功するかどうかを決定づける重要な要素は何でしょうか?一般的には、店舗前の顧客の流れ、店舗への顧客の流れ、取引件数、売上高、顧客平均支出額などの指標です。

その中でも最も重要なのは、売上や運営目標を達成するための前提条件となる顧客の流れです。顧客の流れは店舗運営戦略に影響を与えるだけでなく、投資判断、開発見通し、営業実績評価の重要な基礎にもなります。

乗客流動データ分析を通じて、会場の乗客流動状況をリアルタイムで把握し、将来の乗客流動の発展を予測できるだけでなく、ターゲットを絞ったマーケティング戦略の策定、製品の調整、広告ブースの配置、顧客の動線の設計などをより適切に行うことができます。

蘇寧の「北斗」システムは、こうした実際の需要に基づいて開発された店舗サービス向けのデータ製品であり、オフライン監視ビデオデータリソースを基盤とし、ビデオ画像認識技術を採用し、ビデオ処理、画像処理、パターン認識、人工知能など複数の分野の技術を統合し、これまで手動統計や従来の方法に依存してきたデータ統計方法を完全に覆しました。

また、より正確で詳細な店舗顧客分析データを提供し、スマートな店舗運営のための一連の技術ソリューションを提供します。

北斗システムプラットフォームアーキテクチャの進化

顧客の流れを数えることは、店舗管理のニーズにおいて常に悩みの種でした。経営者として、毎日最初にそして最も重要なことは、時間ごと、日ごと、週ごとに何人の顧客が来店し、何人の顧客が退店し、何人の顧客が店内にいるかなどに注意を払うことです。

このデータを取得するために、Suning はこの要求に関して次の 3 つの段階を経ました。

人材カウント

当初は、各店舗の顧客フローデータを取得するために、各店舗の入り口に人を配置して手動で統計を行い、それをバックエンドシステムを通じて維持することで、総支配人、店長、その他の管理担当者が店舗に入店した人数に関するデータを大まかに取得できるようにしていました。

しかし、すぐに欠点が露呈しました。

• 統計学者が長時間にわたって高い集中力を維持するのは困難であり、数字を見落としてしまう可能性が高くなります。
• コスト面では、店舗のドアが数十個の場合もあれば、4～5 個しかない場合もあり、人件費は顧客フロー設備への投資よりもはるかに高くなります。

そうすることは、多大な労力と労力を要するだけでなく、システムデータの蓄積と参照基盤の完全なセットを形成することもできないため、この計画は実装プロセス中に徐々に放棄されました。

WiFi カウント

インターネットの発展とWiFi技術の普及により、あらゆる店舗が無料WiFiを設置するようになり、顧客はWiFiに接続することで来店回数をカウントできるようになりました。

技術的には、携帯電話のMACアドレスを使用して人数をカウントします。携帯電話のIPアドレスに基づいて店内の顧客の動きを追跡することもでき、新しい顧客と古い顧客を識別することができます。

しかし欠点は次のとおりです。

• WiFi 乗客フロー統計では、WiFi 信号が監視範囲内に含まれ、信号が安定していることが求められます。
• 統計のソースとして使用するには、顧客の携帯電話を WiFi 信号に接続する必要があります。
• WiFi信号の偏差は6〜10メートルと大きく、データの歪みを引き起こします。

これら 3 つの点はデータの正確性に重大な影響を及ぼし、データの参考値と分析意義を保証することができないため、データには指導的意義がありません。

動画数

人工知能技術の発展と成熟に伴い、画像認識技術は徐々に商業応用へと向かっています。店舗の既存の監視データに基づき、ビデオ認識技術を使用することで、ビデオ画面内のアクティブなオブジェクトを抽出、識別、追跡することができ、それによって完全な顧客のオフラインユーザー行動データを取得できます。

データは包括的​​かつ完全であるだけでなく、あらゆるシナリオのデータを網羅しており、データに基づく運用管理を効果的にサポートし、店舗運営に強力なデータサポートを提供します。

[[218256]]

ビデオカウントの鍵は、主に次の 3 つの側面にあります。

顔検出

店舗内に設置された高解像度カメラで収集されたビデオストリームを入力として使用し、追跡画像内の20個のターゲットの顔をリアルタイムで検出できます。

同時に、ディープラーニングアルゴリズムの適用により、さまざまな角度、姿勢、さらには部分的な遮蔽の顔も簡単に検出して追跡できます。

***フェイスコレクション

これも見落とされがちなリンクです。店舗のカメラで収集されるビデオ ストリームは、実際には 1 秒あたり 30 フレームを生成します。誰かが通り過ぎると、大量の顔キャプチャ データが実際に収集されます。

追跡アルゴリズムを使用して各人物の軌跡を追跡し、一連のビデオフレームのスクリーンショットを収集し、顔の向きの分析、画像のぼかし検出分析、顔の品質スコアリングモデルを通じて最高品質の顔写真を選択し、次のステップに進みます。

顔認識比較段階

顔認識技術は比較的成熟しています。顔認識アプリケーションにおけるディープラーニング技術の継続的な成熟により、さまざまな顔認識アルゴリズム間の精度の違いは、小数点以下数桁にしか反映されなくなりました。

LFW (Labeled Face in Wild) は、顔認識研究分野における最も重要な顔画像評価コレクションの 1 つです。自然光、表情、姿勢、遮蔽などの干渉要因、さらには加齢や化粧などの複雑な干渉要因も含め、実際のシーンから収集された 5,749 人の顔データが含まれています。

現在、Suning Big Data Center のアルゴリズム チームは、このデータセットで 99.70% の精度率を達成しており、これはこのデータセットの現在の最高指標である 99.83% に非常に近く、業界最高レベルに達しています。

このような精度を達成するには、アルゴリズム モデル、トレーニング データ、計算能力という 3 つの決定的な要素があります。

オフライン ストアなどの大規模なオープン コレクションの顔認識アプリケーションの場合、アルゴリズム モデルが直面する最大の課題は、大規模な 1 対多の顔認識精度の問題です。

この問題を解決するには、まず、標準の SoftmaxWithLoss の内積からバイアス項を削除し、重み w とニューロン x に対して L2 ノルムを実行して、問題を角度制約問題に変換します。

次に、損失関数を改善し、角度マージンを増やして、同じ ID のクラス内類似性を高め、異なる ID 間のクラス間類似性を減らします。この角度マージンの改善により、ほとんどの ID の顔の特徴サブスペースを圧縮できます。

***、非常に類似した顔認識の問題や双子の顔認識の問題など、顔認識の難しさは、***グローバル制約による角度マージン分類条件を満たすことができず、これが角度ソフトマックストレーニング中の損失が非常に大きい理由であると考えています。

角度ソフトマックストレーニング中に大きな損失が発生する問題に対処するために、微調整のためのメトリック学習を追加し、さらに難しい例に対してローカル制約を追加しました。

具体的な方法は、トリプレット損失関数tripletlossを使用し、固定アンカーA、ポジティブ画像P、ネガティブ画像Nの3つの画像セットをトレーニングに使用します。目的は、AとPの間の距離をAとNの間の距離よりも小さくすることです。

上記の手順で、深層残差畳み込みニューラル ネットワークと類似 ID 差異正規化最適化に基づくネットワーク モデルを構築およびトレーニングし、アルゴリズムによって自動的に事前ラベル付けされた顔サンプルと少量の手動キャリブレーションを組み合わせて高レベルのトレーニング データ セットを構築することで、顔認識の精度が約 7 パーセント ポイント向上しました。

モデルの改善に加えて、反復アルゴリズムを迅速に検証できる 6 台の高性能 GPU サーバーのクラスターも備えており、アルゴリズム モデルの更新速度を数週間に 1 回から 10 時間に 1 回に短縮し、さまざまなアルゴリズムを合成してさまざまなシナリオに適応させ、アルゴリズムの精度を高めることができます。

Suning は 18 万人の従業員と数千の店舗を擁し、2018 年には 5,000 店舗を追加する予定です。Suning 社内およびオンラインとオフラインでの顔認識技術の応用を通じて、当社の顔認識アルゴリズムの機能はさらに反復され、改善されます。

北斗システム構築のポイント

Suningの「Beidou」システムは、背景モデル+顔認識+3D深度情報+マルチターゲット追跡+ディープラーニングネットワークの完全なアルゴリズムソリューションを採用しています。

ターゲット追跡アルゴリズムに関しては、現在普及しているアルゴリズムについて詳細な調査を実施しました。 KCF は最近人気のオブジェクト追跡アルゴリズムです。

このアルゴリズムは、追跡プロセス中にターゲット分類器をトレーニングし、ターゲット分類器を使用して次のフレームの予測位置がターゲットであるかどうかを検出し、新しい検出結果を使用して再トレーニングし、新しいターゲット分類器を取得します。

カルマンフィルタリングは古典的なフィルタリング手法です。線形システム状態方程式を使用して、システムの入力と出力の観測データからシステムの状態を正確に推定するアルゴリズムです。

単一ターゲット追跡用の KCF アルゴリズムを複数ターゲット追跡に拡張します。乗客フローカウントシステムでは、他のフレームワークを変更せずに、独自のプロスペクトモデリングとハンガリーマッチングが使用されます。

前のフレームで検出されたターゲットは追跡ターゲットとして取得され、マルチターゲット KCF 追跡アルゴリズムが統合され、複数のターゲットの同時追跡を実現します。

詳細な比較の結果、KCF アルゴリズムは複数のターゲットを追跡するときに速度に欠陥があり、時間がかかり、リアルタイムの要件を満たすのが難しいことがわかりました。そのため、最終的にカルマン フィルタリングを基本的な追跡アルゴリズムとして選択しました。

認識アルゴリズムに関しては、ディープラーニングに基づく SSD 学習ネットワークをベースに作業を進め、実際の状況に応じてさらに最適化および改善し、Beidou システム全体に統合しました。

Suningの強力なビッグデータコンピューティング機能と顔認識技術を活用し、店舗内外のユーザー属性と行動情報を分析することで、店舗のインテリジェントな推奨、マーケティング、サービスだけでなく、店舗のショッピングルート、商品、棚のディスプレイなど、より優れたショッピングガイドサービスを提供できる。

また、オフライン店舗のデジタル化とインテリジェンス化を実現し、店舗の運営方法を変え、店舗が考える能力とインテリジェントな「脳」を持つことも可能になります。

店外顧客対応

「入店率」は店舗の魅力度を左右する重要な指標です。「通行人」がどのような層なのかをいかに効果的に分析できるかは、現在のオフラインのシナリオでは未だ「ブラックボックス」です。

どのくらいの数の消費者が店を通り過ぎるのか、また彼らの特徴的な肖像画はどのようなものかを知ることは、現在、店舗管理者にとって緊急のニーズとなっています。

Suningのビッグデータチームは、顔認識、体輪郭追跡、顔特徴点などのアルゴリズム技術と組み合わせた認識技術を使用して、通行人の数、グループの規模、男女および性別の分類、店舗に入る人々の特徴などのデータを効果的に分析し、店舗運営者がパーソナライズされたマーケティング戦略を策定するためのデータサポートと保証を提供します。

店内顧客対応

店舗に入店する顧客にとって、来店動機、行動軌跡、ホットな話題、購入意向は、店舗管理者が顧客に求めるもう 1 つの大きな課題です。このデータをどのように収集、分析、適用するかも、Beidou システムの大きな特徴です。

アルゴリズムレベルでは、最良の効果を得るためには、特定のカメラを設置し、カメラの設置高さや角度を正確に制御する必要があります。

コスト削減のため、店舗内の既存の監視カメラを、設置高さや角度を一切変えずにそのまま使用しました。

アルゴリズムに関しては、まずマルチチャネル機能に基づく ACF アルゴリズムを研究し、そのアルゴリズムをエンジニアリング的に実装し、そのアルゴリズムの精度と速度を測定しました。しかし、このアルゴリズムを私たちのシナリオに適用すると、精度が満足できるものではなかったことがわかりました。

より高い精度とパフォーマンス要件を満たすために、ディープラーニングで小規模ネットワークシステムを使用し、検出アルゴリズムでディープラーニング SSD モデルと組み合わせました。

ビデオの収集、ビデオ内のターゲットの特定のラベル付け、アルゴリズムの微調整、独自のモデルのトレーニングなどの手順を通じて、ヒートマップの関連機能が実現されます。計算精度と速度の面で当初の要件が満たされました。

北斗システムのインテリジェントサービス

北斗システムがインテリジェント サービスを展開するための次のステップは次のとおりです。

• スマートショッピングガイド：各顧客の来店時の特徴点を抽出して既存顧客を識別します。顧客が次回来店したときに、以前のデータに基づいて正確なサービスを提供します。顧客が来店時に注目する情報や移動速度に基づいて顧客のニーズをさらに予測し、正確な推奨事項を提供することで新規顧客をガイドします。
• スマート決済: 顧客がお気に入りの商品を選択すると、顔認識によって自動的に支払いが行われ、サービスのスピードと品質が向上します。
• インテリジェントな予測: 毎日、毎週、毎月の製品に対する顧客の関心に基づいて、製品のサンプリングと在庫配分を合理的に調整し、ユーザーにさらに好まれる製品とより短いピックアップ サービスを提供できます。
• インテリジェントな予防と制御：キーポピュレーション監視、ペダル監視、夜間照明スイッチ監視、火災監視などにより、顧客の個人の安全と店舗の財産の安全を守ります。

北斗システムを通じて、蘇寧のビッグデータ技術と視覚アルゴリズムは、スマートリテールにスマートな「頭脳」を注入します。蘇寧の店舗はあなたをより深く理解し、「あなたの顔と心を知っている」スマートストアを作り、ユーザーに最高の体験と最高のサービスを提供します。

[[218263]]

Suning.com のビッグデータ技術専門家である Cao Linlong 氏は、現在 Suning におけるコンピューター ビジョン認識および分析の応用を担当しています。彼は、ビッグデータプラットフォームツールと画像認識アプリケーションにおいて長年の実務経験を有しており、Suningの統合データレポートプラットフォームとビッグデータプラットフォームの構築を担当し、ビデオ分析や製品認識などの技術の応用を主導しました。データマーケティングの豊富な経験を持つ彼は、データに含まれる価値を実証するために、業界の最先端のデータ処理とテクノロジーを掘り下げて研究し、実践することを好みます。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]