オフライン小売業で AI 自動チェックアウト サービスを構築するにはどうすればよいでしょうか?

翻訳者 | 邱凱

校正 | 梁哲、孫淑娟

列に並ぶ必要がなく、遅延もなく、便利に購入できるという顧客体験は、オンライン小売の重要な利点です。しかし、Forrester の調査レポートによると、米国における小売消費の 72% は依然として実店舗に依存しており、これは人々が購入前に商品を十分に理解したい、または単に商品の発送を待つプロセスを好まないためです。

現在、Amazon Go、Tesco、Walmart などの場所では、無人販売の独創的なソリューションが実装されています。コンピューター ビジョン テクノロジーによる自動チェックアウトは、無人販売の成功例です。しかし、店舗オーナーの中には、ビジネスを遂行するためにまったく新しいオフライン ストア チャネルを構築したいと考える人もいます。これには、統合されたソフトウェア インフラストラクチャが必要であり、開発と財務の問題が伴います。

この記事では、コンピューター ビジョン システムを通じて実店舗が無人販売を実現する方法を分析します。その仕組み、自動チェックアウトのオプション、既存の課題を分析します。

1. 実店舗向けコンピュータビジョン自動チェックアウトシステム

棚管理、レジ、商品の計量など、ほとんどの店内業務には人間による監督が必要です。スタッフの生産性は小売業者にとって基本的なパフォーマンス指標ですが、店舗運営のボトルネックになりやすく、顧客の不満の大きな原因にもなり得ます。

言い換えれば、レジで列に並んで待つことは、顧客と小売業者の両方にとって共通の悩みの種です。待ち行列に加え、実際の人件費も大きな経済的負担となります。では、コンピューター ビジョンはこれらの問題をどのように解決するのでしょうか?

コンピューター ビジョン (CV) は、機械が画像から貴重な情報を抽出できるようにする人工知能技術です。コンピュータービジョンの核心は、人間の視覚を模倣することです。人間の目と同様に、コンピューター ビジョンはカメラ センサーを利用して環境に関する情報を取得します。次に、基盤となるニューラル ネットワーク (脳のような) が、商品、棚上の位置、またはその他の特別な属性 (ペプシの缶とドクターペッパーの缶を区別するなど) を識別します。

これは、棚にある商品を識別できるため、コンピューター ビジョンを物理的な小売業務にどのように適応できるかを理解するための基礎となります。これらの商品は棚に置くことも、お客様が持参することもできます。これにより、自動チェックアウトタスクを完了するためにバーコードのスキャン、レジの操作、またはセルフチェックアウト機を使用する必要がなくなります。

コンピューター ビジョンの実装は複雑さと予算の点で大きく異なりますが、小売業の自動化にコンピューター ビジョンをどのように使用できるかを示す一般的なシナリオが 2 つあります。それではまず、店舗全体の自動化を構築する方法を見てみましょう。

2. AIによる自動チェックアウト：店舗全体の自動化

自動チェックアウトには、「レジなし」、「グラブアンドゴー」、「チェックアウト不要」など、さまざまな名前があります。 Amazon、Tesco、さらにはWalmartでのショッピング体験では、システムがそのような店舗で買い物をするときに商品をチェックし、顧客が店を出ると自動的に商品をチェックアウトします。この単純なプロセスが基本的な動作シナリオです。

ショッピングセッションが始まります。 Amazon のような店舗では、改札口で QR コードをスキャンすることでショッピングを開始します。この時点で、システムは Amazon ユーザー プロファイルとデジタル ウォレットを、実際に店舗に入る顧客と照合します。

人員検出。このステップは、コンピューター ビジョン カメラによって実行される人物と物体の認識と追跡です。簡単に言えば、カメラが顧客の身元を識別し、顧客が棚から商品を取ると、システムがそれを仮想ショッピングカートに入れます。店舗によっては、店舗全体を完全にカバーし、すべてのエリアを監視するために数百台のカメラを使用しています。

製品識別。顧客が棚から商品を取り出して持ち帰ると、カメラがその動作を撮影します。ビデオ内の製品画像と小売業者のデータベース内の実際の商品を照合した後、その商品を仮想ショッピングカートに配置します。

お勘定お願いします。お客様は購入を完了した後、店舗を離れることができます。顧客がカメラでカバーされたエリアを離れると、コンピューター ビジョン システムはそれを購入の終了として記録します。これにより、システムは商品の合計金額を計算し、対応する金額を顧客のデジタルウォレットから差し引きます。

顧客の観点から見ると、このようなシステムは、特にチェックアウトの列が不要なため、オンライン ストアと同様のショッピング体験を実現します。店内に入り、欲しい商品を見つけて、それを手に取って、出て行きます。しかし、顧客に完全な自律性を提供し、すべてのアプリケーション シナリオをカバーするには、技術的に多くの問題を解決する必要があります。では、自動チェックアウトの何が複雑なのでしょうか?

3. AI を活用した無人店舗を構築する上での課題は何ですか?

顧客の行動は予測不可能であり、何千もの製品を前にした数十人の購買行動をチェックし、自動チェックアウトサービスを提供するため、コンピューター ビジョン システムには多くの課題が生じます。

1. 顧客の購買行動を追跡し続ける

顧客が店舗に入ると、システムは顧客のショッピングルートに沿って顧客の購入行動を継続的に追跡できる必要があります。同じ顧客が店内の異なる場所で商品を受け取ったことを知る必要があります。混雑した店内では、顧客を追跡することが困難になることがあります。顔認識は許可されていないため、モデルは外見によって人物を識別する必要があります。では、誰かがコートを脱いだり、子供を肩に乗せたりしたらどうなるでしょうか?

継続的な追跡を実現するには、さまざまなエリアにわたって顧客を検出できるようにカメラのエリア カバレッジを 100% にする必要があります。カメラをさまざまな角度に配置する必要があり、その正確な位置を報告するセンサーが必要です。そうすることで、このデータを使用して物体をより正確に追跡できるようになります。

2. 「誰が何を取るか」という問題を解決する

顧客の問題だけでなく、製品の問題もあります。顧客は買い物をするときに必ずしも一直線に進むわけではありません。商品を移動し、匂いを嗅いで、別の通路に行く前に元に戻すこともあります。特に棚に複数の顧客がいる場合、どの顧客が商品を取ったのか、またその顧客が取った商品を本当に購入したいのかをシステム モデルが識別することは困難です。

Amazon は、人間の姿勢検出システムと人間の行動検出システムを導入することで、顧客の行動意図を分析します。これは基本的に、AI とコンピューター ビジョンを組み合わせる別の方法です。その役割は、顧客の位置と動きを測定し、顧客がどの商品を手に取ったか、その商品が購入されたかどうかを予測することです。

これにより、棚に複数の顧客がいるという問題が解決され、カメラが隠れている場合でもどの顧客がどの商品を取ったかを識別するのにも役立ちます。

3. 類似製品を特定する

さらに、製品のパッケージングに関しても同様の問題に対処する必要があります。一部の製品は外観にわずかな違いがあり、特に画像に障害物がある場合や製品が高速で移動している場合、システム モデルが製品のすべての詳細を取得することが困難になります。この問題は、モデルをトレーニングし、高解像度とフレーム レートの高いカメラを使用して詳細を認識することで解決できます。

自動チェックアウトには多くの利点があるように思われますが、このシステムは非常に複雑です。これはテクノロジーを重視する企業にとっては問題にならないかもしれないが、平均的な小売業者にとっては、そのような自動化による利益が AI のコスト負担によって損なわれる可能性がある。そのため、コンピューター ビジョンに基づく部分的な自動化は、一般的な小売業者のシナリオのニーズにより合致している可能性があります。

自動販売機店舗の部分的な自動化

自動販売機を店舗内や屋内外のその他の場所に設置できるため、店舗全体の追跡の問題を効果的に解決できます。自動販売機は、ガラス扉の付いた棚や、コンピューター ビジョン カメラを備えた通常の冷蔵庫を使用して購入プロセスを実行できます。 QR コード スキャナーを設置することで、チェックアウト プロセスを冷蔵庫の 1 か所に最小限に抑えることができます。したがって、提案されたプロセスも非常にシンプルです。

ショッピングセッションが始まります。誰かが近づいて冷蔵庫を開けると、買い物のプロセスが始まります。冷蔵庫のドアが閉まっている場合は、モバイル アプリで QR コードをスキャンして買い物プロセスを開始できます。通常の棚のシナリオでは、カメラは棚から取り出された商品を追跡して、買い物のプロセスを開始できます。

仮想ショッピングカートを作成します。顧客が QR コードをスキャンすると、システムはその顧客のショッピング カートを作成する信号を受信します。

製品識別。カメラは自動販売機の内側または外側に取り付けることができます。取り出したアイテムや戻したアイテムを追跡するには、内部カメラが必要です。外部カメラは、通常の棚を使用する場合と同様に、冷蔵庫の開閉を追跡する必要があります。どちらのタイプのカメラも商品を撮影し、ショッピングカートに入れることができます。

コンピューター ビジョン カメラは、顧客が棚の間を移動する際に、複数の商品をチェックしたり、商品を一方から他方へ移動したりするのを追跡することもできます。これにより、購入が同じ顧客によって行われ、近くにいた別の顧客によって行われなかったことを確認できます。

製品の検証。商品がピックアップされると、システムは商品の画像とデータベース内の画像を比較し、商品の価格を取得します。さらに、在庫管理システムで商品数量を自動的に更新することもできます。

買い物リストを編集します。商品がピックアップされると、システムはそれを顧客のスマートフォンのショッピングカートに送信したり、冷蔵庫の表示パネルに表示したりします。この時点で、顧客は買い物リストを変更し、支払いに進むことができます。

お勘定お願いします。モバイル アプリと QR コードのスキャンを伴うシナリオでは、冷蔵庫を閉めることが購入を完了し、デジタル ウォレットからお金を引き出すトリガーになる可能性があります。ただし、ここに POS 端末を設置してクレジットカード決済も可能にすることも可能です。この時点で買い物は完了し、顧客は店を出ることができます。

自動チェックアウトシステムに比べると比較的弱い代替手段のように思えるかもしれませんが、自動販売機は簡単に拡張して店舗全体を自動化することができます。これにより、顧客体験が若干変わり、開発作業と予算が少なくて済みます。

モジュラー自動化の概念は、さまざまなシナリオに適用できます。スーパーマーケットや食料品店に加えて、コンピューター ビジョンの自動販売サービスは、食品サービス施設やコーヒー ショップにも導入できます。

5. 食品レジ不要サービス

レストラン、カフェ、食堂では、サイドボードなどのセルフサービス システムがよく使用され、顧客はそこからあらかじめ保存された料理を選択できます。顧客が皿をトレイに置くと、システムは注文を確認する必要がありますが、これはおそらくコンピューター ビジョン情報サービスが処理するものです。

バックエンドの機械学習モデルは、トレイに置かれた皿やその他のアイテムを認識してチェックアウトプロセスを開始するようにトレーニングできます。アイデアは、カメラを使用してチェックアウト サービスを設計し、カメラが注文をスキャンする役割を担うというものです。実際の支払いは、通常の POS 端末、またはモバイル アプリやデジタル ウォレットを使用して行うことができます。

スターバックスでは、レジなし運営のコンセプトが極限まで追求されています。スターバックスはアマゾンのシステムを利用することで、テイクアウト専門のコーヒーショップとして初の店舗となった。顧客はモバイルアプリで注文し、その後店舗に来てコーヒーを受け取り、Amazon のレジなし店舗と同じように会計を済ませることができます。ただし、コンピューター ビジョン プロジェクトを実行するには、専門知識、具体的にはデータ サイエンスと機械学習の専門知識が必要です。

それでは、コンピューター ビジョンを使用した自動チェックアウトについて知っておくべきことについてお話ししましょう。

AI ベースのチェックアウトプロセスをどのように処理しますか?

経験上、小売自動化用のコンピューター ビジョン システムを作成するには、多くの手順が必要です。最もアクセスしやすく、広く使用されている販売方法であるため、スマート冷蔵庫ベースの小売セグメントに焦点を当てます。

1. 要件を収集する

まず、関連するビジネス ケースを詳細に理解する必要があります。

小売業の自動化に対する推奨アプローチ。店舗にスマート冷蔵庫や他のタイプの自動販売機を設置するには、簡単に拡張できる必要性を維持しながら、店舗全体に若干の変更を加える必要がある場合があります。店舗全体を自動化するには、フロアプランの大幅な変更と、回転式改札口などの追加のハードウェアが必要となり、ほとんどの店舗オーナーにとって大きなコスト負担となります。

店舗規模。設置する自動販売機の数は、店舗の全在庫をカバーし、商品の多様性のニーズを満たす必要があります。したがって、店舗の規模によって、必要な自動販売機の数や、店舗内のスマート冷蔵庫のレイアウトが決まります。

識別する必要がある項目の数。他の機械学習プロジェクトと同様に、コンピューター ビジョン システムも製品を認識できるようにトレーニングする必要があります。冷蔵庫には 20 〜 50 種類のアイテムが入っている可能性があるため、コンピューター ビジョン システムのトレーニングにかかる​​時間を決定するため、これらの数値を考慮する必要があります。

既存のインフラストラクチャ。ほとんどの場合、実店舗では在庫管理、販売時点管理、財務の間で適切なリソース統合が欠如しています。ただし、売上高や商品在庫を自動的に更新するには、コンピューター ビジョン システムが店舗データにアクセスする必要があります。したがって、プロジェクトの必要性を検討する際に、既存のインフラストラクチャを調べることも評価するべきもう 1 つの要素です。

さらに、冷蔵庫 1 台に 35 個のアイテムを収納できると仮定すると、その数にも注意する必要があります。

2. データ収集

コンピュータービジョンは人工知能技術です。つまり、製品を認識できるようにトレーニングするためのデータが必要になります。このデータは、棚にあるさまざまな商品を認識し、顧客と顧客が手に取る商品を識別するモデルをトレーニングするために使用されます。

製品識別のためのデータを収集する最良の方法は、さまざまな角度と照明条件で各製品をビデオで記録することです。これらのビデオは製品別に分類されており、システムが自動的に棚の製品にタグを付け、対応するラベルを作成できるようにします。一般的に、データを収集する際には、実際のユーザーを観察する方法にできるだけ近づけることが推奨されます。

自動チェックアウトの実用的なモデルが完成したら、1 秒あたり 60 フレームの画像情報が必要になります。これは、モデルが迅速に実行されることを保証するために必要です。フレーム レートが高いほど、画像が滑らかになり、より多くの詳細を抽出できるようになります。

3. モデルのトレーニング

次のステップはトレーニングです。すべてのビデオ録画を収集したら、機械学習の専門家がモデルのトレーニングの準備をします。このプロセスは 2 つのタスクに分けられます。

（１）データの準備

つまり、すべてのビデオ フレームを個別の画像に分割し、検出する必要がある項目をマークする必要があります。簡単に言うと、1 分間のビデオから 60 枚の写真を抽出し、対象オブジェクトの周囲に境界線を描きます。

（２）アルゴリズムの選択

アルゴリズムは、与えられたデータからパターンを学習して予測を行う数学モデルです。オブジェクト認識などのタスクの場合、モデルの構築に使用できる既存の実用的なアルゴリズムが存在します。したがって、ここでの私たちのタスクは、適切なアルゴリズムを選択し、それにデータを渡すことです。

高い認識精度を達成するには、トレーニング プロセスに数週間かかる場合があります。

4. モデルの再トレーニング

モデルのトレーニング中に製品が追加または置き換えられた場合は、モデルを再トレーニングする必要があります。これは、データ入力の変更により予測結果が変化するためです。つまり、店舗がコンピューター ビジョン ベースのスマート冷蔵庫に新しい商品を追加して販売するたびに、モデルが新しい商品を学習できるように新しいトレーニング フェーズを開始する必要があります。

この場合、以前のリストにブランドポテトチップスがなかったら、画像上のブランドパッケージを認識するために再トレーニングする必要があります。しかし、冷蔵庫にカメラを設置すると、ライブ画像を使用してメモを取り、トレーニングを再開できるため、これは簡単になりました。

5. 必要なインフラ

店舗内の既存のインフラストラクチャは通常、POS 端末を通じて在庫を管理し、売上を記録するサーバーです。機械学習モデルを構築するには、いくつかのコンポーネントを追加する必要があります。

カメラ: 視覚情報を記録および送信するために使用されます。

ビデオ処理ユニット: これは、コンピューター ビジョンのニーズに合わせて最適化された GPU を含むビデオ カードまたは Nvidia Jetson などのシングル ボード コンピューターです。

QR コード: この紙は回転ドアまたはスマート冷蔵庫に貼り付けられています。顧客はこの QR コードをスキャンして本人確認を行い、ショッピング プロセスを開始します。

モデル サーバー: リアルタイムのビデオ処理について言えば、店舗内にハードウェア サーバーを展開することで、安定した結果出力を確保できます。最も基本的なレベルでは、システムは顧客が冷蔵庫から商品を取り出すときに顧客の注意を引かずに動作し、ハードウェアが顧客の購入に迅速に応答して処理できるようにする必要があります。

各ユニット間には相互作用するデータフローが存在するため、これらのコンポーネントはすべて相互に接続されている必要があります。カメラに関しては、店舗の帯域幅が高速かつ安定していることを確認する必要がありました。カメラはビデオ データ ストリームをリアルタイムで処理するため、モデルはネットワーク遅延なしで実行する必要があります。一方、顧客は自動販売機が自分の行動に素早く反応することを期待しますが、それはモデルがデータをどれだけ速く受け入れて処理できるかによって決まります。

—Daniil Liadov、Python エンジニア

6. プライバシーの問題

小売業者と顧客の両方がプライバシーの問題を懸念する可能性があります。コンピューター ビジョンはビデオ内のオブジェクトを検出して追跡するように設計されているため、このデータを記録して保存すると、一部の国ではプライバシー法に違反する可能性があります。

しかし、米国では店舗が監視カメラを使用することは一般的に合法です。顧客がランダム ID を使用して追跡され、チェックアウト タスクを完了する目的でのみ追跡される限り、顔認識などのテクノロジを使用する必要はありません。カメラが顔情報を撮影した場合でも、AI技術を使用してぼかすことができるため、顧客のプライバシーが保護されます。

7. AI セルフチェックアウトはすべての小売業者に適していますか?

すべてのシステムの中で、自動チェックアウトはコストがかかり複雑なもののように思えますが、顧客はより便利なチェックアウト方法を使用することを望んでいます。 2021年の小売顧客体験レポートによると、消費者の60%がレジを通す代わりにセルフチェックアウトを選択するとのことです。

したがって、自動販売機は、コストが適度で多くの利点があるため、小売業界にとって費用対効果の高い選択肢となる可能性があります。さらに、機械学習モデルの柔軟性により、このようなシステムは特定の小売業者の特定のニーズを満たすようにカスタマイズできます。基本的に、適切なトレーニングを受ければ、どんな種類の製品でも識別できます。したがって、コンピューター ビジョンの適用からメリットを得られる小売モデルはコンビニエンス ストアだけではありません。

オリジナルリンク: https://hackernoon.com/how-to-build-your-own-automated-self-checkout-service

翻訳者紹介

51CTO コミュニティ エディターの Qiu Kai は、現在、北京 ZTO Express Co., Ltd. で情報セキュリティ エンジニアとして働いています。主に社内の情報セキュリティ企画・構築（セキュリティ保護レベル2、ISO27001）を担当。主な日々の業務内容は、セキュリティ計画策定・実施、社内セキュリティ監査、リスク評価・管理など。