[NCTSサミットレビュー] Ali Yuyao: 画像インテリジェンスアルゴリズムに基づいてクライアント上のH5ページテストの効率を向上させる軽量ソリューション

2019年10月26日、Testinが主催する第2回NCTS中国クラウドテスト業界サミットが北京で開催されました。「AI+未来」をテーマにしたこのサミットには、国内外のテスト分野の著名な専門家や学者、大手企業の意思決定者、上級技術管理者、メディア関係者などが集まり、ハイエンドのクラウドテスト技術について議論し、テスト担当者が最先端の業界動向と最新の業界慣行を理解できるようにしました。

[[284797]]

会議では、アリババの技術専門家であるYu Yao氏が「画像インテリジェントアルゴリズムに基づいて端末上のh5ページテストの効率を向上させる軽量ソリューション」の内容を共有しました。 Yu Yao 氏は、「自動化機能には多かれ少なかれ安定性の問題がある。私たちはアルゴリズムの機能に細心の注意を払っており、画像ベースのアルゴリズムが本当にページを検出できるかどうかを検討している」と指摘した。

以下は、于耀氏のスピーチの記録です。

みなさんこんにちは。私はアリババのYuyaoです。私たちのチームは主に、グループのプラットフォーム製品のビジネステストを担当しています。これが私のスピーチのディレクトリ構造です。まずはこの計画の背景を紹介させてください。私たちには、すべてのタオバオレベルのA+プロモーションを担当するビジネスチームがあります。各プロモーションには多くのページがあります。たとえば、2019年1月から9月までに、合計59のA+プロモーションがありました。A+より上はSレベルであり、たとえばダブルイレブンイベントなどです。大規模なプロモーション活動は数多くあります。当社のフロントエンド開発と技術は、ページをタイムリーにリリースするための多くの動的構成ソリューションを実現しました。つまり、各大規模なプロモーション活動の各会場ごとに、会場のリリース表示時間、およびロードするデータを動的に設定できます。そして、大規模なプロモーション活動中に、操作は時間内に戦略を調整する可能性があります。一部のフロアをドロップするか、異なる操作を異なるアルゴリズムで構成し、パーソナライズされた戦略を使用してさまざまな製品を強調表示し、モジュール構成を含む、そのページ構造はオンラインステージ全体で絶えず変化します。

これらの問題により、テスト時間は非常に短くなっています。たとえば、「99 大プロモーション」の最初のリハーサルでは、ページ全体のデータが完成し、比較的完全なページ効果が利用可能でした。その後、「99」製品の実際の発売までわずか 4 営業日しかありませんでした。これらの問題により、テストされないページがいくつかあり、問題のあるページがオンライン ユーザーが見るページに漏れてしまいます。これは、すべての動的構成が実装されておらず、テスターがすべての変更や修正を考慮する余裕がないため、監視が不十分なためです。当社のビジネス チームは、これらの問題をカバーできる自動化ソリューションを常に模索できるようサポートしています。

会場の現在のセキュリティ計画を紹介します。1つ目はデータソース管理です。販売者が商品をアップロードしたり、写真をアップロードしたり、商品情報を編集したりするたびに、アップロード時またはN+1時に、このレイヤーのデータに対してアルゴリズム検出とフィルタリング、および一部のクリアランスが実行される場合があります。さらに、これらのアルゴリズムの調整によって発生する問題に対処するために、オンライン プロセス中にいくつかのデータ監視ソリューションが実装されます。

テストフェーズは、新しいページがリリースされたばかりのとき、または新しいモジュールがリリースされたときです。外部委託の適応投資が大きく、ビジネス側が本格的なリハーサルを実施します。新しいページが構築されるたびに、運用と製品はページが正常であるかどうかを非常に心配しています。このとき、製品、運用、技術、テストのラウンドを編成して、全員を集めてページに問題がないか確認することがあります。この2つの領域は、実際には純粋な人材投資です。

あまり重要でないプロモーション活動の場合、オペレーターは問題がないか自分で確認するだけです。これは、問題がないかセルフテストで保証できるテクノロジーです。

実は、これらすべてはエンドで見られます。エンド自動化のためにグループが現在持っているソリューションを紹介しましょう。一般的に言えば、各 BU と各チームが独自のセットを持っており、それは大きく 3 つのカテゴリに分けることができます。1 つは Appium/Uiautomator をベースにしたもので、オープンソース フレームワークの基本機能に基づいて、継続的インテグレーション プラットフォームを自分で構築し、独自のリリース システムに接続してスクリプトを記述する、純粋なスクリプト記述です。

もう 1 つのタイプは、Galileo に代表されるアプリケーション侵入型です。SDK は開発側で使用され、スクリプトを駆動するために独自の機能を呼び出すことと同等です。独自の保護された APP プロセスを実行し、バックグラウンドでデバイスの駆動を行う場合があります。

天華の製品は、過去2年間でかなり人気を博しています。モジュールレベルとデータレベル駆動です。このモジュールは、スクリプトを記述できるページにすぎません。基礎層は自動化フレームワーク機能に基づいています。ページが来たら、ページをどのモジュールに分割するか、どのモジュールに固定IDがあるかを定義し、各ページに特定のモジュールの特定の制御を記述できます。このソリューションは、フレームワークレベルの変更によって引き起こされる自動化操作の失敗に対処するためのものです。同時に、当グループのオンライントラフィックキャプチャ、DOOM（オンラインマシンからのトラフィックの収集、ベータテストマシンからのトラフィックの再生と比較）プラットフォーム機能、および操作データに基づいてページを生成する機能と組み合わせることで、データ駆動型操作を実行できます。

しかし、3つの可能性にはいずれも問題があります。1つは、スクリプトを手動で記述する必要があることです。Galileo（多くの内部および外部の低レベルハッキング技術を使用し、独自のデーモン、デバイス管理およびメンテナンスを持ち、テスト対象のAPPに埋め込まれている）は、独自のAPPをカスタマイズする可能性があります。同時に、操作の面で安定性の問題が発生します。アニメーション機能には、多かれ少なかれ安定性の問題があります。アルゴリズムの機能に細心の注意を払っており、画像ベースのアルゴリズムが本当にページを検出できるかどうかを調査しています。

以下は、私たちのソリューションの紹介です。私たちのソリューションは、このソリューションとは多少異なります。なぜなら、彼らは最後に h5 を解く必要があるかもしれないし、すべてのネイティブ レベルは比較的多いのに対し、私たちは主に h5 に基づいた会場レベルを解くからです。これは、便利で軽量で、さまざまなビジネス パーティのさまざまなビジネス シナリオに適した画像アルゴリズムです。たとえば、ビジネス パーティのカードのリリースがある場合、リリースする前に、アプリケーションを使用して問題がないことを確認する必要があります。さらに、さまざまなビジネス パーティ向けのタイム トラベル ソリューションがあります。つまり、ページがオンラインではなく、外部から確認できない場合は、基礎となるシステム レベルの時間を調整して、ページが事前にダブル イレブン ステータス シナリオに入ることができるようにします。これらを実行して接続し、システム操作を調整して、事前の検証とテストを実行します。

理解を深めるために、ソリューションの動作を見てみましょう。これは最も単純なシナリオの例であり、全体がどのように機能するかを明確に確認できます。携帯電話は、どのエンド環境でもこの QR コードをスキャンして中間ページに入ることができます。中間ページの後、タスクパトロールを続行します。スキャン後、どのマシンでもプラットフォームにアップロードでき、リアルタイムの携帯電話環境として使用できます。ここで新しいタスクを作成します。これは、単一ページ検出シナリオです。現在、主にオンラインページの検査と検出に使用されています。先ほど述べたマシンを選択し、その背後にあるシナリオについては、アルゴリズムのカスタマイズ、アクション ポイントのカスタマイズと応答、記録、再生、または複雑なページ インタラクション シナリオへの応答もあります。作成が完了すると、カスタマイズが完了します。作成が完了すると、マシンがここで実行され、実行の各ステップでスクリーンショットが撮影されます。スクリーンショットがバックグラウンドにアップロードされると、バックグラウンド アルゴリズムによって実際に問題があるかどうかが検出されます。

現在、これらのアルゴリズムは、一部の空きフロア、空きビルの穴、異常な単語などを検出する可能性があります。実行後、バックグラウンドで現在のページ効果をリアルタイムで確認できます。左側には各ステップのスクリーンショット情報があり、右側にはつなぎ合わせた長い画像があります。このページには問題はありません。ページに問題がある場合は、エラーメッセージが表示されます。さまざまな情報をクリックすると、特定のエラーページに移動できます。次に、このページは AliExpress のクライアント A で実行され、実行後にシステムに接続されます。実行後、特定のエラー メッセージが表示されます。

私たちのソリューションがどのように機能するかを見てみましょう。私たちの核心は、携帯電話の中央ボタンを使用してタスクを発行することです。タスクを発行するときは、実際にはページの URL を入力するだけです。URL を入力した後、ID、タスク タイプなどのシステム実行パラメータをこの URL にスプライスします。重要なのは、独自のスクリプト (赤いスクリプト) をスプライスすることです。このスクリプトをスプライスした後、データベースに保存します。その際に、異なるモデル用に新しいタスクを作成しました。実行後、マシンが中央のページ回転トレーニングで実行するタスクを持っている限り、タスクを取得して実行を開始します。タスクを取得すると、ネイティブページにスクリプトを挿入します。当初は、ページ自体に基づいて、挿入用のURLスクリプトを読み取ることができるモジュールがありました。その後、Tmall側で直接実行しました。ページが漏洩した後、条件を満たす特別なパラメータがあるかどうか、セキュリティ制限を満たすドメイン名環境があるかどうかを検出し、ページにスクリプトが挿入されました。

ここで示したシナリオは、半自動スケジューリングに基づくソリューションです。このようなソリューションには、安定性の問題が生じる可能性があります。たとえば、ページが異常なエラー ページにジャンプし、そのページがどこにジャンプするかが不明な場合や、異常なシナリオによって APP が閉じられる場合、自動化ソリューションはデバイスをシャットダウンしてオフラインにします。後で、実際のマシン制御機能である自動スケジューリングを追加して、中間ページに戻りやすくします。

この機能は、3つのタイプのタスクをサポートしています。特定の動作と操作を実行しますUAD Design 375の視覚マップには、関連の場合、この原則に基づいて比例した倍率である必要があります。特定の位置をクリックしても失敗する場合、比較に問題があることになります。2 つの画像が異なる可能性があり、その適応または他のページにバグがあると考えられます。

シングルページ シーンは、ビデオで紹介したシンプルなシーンです。これは純粋にアルゴリズム的なシーンでもあり、運転とシングル ステップの問題検出に使用されます。シングル ステップ操作は、スクロール操作を実行し、最終的に画像全体をつなぎ合わせることです。

私たちのソリューションの詳細。駆動プロセス全体が、実際にはページに挿入されたスクリプトと背景の間の相互作用であることが分かりました。スクリプトはどのようにしてその動作を監視し、クリックを操作できるのでしょうか。実際、多くのライブラリの機能を組み合わせて、携帯電話上のいくつかの TUCH イベントを検出し、手動記録シナリオの動作を検出し、いくつかのライブラリの機能に基づいてデバイス情報を取得したり、デバイス ID 機能、一意のデバイス フィンガープリントを取得したり、グループの一部の機能をアップロードに使用したりすることもできます。端末内のスクリーンショットソリューションには、4つのソリューションがあります。1つはブラウザ上です。スクリプトモニタリングは、ブラウザ環境でブラウザプラグインのスクリーンショットを調整することです。端末上であれば、Taobaoセグメントで主流のものが2つあります。Taobaoシステムは、TaobaoとTmallがWindoneを使用する機能であり、コンテナ機能を備えたh5使用機能です。 Alipay は、私たちが開発した別のコンテナかもしれません。コンテナ環境では、コンテナの機能を動員します。異常なシナリオに入り、アップロードに問題がある場合は、スクリプトライブラリの機能を使用して、純粋なスクリプトを使用してスクリーンショットを撮ります。これらの基礎レイヤーにより、実際のマシン管理機能とバックグラウンドでの一般的なバックグラウンド管理機能と組み合わせた、人間のようにページのスクロールやクリックを操作し、アルゴリズムのさまざまな側面の検出機能を動員して、手動および自動の記録と再生を実現できます。

スクリーンショットの 4 つのシナリオについて説明しましたが、実際にはブラウザや任意のモバイル端末で実行できますが、APP で純粋なスクリプト スクリーンショット シナリオを使用するなど、コンテナー以外の機能では、スクリプト スクリーンショットに歪みが生じる可能性があるため、特に複雑なページが対象になる可能性があります。

最後にTaobao APPにアップロードし、管理用に当社の画像スペースにアップロードしてから、国際サイトにアップロードします。AEの場合は、海外の基地局に転送する必要がある場合があります。Alibaba Cloud OSSサービスの場所にアップロードします。

先ほど、安定性を向上させるための自動スケジューリングについてお話ししました。ATS の自動スケジューリング機能でスケジュールを設定できる可能性があります。その後、この一連のシステムを使用して、ビジネス側との全体的なリンクに接続します。ページが公開されたときに電話をかけてくる場合や、ページにオンライン検査タスクが必要になったときに電話をかけてくる場合、または他の革新的なソリューションが必要な場合は、検出ページから電話をかけてきます。現在、私たちもタスクを受け入れており、注文があり、この 2 日間で問題が報告されています。つまり、署名された注文が空白である可能性があり、異常な空白の検出を実行するためにアプリケーションが呼び出されます。

これらは当社のアルゴリズムの機能です。結局のところ、単一マシン検出は犬とウサギをつなぎ合わせる能力を示しており、落とし穴もあります。適応検出には、パーソナライズされたデータ画像の比較が含まれています。異なるアカウントまたは同じアカウントが異なる時間に異なる方法でページにアクセスするため、従来の記録と再生の比較を使用すると大きな違いが生じます。次に、異常な単語が検出され、OCR機能が呼び出されるか、またはそれを奪取することができます。これは、ビジネス関係者のさまざまなビジネスニーズに応じてカスタマイズされます。

実際の例を見てみましょう。これは、マテリアル イメージ モジュールの数の変更です。比較によって、比較に失敗した人がこの問題に気付く場合があります。製品とピットの適応もあります。製品ピットの幅はハードコードされているため、異なるモデルの幅に問題が生じます。これは比較機能によって発見されます。空のピット機能もあり、ページ イメージが読み込まれないか、リアルタイムの製品データなしでデフォルトで読み込まれます。また、落とし穴もあります。つまり、会場ページに 2 つまたは 3 つの製品ピットが連続して表示されていたり、ボリューム ピットが表示されている場合、これも注意が必要なビジネス シナリオです。

同一の素材もあります。テストしているのは単一の製品のみです。単一の製品に同じ推奨事項、同じブランド、または同じ製品が表示された場合、このシナリオではバックエンド アルゴリズムは実際にそれらを正しく分割できません。分割ロジックの問題も懸念されています。空のフロアの問題もあります。フロア名はありますが、下のフロア全体のデータがありません。

また、異常な単語の下のマーケティング利益ポイントは null です。これは、背景が塗りつぶされていないか、フロントエンドのプル例外によって発生する可能性があります。関心ポイントの折り畳みを含め、画面全体または画面の大部分にデータがありません。

アルゴリズムの 1 つとして、パーソナライズされたブロックとの画像比較を紹介します。操作中に自動アカウントへのログインをサポートできますが、実際のシナリオで実行したり、同じアカウントで実行したりすると、異常が発生することは避けられません。これは、画像比較を行うときに解決する必要がある問題です。先ほど、私たちの実装全体がフロントエンドの適応に基づいていると言いましたが、理想的には100％完璧になる可能性があります。ただし、ブラウザ環境や開発の違い、または境界レベルでの1pxの適応の違いにより、累積的な変換が発生する場合があります。GS変換では精度の問題があり、わずかな違いがあります。まず、翻訳、つまり2つの画像を見つけ、いくつかの変換を通じて、違いが最も小さい一致する位置を見つけます。このステップの目的は、トップをエンタープライズに合わせることです。

2 つの画像が異なる部分である差異領域を計算する位置を見つけます。ここにはノイズがあるため、形態学的操作を実行して主な差異領域を取得します。差異領域を取得した後、エッジ検出を使用して画像のエッジを見つけ、差異の大きい部分を覆います。2 つの画像を比較すると、その特徴と類似度値が計算されます。フレームワーク レベルの違いを示すことで、パーソナリティ レベルの違いを比較できます。

さらに、多くのアルゴリズムのシナリオを見てきたので、特徴点のマッチング、OCR、MobileNet を含むさまざまな分類モデルのトレーニングも使用されます。同時に、ページに挿入されたスクリプトは背景と相互作用するため、スクリプトはページのDOM情報という追加のレイヤーの情報を取得できます。つまり、ページ全体にブロックレベルの要素があり、ページ上の特定の位置があります。たとえば、ここに製品のピットがある場合、ピットのサイズ、長さ、幅、特定の上部と左の位置を取得できます。この情報により、アルゴリズムの検出精度がさらに向上します。

当社の運用データは次のようになります。テストプロセスに人材を使用する場合、主にオンライン段階に参加します。開発が完了してからオンラインになる前に、さまざまなマシンに投資して、さまざまな結果を確認します。これは、オンライン段階、テスト段階、バグ修正後など、どの段階でもリアルタイムで実行できるため、ページ カバレッジはこれよりもはるかに高くなります。同時に、当社のアルゴリズム機能により、彼はより多くの経験関連の問題を発見することができました。これは 6 月のデータです。人的投資は、機器が異常切断された場合のメンテナンス用であり、もう 1 つはアルゴリズムの結果を手動で確認するためのものでした。アルゴリズムの精度が向上し、自動スケジューリング ソリューションが改善されると、この金額はさらに削減される可能性があります。これは、先ほど説明した 1 日の検査です。2 時間に 1 回実行されます。これは、1 時間に 1 回実行するシナリオで毎日検出された問題のあるページの数です。

私のスピーチはこれで終わりです、ありがとうございました！