インテルは、次世代のAIテスト製品であるiTestinのテクノロジーを発表し、Testinのクラウドコンピューティング機能の向上を支援します。

 最近、Testin Cloud Testingは、テスト分野で現在普及している自然言語処理、テキスト認識、アイコン認識技術を統合し、テスト製品の使いやすさと自動化効率を全面的に向上させた新しいAIテスト製品iTestinを正式にリリースしました。人工知能技術により、スクリプトのデバッグとスクリプトのメンテナンスコストを大幅に削減し、アプリとWebのテストデータセットの精度とパフォーマンスの面で主流のクラウドベンダーの有料の高精度OCRサービスを上回ります。

自然言語で記述された自動テスト スクリプトの安定的かつ効率的な実行をサポートするには、信頼性の高い認識結果を提供するための高精度かつ高効率の AI アルゴリズムが必要です。 Testin Cloud Testing は、ビジネス理解、データ理解、データ準備、アルゴリズムモデリング、パフォーマンス評価、モデル展開の全プロセスで包括的な改善を実現し、テスト分野における AI 技術の実用的な実装を形成しています。

強力なサポート：インテルがiTestinの最先端のテスト技術研究の実現を支援

自然言語スクリプトは、さまざまなモデルの何千もの携帯電話で自動的に実行されるため、十分に高いテキスト検出および認識精度が必要です。認識精度の課題を解決するために、Testin Cloud Testingは業界最大のAPPスクリーンショットの文字認識データセットを作成し、文字認識モデルの構築アルゴリズムを通じて数千万のデータを自動的に生成しました。テキスト検出と認識のモデリング作業では、従来のコンピュータービジョンアルゴリズムの速度の利点とディープラーニングアルゴリズムの精度の利点を最大限に活用しました。最終的に、アルゴリズムの検出精度、認識精度、認識速度は、大手インターネット企業の有料の高精度テキスト認識サービスを上回りました。

Testin Cloud Testing OCR アルゴリズムは、同社の AI テスト サービスを正常にサポートし、主要顧客向けの製品のプライベート展開にも利便性を提供します。 OCR ディープラーニングの効率を向上させるために、Testin Cloud Testing と Intel は共同で調査を行い、ツールキットを備えたインフラストラクチャ プラットフォームからのソリューションの構築に重点を置き、ソフトウェア アクセラレーションとハードウェア サポートという 2 つの観点から OCR ソリューションを最適化しました。 Testin Cloud Testing は、Intel Xeon スケーラブル プロセッサーと Intel の Open Visual Inference and Neural Network Optimization (OpenVINO) ツールキットに基づく OCR ディープラーニング ソリューションを最適化し、AI テストでの OCR 認識時間を 2 秒から約 0.3 秒に短縮し、テストの効果と結果に影響を与えることなく 6 倍のパフォーマンス向上を実現します。

具体的には、インフラストラクチャ プラットフォームの構築において、Testin Cloud Testing は、強力な汎用コンピューティング機能を備えているだけでなく、強化された単一命令複数データ ストリームや Intel AVX-512 の新命令セットなどの革新的なテクノロジを統合し、汎用コンピューティング機能と並列コンピューティング機能のバランスを実現し、ディープラーニング トレーニングに優れたパフォーマンス基盤を提供する Intel Xeon Gold 6140 プロセッサーを選択しました。ソフトウェアおよびアルゴリズム レベルでは、Testin は Intel OpenVINO ツールキット ディストリビューションを使用して OCR ソリューションを高速化します。このツール スイートにより、開発者は業界標準の AI フレームワーク、標準レイヤー、またはカスタム レイヤーを使用してディープラーニング推論をアプリケーションに簡単に統合できるため、コードを一度記述すれば、現在および将来の Intel ハードウェアに迅速かつシームレスに展開できるため、アプリケーション開発の重複の問題が解消されます。インテルのテクニカルディレクターは、「インテル Xeon スケーラブル・プロセッサーとインテル OpenVINO ツールキットの組み合わせにより、超高推論性能が実現され、Testin Cloud Testing とその顧客はテキストクリックやテキスト検証などの機能を迅速に実装し、AI 自動テストを高速化できます。このソリューションにより、OCR ワークフロー全体の実行速度が保証され、全体的な OCR 認識精度は 99% 以上に達します」と述べています。

Testin Cloud Testing は、OCR アルゴリズムに加えて、アイコン認識、画像レビュー、注釈品質検査など、複数の分野で AI テクノロジーを研究し、適用してきました。

AI分野におけるインテルの重要なパートナーとして、TestinのCTOである陳冠成氏は次のように述べています。「今後、インテルの技術加速ソリューションをより多くのモデルで試すことを検討します。両社は最先端技術の共同研究を継続し、テスト業界における最先端の技術の実装に努め、製品のインテリジェンスレベルをさらに高め、製品とサービスの使いやすさと作業効率を継続的に向上させ、AI技術を使用して業界を強化していきます。」

よりスマートで、よりシンプル、より使いやすい、次世代のテスト製品の品質

1. 自然言語処理：操作の閾値を下げる

iTestin は、AI インテリジェンスをテスト技術の向上の重要な原動力と見なしています。自然言語ベースのスクリプト記録機能を通じて、自然言語インタラクションの使用をサポートし、テスト自動化操作を完了します。

ユーザーは「クリックして検索」と入力するだけで、iTestin はアプリの現在のページで「検索」を自動的に検出して識別し、クリック操作を完了します。従来のテスト スクリプトでは、多くの手動介入が必要であり、スクリプトの記録とメンテナンスは、ターゲット コントロールを手動で選択することによって実現されます。iTestin の新しい自然言語スクリプトにより、スクリプトの記録の難しさが大幅に軽減され、製品の使いやすさとスクリプトのメンテナンス効率が大幅に向上します。

QQ Musicで「クリックして検索」と入力すると、マシンは自動的に検索インターフェースに入ります。入力ボックスで音楽を検索し、「ジェイ・チョウ」と入力して「Say Good Not to Cry」をクリックします。

Testin Cloud Testingの社長であるXu Kun氏は、NCTS China Cloud Testing Summitで、自然言語を使用したiTestinでのAI+テストの真の機能を実演しました。クリック、待機、チェック、長押し、入力などの自然言語のテキスト説明をインターフェースに入力するだけで、バックグラウンドAIが実際のマシン上で完全で正しい操作と関連指示を正確かつリアルタイムで実行できます。

2. OCRテキスト認識：クロスプラットフォームのスクリプト機能を実現し、スクリプトのメンテナンスコストを削減

現在、Android と iOS で一貫したエクスペリエンスを確保するために、ほとんどのアプリケーションでは、両端で同じ UI デザイン、つまり同じ UI インターフェースと操作エクスペリエンスを使用する傾向があります。企業はスクリプトのメンテナンスへの人的投資を削減したいと考えています。同時に、将来的に新しいスクリプトを追加する際には、Android スクリプトと iOS スクリプトを 1 つのスクリプト セットに徐々に統合し、スクリプトのメンテナンスへの投資をさらに削減します。 Testin Cloud Testing は、UI インターフェースのスクリーンショットのみを使用する OCR およびアイコン認識テクノロジーを使用しているため、Android と iOS で同じ UI 自動テスト スクリプト セットを使用できるようになり、クロスプラットフォームのスクリプト機能が実現され、スクリプトのメンテナンス コストが大幅に削減されます。

OCR 検出および認識モデルをトレーニングする場合、データは最も重要な入力であり、データの精度と多様性がモデルの精度と汎用性に決定的な役割を果たします。 Testin Cloud Testing には、長年にわたって蓄積された独自のアプリケーション テスト データがあり、OCR トレーニング データ量は 1,600 万に上ります。また、データを処理する専門の AI データ収集および注釈チームもいます。

3. アイコン認識技術：ユーザーエクスペリエンスと自動テストの安定性をさらに向上

アプリケーションの UI 自動テストでは、テキストに加えて、アイコンもユーザーと最も対話する要素です。従来の自動テストでは、アイコンの認識は主にコントロール ID と、クラス、xpath などのその他のコントロール情報に依存しています。ただし、この情報は自動テストの実践では非常に信頼性が低いことが証明されています。したがって、Testin Cloud Testing の自動テストでは、主に画像の観点からコントロール要素を識別して特定します。

アイコン認識技術は、OCR に加えて、Testin クラウド テストの自動テストをサポートするもう 1 つの重要な技術です。現在、ほとんどのアプリケーションでは単純な線形アイコンが使用されているため、本来信頼性の高いテンプレート マッチングや特徴点マッチング技術が効果を発揮しません。実際のテストでは、既存の最高のアイコン認識技術でも、正のサンプルの精度はわずか 66.87%、負のサンプルの精度は 91.16% で、1 つのアイコンを認識するのにかかる時間は 1532 ミリ秒です。 Testin Cloud Testing は、シンプルな線のアイコンを認識するためのアイコン類似性判別アルゴリズムを特別に設計しました。これにより、アイコン認識の精度と正負のサンプルを区別する能力が大幅に向上しました。テストデータセットでは、正負のサンプルの最終的な精度が 97% を超えました。単一のアイコン認識に必要な平均時間は 319 ミリ秒で、業界をリードする認識精度とパフォーマンスを実現しています。

さらに、Testin Cloud Testing は独自のデータ蓄積を活用し、ディープラーニングのターゲット検出技術を使用して、アプリケーション上でよく使用されるアイコンを自動的に識別して特定し、ユーザーエクスペリエンスと自動テストの安定性をさらに向上させます。

結論

情報化、デジタル化からインテリジェンス化まで、インターネットはIT能力の担い手として、IT技術の研究開発動向や応用モデルを大きく変え、人類社会のビジネスシステム全体を再構築しています。新しいテクノロジーと新しいビジネスモデルの出現により、従来のビジネスエコシステムが破壊され、人々の社会的習慣が変化しました。企業は大きな変革を遂げており、インターネット業界や従来型業界の企業が徐々にデータ主導の業務へと移行するにつれて、テストの重要性が増しています。テストはよりスマートになり、機械学習は革命的な変化をもたらしています。今後の動向に注目しましょう。