[NCTSサミットレビュー] Testin Xu Kun: AIが次世代のテストをリード、iTestinがテストの未来を書き換える

2019年10月26日、Testinが主催する第2回NCTS中国クラウドテスト業界サミットが北京で開催されました。「AI+未来」をテーマにしたこのサミットには、国内外のテスト分野の著名な専門家や学者、大手企業の意思決定者、上級技術管理者、メディア関係者などが集まり、ハイエンドのクラウドテスト技術について議論し、テスト担当者が最先端の業界動向と最新の業界慣行を理解できるようにしました。

会議では、Testinの徐坤社長が新しいAIテスト製品iTestinを正式に発表しました。Testinの人工知能戦略の重要な部分として、iTestinはテスト分野における現在のトップクラスの自然言語処理、テキスト認識、アイコン認識技術を統合し、テスト製品の使いやすさと自動化効率を全面的に向上させ、スクリプト作成効率を2倍にするとともに、スクリプトメンテナンスコストも半減しました。

[[283748]]

現地での発表セッションでは、Xu Kun 氏が自然言語を使用して iTestin の AI+ テストの真の機能を実演し、聴衆の驚きと賞賛を呼び起こしました。 iTestin を使用するテスターは、インターフェイスにクリック、待機、確認、長押し、入力などの自然言語のテキスト記述を入力するだけで、バックグラウンド AI が実際のマシン上で完全かつ正しい操作と関連指示を正確かつリアルタイムに実行できます。

以下は徐坤氏のスピーチの記録です。

Testin の Xu Kun です。まずは、NCTS 中国クラウド テスト業界サミットを開催するきっかけについて簡単にお話ししたいと思います。 Testin は 8 年間テストに携わってきましたが、テスト業界全体でコミュニケーションと共有の機会があまりないことに気付きました。Testin は、このプラットフォームを利用して、学術界の著名な専門家や学者、大手企業の意思決定者、上級技術管理者、メディア従事者、大手インターネット企業が開拓した最前線のテスト専門家を招待し、中国のテスト分野がどこまで進んでいるかを一緒に議論し、同僚とより良い経験を学び共有し、会議から誰もが何かを得られることを願っています。本日は、Testin が主催する 2 回目の Cloud Testing Summit です。今後、3 回目、4 回目も開催される予定です。今後も継続して開催し、テスト業界に少しでも貢献できればと考えています。

では本題に入りましょう。今回のカンファレンスのテーマは「AI+Future」です。人工知能による自動テストにおける Testin の探求と成果をご紹介します。まずテストの自動化から始めます。テストを行う人は、作業の 70% から 80% が反復的であり、同じテストを実行していることをよく知っています。テストが登場して以来、自動化技術を使用して反復的で退屈なテストから人々を解放できるかどうかが疑問視されてきました。以前、Android、iOS などをベースにしたものも含め、業界で見つけられるすべての一般的な自動化フレームワークを検索したところ、それらの操作インターフェースは IDE に非常によく似ていました。すべての自動化フレームワークは全体的なコストの削減を目的として自動化されていますが、テスターは依然としてプログラミング言語を学習する必要があります。テスト対象のアプリケーションは常に変化するため、それに応じて自動化スクリプトを変更する必要があります。また、アプリケーション間およびプラットフォーム間のサポートがあまり良くないことも問題です。

[[283749]]

現在、自動テストではインターフェース部分が特にうまく実装されていることが多いのですが、残りの部分はあまりうまく実装されていません。私たちも自動化を検討してきました。この問題の根本的な原因は何でしょうか?これは、自動化フレームワークがプログラム自体に基づいており、言語自体によって制限されているため、最下位レベルでいくつかの制限があるためだと考えています。さらに、プログラマーが考えることができるシナリオには制限があるため、機械は考えたり学習したりすることができません。しかし、人は違います。インターフェースがどのように変更されても、理解できれば操作できます。

自動テストが進歩するにつれて、機械はプログラムを書くのではなく、人間のようにテストを実行できるようになるのだろうかと考えています。私たちはこの問題を長年にわたって研究し、何度も試みてきました。機械学習が登場したのは2012年以降、特に2016年以降です。ディープラーニング、コンピュータービジョン、自然言語処理などを通じて、機械が人間のように人間の言語を理解できるようにしたり、機械が人間のようにグラフィックスを理解できるようにしたりできる可能性があることがわかりました。

人間は「戻る」「ホームボタン」など多くのアイコンを定義しており、機械はアイコンの背後にある意味を理解し、戻るボタンが戻ることを意味することを認識できます。もちろん、機械も人間と同じようにさまざまなソフトウェアを操作することができ、本来の自動化はすべて実現できます。最も興味深い点は、うまく行けば、機械は人間のように学習し続けることができ、データに基づいてトレーニングして、人間やテスト用に構築したシナリオよりもさらに優れた新しいシナリオを学習できるようになることです。

Testin は数年をかけて人工知能技術全体をテストに統合し、本日 iTestin をリリースします。その核となる最初の部分は言語記述部分であり、これは完全に自然言語に基づいています。つまり、日常生活におけるクリック、ログイン、左スワイプ、右スワイプなどです。フロントエンドの操作はよりシンプルになります。また、バックグラウンド AI の人工知能部分で多くの作業を行い、NLP 言語とさまざまなグラフィックを認識しています。たとえば、「クリックしてログイン」や「下にスワイプ」の 8 つの漢字は、iTestin 自動化ツールの 2 つの操作ステートメントでもあります。私たちは 2 つの原則に焦点を当てました。1 つは、中国語がわかれば、自動化されたスクリプトを記述でき、クリックしてログインし、クリックして下にスクロールでき、携帯電話を使用できれば、基本的にすべての操作ポイントを理解できるということです。

以前、この製品を Testin のマーケティング担当者に紹介したことがあります。プログラミング コードをまったく理解していない人でも、わずか 30 分で最初のプログラムを完成させられるように教えることができます。携帯電話での操作に基づいて、基本的にすべてがアクションをサポートできるようになり、待機、システム ボタンなどの一部のバックグラウンド機能もサポートできるようになりました。これらの操作は実際には、その背後にある AI の認識機能に大きく依存しており、その最初のものが OCR です。 OCR の精度は実行全体に直接影響します。なぜなら、OCR は基本的にインターフェイスを確認するものであり、ほとんどの操作はテキストに基づいているからです。テキストにはさまざまな種類のフォント、さまざまなスタイル、オクルージョンなどがあります。技術的な詳細については説明しませんが、基本的には、OCR 技術を通じて、すべてのホットテキストをフィルタリングし、さまざまなテキストボタンを人間のように操作して、ページ全体の意味を理解することができます。システム ボタンを AI 背景全体に組み込みました。

アイコンの部分がなかなか面白いです。人間は多くのアイコンを認識しますが、AIにアイコンを認識させるのはなかなか難しいです。私たちは何百万ものアイコンを収集し、おそらく 100 個未満の一般的なアイコンを認識できるようにこのモデルをトレーニングしました。収集されるデータが増えるにつれて、マシンはますます賢くなります。コンピューター ビジョンはより多くのグラフィックを認識でき、将来的には画像に基づいて多くのことが可能になります。

このツールを現場でテストして、どのように機能するか確認してみましょう。まず簡単に紹介させてください。画面には、ここに配置したノートブックが映し出されています。左側には携帯電話のインターフェースがあります。背景には、AI の背景として小さなノートブックが表示されます。右側はスクリプトを記録するための IDE 全体です。現在、私は何百人もの人の前でプログラムを書いていますが、このプログラムは中国語です。

QQ Musicを開きました。ジェイ・チョウは1か月以上前に新曲をリリースしました。まずは検索してみます。「クリックして検索」と入力すると、マシンがこの操作を実行します。次に、検索インターフェースに入り、音楽の検索をクリックし、入力ボックスに移動して「Jay Chou」と入力し、「Say Not to Cry」という曲をクリックしました。

ジェイ・チョウが毎回3元を請求したため、これをテストするために多額の費用がかかりました。ジェイ・チョウの表情を見て、左にスワイプすると、まず曲を止めてジェイ・チョウにメッセージを送ります。QQスペースで共有してみます。 「ミルクティーをあまり飲まずに、もっと曲を書こう」と入力して、ジェイ・チョウがそれを見ることを期待して彼に送信します。これは私が今記録したスクリプトです。これを再生するとどのような効果が得られるかをお見せしましょう。結合されたスクリプトになることができます。今、マシンは自動的に実行されています。先ほど検索ボタンをクリックすると、「Jay Chou」と入力されました。結果リストで、Jay Chou のこの曲を見つけて、再度検索しました。

これは私が今録画したインターフェースです。ジェイ・チョウのページに切り替わり、左右にスワイプします。5秒待つ理由は、UIレベルの認識に基づいています。ネットワークダウンロードページ全体が読み込まれるのを待ちます。ネットワークの状態が良ければ、2秒しかかかりません。ジェイ・チョウが体重を減らして、今日何百人もの観客の前で私が伝えたメッセージを覚えていてくれることを願っています。

今デモしたのは、1 台の携帯電話での再生プロセスです。今日は 4 台の携帯電話を持ってきました。複数の携帯電話で再生した場合、どのような効果がありますか?左側は、1 台のマシンで再生し、ステップごとに実行します。複数のマシンで再生する場合は、スクリプトがバックグラウンドに送信され、4 台の携帯電話で自動的に実行されます。その 4 台の携帯電話は、キャビネット内にあります。今日は、Huawei、OPPO、Xiaomi、vivoの4台の携帯電話を取り出し、先ほど書いたスクリプトを使用しました。この4台の携帯電話が一緒にこの曲を再生しました。

テスティンは世界最大の研究室も有しており、その研究室の状況を公表するのは今回が初めてです。世界中で毎日、何万台もの携帯電話と何千ものモデルがさまざまなアプリを実行しています。それらの上で実行される自動スクリプトは、今日私が皆さんに紹介する NLP 方式で書かれています。 2011 年から現在までに、Testin プラットフォーム全体で 2 億を超えるアプリケーションが実行されました。

郭教授は先ほど、中国には約200万個のアプリがあるとおっしゃいました。Testinは当初から現在まで、260万個以上のアプリをテストしており、テスト回数は約2億3000万回に上ります。今デモしたのは、機械が人間のようにテストを行うプロセスです。操作プロセスに加えて、機械は実際に行うべきことを行うことができます。テストレポートをまとめ、生成されたすべてのCPUとメモリデータをキャプチャしてチャートを作成します。さまざまなテスト結果もあります。シーケンストラックを保持し、すべてのログをキャプチャします。

従来の自動化では、スライドダウンを実現するには 20 行のコードを記述する必要がありましたが、iTestin ツールでは「スライドダウン」という 4 つの漢字を記述するだけで済みます。ここで、別のスクリプトをテストしたいと思います。このスクリプトは WeChat に関連しています。先ほど、皆さんが会場に入っていくときに、同僚が皆さんに QR コードをスキャンするようにお願いしました。皆さんが今日のテスト会議のグループにすでに参加しているかどうかはわかりませんが、まだの場合は 10 秒以内にグループに参加してください。まだこのグループに参加していない場合は、しばらくすると大きな損失を被る可能性があります。左側に表示されているのが私たちのスクリプトです。このスクリプトは実はとてもシンプルです。まず「WeChat」をクリックし、次に「NCTS」をクリックしてこのインターフェースに入ります。このスクリプトを見て、その場で読んでみましょう。グループに入り、その他の機能をクリックして、「赤い封筒」ボタンをクリックします。金額は「888」と記入してください。現地テストは本当に緊張しました。

皆さんは確かにテストをやっていて、それが十分に反映されています。

フィールドテストは終了しました。本題に戻ります。先ほどの「スライドダウン」に対応するコードをもう一度見てみましょう。従来の自動化ツールでは、クロスプラットフォームのサポートが不足しているなど、学習コストとメンテナンス コストが高いことがわかりました。iTestin ツールを使用して、学習コストとメンテナンス コストを削減し、クロスアプリケーションもサポートしたいと考えています。先ほど、クロスアプリケーションである WeChat と QQ Music に投稿しました。本質的には、機械が人間と同じようにアプリケーションを操作しています。 AI がさらに賢くなれば、人間よりも速く、より優れた処理ができるようになるかもしれません。私たちは、iTestin を通じて機械が人間のようにテストできるようにしたいと考えています。

最後に、Testin の願いについてお話ししたいと思います。実は、この願いは皆さんに送られたばかりです。その言葉はすべて赤い封筒の中にあります。私たちはテストをより簡単にし、テストを行うすべての同僚が幸せになれることを願っています。みんなをもっと幸せにするために、私は自分で紅包を送ってみて、紅包を送るのと機械で紅包を送るのとどちらが早いか試してみることにしました。

今日お話ししたいことはこれで終わりです。テストをより面白く、効率的にするために、今後は他のテスターたちとコミュニケーションを取り、情報を共有していきたいと思います。改めて皆様ありがとうございました！