検査業界は大きな変革期を迎えており、人工知能が次世代の検査をリードしている。

[[283895]]

モバイルインターネットの隆盛時代を経て、中国のモバイルアプリケーションエコシステムは非常に大きく成長しました。市場の観点から見ると、アプリケーション市場は数百に上り、APP関連産業の規模は1000億ドルを超えています。構成の観点から見ると、モバイルアプリケーションエコシステムは、モバイルユーザー、携帯電話、開発者、スーパーAPP、アプリケーション市場で構成されています。規模の観点から見ると、モバイルユーザーの規模は巨大で、携帯電話のバージョンは多く、カウントできる開発者と実際に契約している開発者の数は100万人を超え、カウントされていない他のモバイルアプリは数万あり、これらが一緒になって巨大なモバイルアプリケーションエコシステムを構成しています。

物事には往々にして二面性があります。私たちは、このような巨大なモバイル インターネットがもたらす恩恵を享受する一方で、それに伴う悪影響にも耐えなければなりません。モバイルアプリケーション市場全体は非常に複雑であるため、品質の面では、多くの国内アプリケーション市場は非常に厳格な審査を実施したと主張していますが、実際には多くのAPPのアプリケーション品質は満足できるものではなく、深刻な問題を抱えているものも多くあります。北京大学コンピュータ科学技術学部の副学部長である郭耀教授は、NCTS中国クラウドテストサミットで、現在のモバイルアプリケーション市場の複雑さとそれが直面しているいくつかの問題を共有しました。

1. 中国のモバイルアプリエコシステムは非常に複雑です。
2. 国内のアプリケーションはタイムリーに更新されず、その結果、アプリケーション市場でユーザーがダウンロードしたアプリケーションの多くは最新バージョンではありません。
3. 市場における偽アプリの平均シェアは Google Play の 20 倍です。
4. アプリの 80% が過剰な権限を要求します。
5. アプリマーケットでは悪質なアプリの審査が遅れています。

では、このような問題にはどのように対処すればよいのでしょうか? 1 つ目は、ユーザーがアプリケーションの使用方法をよりよく理解できるようにすることです。2 つ目は、ソフトウェアをテストすることです。もちろん、これらの問題を最も効率的に解決したい場合は、より効率的なインテリジェント テスト プラットフォームも必要です。

AIが次世代のテストをリードし、iTestinがテストの未来を書き換える

[[283896]]

テスティン社長 徐坤氏

先日終了した第2回NCTS中国クラウドテスト業界サミットで、Testin Cloud Testingの社長であるXu Kun氏が新しいAIテスト製品であるiTestinを正式に発表しました。iTestinはTestin Cloud Testingの人工知能戦略の重要な部分であり、テスト分野における現在のトップクラスの自然言語処理、テキスト認識、アイコン認識技術を統合し、テスト製品の使いやすさと自動化効率を全面的に向上させます。スクリプト作成効率を2倍にすると同時に、スクリプトのメンテナンスコストも半減しました。現地での発表セッションでは、Xu Kun 氏が自然言語を使用して iTestin の AI+ テストの真の機能を実演し、聴衆の驚きと賞賛を呼び起こしました。 iTestin を使用するテスターは、インターフェイスにクリック、待機、確認、長押し、入力などの自然言語のテキスト記述を入力するだけで、バックグラウンド AI が実際のマシン上で完全かつ正しい操作と関連指示を正確かつリアルタイムに実行できます。

[[283897]]

iTestin の本当の魅力は、プログラミング コードを一度も理解したことのない人でも、わずか 30 分で最初のプログラムを完成させられるように教えることができることです。基本的に、アクション、一部のバックグラウンド機能、待機、システム ボタンなど、携帯電話ベースのすべての操作がサポートされています。この背後にある操作は AI の認識能力に依存しており、最も重要なのは OCR です。OCR は基本的にインターフェイスを見るものであるため、OCR の精度は実行全体に直接影響します。ほとんどの操作はテキストに基づいています。テキストにはさまざまな種類のフォント、さまざまなスタイル、およびオクルージョンなどがあります。 OCR 技術により、すべてのホットテキストをフィルタリングできます。iTestin のバックグラウンドでは、人間のようにさまざまなテキストボタンを操作して、ページ全体の意味を理解できます。これは、システム ボタンを AI 背景に統合する iTestin です。

Testin Cloud Testing は、数年かけて人工知能技術全体をテストに統合してきました。iTestin の核心である最初の部分は言語記述部分です。これは完全に自然言語に基づいています。つまり、日常生活のクリック、ログイン、左スワイプ、右スワイプなどに基づいており、フロントエンドの操作が容易になっています。また、バックグラウンドの人工知能部分では、NLP 言語とさまざまなグラフィック (「クリックしてログイン」や「下にスワイプ」などの 8 つの漢字) を認識するために多くの作業が行われており、これらは iTestin 自動化ツールの 2 つの操作ステートメントでもあります。

アイコンの部分がなかなか面白いです。人間は多くのアイコンを認識しますが、AIにアイコンを認識させるのはなかなか難しいです。 Testin Cloud Testing チームは数百万個のアイコンを収集し、このモデルをトレーニングして、約 100 個の一般的なアイコンを認識できるようにしました。収集されるデータが増えるにつれて、マシンはより賢くなり、コンピューター ビジョンはより多くのグラフィックを認識できるようになります。将来的には、画像に基づいて多くのことができるようになると予想されます。

検査業界にはAIのサポートが必要

ソフトウェア テスト業界にとって、モバイル インターネットの発展と普及は、大きな課題とともにチャンスももたらしました。これは本質的な問題から始めなければなりません。インターネット時代以前の伝統的なIT時代と比較すると、ソフトウェアは一般的に研究開発サイクルが長く、ソフトウェアの機能が膨大で、更新頻度が低いです。ソフトウェアは企業の事業展開を支援する支援設備として存在します。支援設備と呼ばれる理由は、企業にとってそれがなくても事業展開は進められますが、経営効率に影響が出る可能性があるからです。モバイル インターネットの時代では、ソフトウェア自体が本質的に企業のビジネス モデルのコア競争力となります。ソフトウェアはもはや単なるサポート機能ではなく、コア機能とコア能力です。ソフトウェアは、複雑で変化するビジネス環境において企業がコア競争力を持つかどうかを直接決定します。

しかし、従来のテスト プラットフォームでは、スクリプトの作成やターゲット コントロールの選択などのタスクに依然として多くの手動介入が必要であり、現在の巨大な市場の需要を満たすにはほど遠い状況です。業界の効率追求に導かれ、AI技術を中核とする新しいテストモデルが業界の議論と突破口の焦点となり、新しい技術、新しい方法、新しい考え方、新しい未来がテスト業界の変数となりました。

現在、AI+テストは業界のコンセンサスとなっており、テスト業界への人工知能の導入は、テスト業界全体に新しい時代の到来を告げる態勢が整っています。 Alibaba、Sogou、JD.com、Accenture、VIPKID、Ping An Group、Autohome、Ele.me など多くの業界リーダーが、NCTS 中国クラウド テスト サミットで最新の研究とテストの実践を共有しました。

フルプロセスのAIテストプラットフォームを構築する方法

北京大学コンピュータサイエンス学部の博士である李元春氏は、論文「自動テストにおける強化学習の応用」でGUIテストに関する研究を紹介し、「強化学習をGUIテストに適用する際の難しさは、主に状態の表現と報酬関数の設計、つまりインタラクティブインターフェースに画像やテキストなどのマルチモーダル機能を効果的にエンコードする方法と、テスト目標をテスト入力に対する報酬に変換する方法にあります」と指摘しました。これには、ディープラーニングに基づくGUIテストと強化学習に基づくUI機能のテストが含まれます。

李元春氏は、ディープラーニングと強化学習をテストに適用する見通しは広いものの、大規模に利用できるようになるまでにはまだまだ長い道のりがあると述べました。難しさ 1: この問題のテストは非常に複雑です。現在のディープラーニングは主に画像やテキストを入力として受け取りますが、UI は視覚情報とテキスト情報の両方を含む、より複雑なタイプの情報です。現在、UI の特徴を捉える特に優れたモデルや方法はありません。第二に、強化学習アルゴリズムが成功する分野は、多くの場合、ゲームです。たとえば、強化学習は囲碁を非常にうまく解くことができます。重要な理由の1つは、ゲームの分野では報酬が比較的明確であるのに対し、テストでは、テストケースの良し悪しを評価する正確な指標がないことです。結局、評価後、各テストケースは、正しいか間違っているかに関係なく、非常に似た報酬を得るため、強化学習モデルが正しいか間違っているかを区別することが難しくなります。これらの問題を解決するには、一方では研究上の課題があり、他方では解決すべき多くの工学上の問題があり、学界と産業界の共同の取り組みが必要です。

企業はどのように DevOps 変革を実行できるでしょうか?

Gu Yu 氏は、企業の DevOps 変革における自身の経験を共有し、「DevOps 機能が不十分な場合に企業がマイクロサービス変革を実行することは推奨しません。品質基準が低い場合にリリース サイクルを短縮し、展開頻度を増やすことは意味がありません」と述べました。

現在、多くの企業ではマイクロサービス化の完了後にテストコストが増加しています。理由は、以前はモノリシックアプリケーションだったのが、その後分散アプリケーションに変更されたためです。テストが必要なポイントが増え、特にSIT部分では、サービス間のさまざまな機能テストと非機能テストをテストする必要があります。この部分のコスト増加は、デリバリーサイクルの遅延につながります。 DevOps 機能が不十分な場合、企業がマイクロサービス変革を実行することは推奨されません。マイクロサービスは、DevOps の成熟度が高いことの必然的な結果であるべきです。そうでなければ、多くの品質問題が労力と時間コストの大幅な増加につながります。

DevOps では、2 つの問題を解決する必要があります。1 つ目はソフトウェア配信の効率性、2 つ目は配信の品質です。品質と効率の両方が重要です。どうすれば改善できますか?これには以下の対策が必要です。

1. バグを正確に定義します。
2. ドッキングコストを削減するための完全な要件ドキュメントを作成します。
3. DevOps 組織の壁を打ち破り、DevOps テストなどの正しい見方を確立します。

360 Search Service は完全に自動化されたテスト プラットフォームを構築します

360 Search のテスト ディレクターである Peng Xingqiang 氏は、CI/CD の全プロセス自動化、機能、パフォーマンス、およびインターフェイス テストの自動化、ビジネス監視、オンライン製品品質の自動分析、AB 実験、完全なデータ分析システムを通じて、360 Search がオンライン サービスの品質をどのように保証しているかについて説明しました。

従来のソフトウェア制作の全プロセスは、自発的な自己テスト、テストの提出、スモーク テストで構成され、プロセスが失敗した場合は拒否され、スモーク テストの後、QA テスト フェーズに入ります。完全に自動化されたテストプロセスでは、生産検証は基本的な機能の1つです。その他の機能には、回帰、機能、インターフェース、モジュール、オフラインデータベース構築、パフォーマンステスト、DIFFテスト、互換性テストなどがあります。オンラインでは異なるバージョンが存在する可能性があるため、バージョンが起動された後、現在のバージョンがサポートされ、上位バージョンと下位バージョンの互換性がテストされる必要があります。したがって、すべてのリンクは自動化されたプロセスで実装されます。

360 チームが行ったのは、これまでのすべての部分を抽象化し、コンパイルとパッケージ化、テスト、スモーク テスト、自動テストなど、すべてを完全に自動化されたテスト プロセスに組み込むことでした。

自動テスト プラットフォームには、インターフェイスの自動化、サーバー側の自動化、フロントエンドの自動化パフォーマンス、テストの自動化が含まれます。自動テスト プラットフォームでは、データは各業務に合わせてカスタマイズされるため、開発者はデータについて心配する必要がありません。行う業務と選択するデータの種類を選択し、確認をクリックするだけです。 360 が開発した自動テスト プラットフォームの主な特徴は次のとおりです。

データのアップロード: 確認すべき特定のデータがあり、必要なデータを自分でアップロードできます。

リアルタイム ログ: テストでリアルタイム データの状態を観察する必要がある場合、一部のパフォーマンス テストでは、結果を確認する前にテスト全体を完了する必要はありません。たとえば、10 分後または 20 分後に問題が見つかった場合は、テストを停止して問題のトラブルシューティングを行うことができます。自動テスト プラットフォームは、数秒でのデータ表示をサポートします。

履歴タスク管理: 指標の変化をプラットフォーム上で確認できます。

プロセス監視: 特定のタスクでは、特定のプロセスのステータスに注意する必要があります。プロセス名を入力し、プラットフォームを通じて表示する必要があります。

試験業界におけるAIの応用と実践

1. AIモデルのテストの検討

Rong360のシニアテクニカルマネージャーであるアイ・フイ氏は、「AIモデルテストの秘密を探る」と題した基調講演で、金融テクノロジーにおけるAIの応用シナリオを紹介し、金融業界の商業シナリオの収益化の分野ではAIが比較的成熟していると指摘した。これは主に、モデルの有効性において極めて重要な役割を果たしているデータの品質と豊富さによるものである。

モデルテストの問題点は何ですか? 1 つ目は、難しくて敷居が高いことです。従来のエンジニアリング テスト方法を完全に再利用することはできません。2 つ目は、抽象的であることです。モデル テストはブラック ボックスであり、データとの関連性が強いため、問題の特定が難しく、トラブルシューティング時にデータの相関性が強いという問題が生じます。

AI 製品品質システムを構築する際には、オンラインとオフラインに分けられます。オフライン モジュールには、モデル品質、データ品質、エンジニアリング品質の 3 つがあります。各種モデル効果、機能監視、一貫性監視、カバレッジ監視、ビジネスパフォーマンス監視のオンライン監視が実行されます。

2. インテリジェントなオフラインテストを構築する方法

アリババのテスト開発専門家であるパン・ジアテン氏は、「アリママのオフラインテスト領域のインテリジェント構築」と題した基調講演で、ビジネスの現状と課題、インテリジェンス入力のロジック、オフラインテストのインテリジェンスを実現する方法など、アリママのオフラインテストの実践を共有しました。

オフライン機能テストの発展の歴史は、3 つの段階に分けられます。最初の段階は大航海時代で、自動化の度合いが低い手動テストが特徴でした。2 番目の段階は産業革命で、自動化の度合いが非常に高くなっています。また、Alibaba の一部の内部プラットフォームなどの継続的統合ツールと組み合わせたテスト フレームワークもあり、これらが組み合わさって高度に自動化された方法を構成しています。しかし、テスト技術の敷居が非常に高いため、開発者が関与できず、作業のほとんどがテストによって行われています。アリババ社内では、多くのチームがまだ高度な自動化の時代にありますが、まだインテリジェンスの時代には入っていません。第3段階はインテリジェンスの時代であり、製品化、視覚化、部分的なインテリジェンスを特徴とし、効率が大幅に向上します。チームは、開発者、アルゴリズム、または他の学生が参加できるように、しきい値を下げることで、テスト作業全体を簡素化しようとしています。この段階では、主にテスト プラットフォームまたはテスト ミドル プラットフォームへの進化が中心となります。

インテリジェント テクノロジーは非常に重要ですが、それをテスト シナリオとどのように組み合わせるかがさらに重要です。機能テストの領域は、主に 3 つの部分に分かれています。1 つ目はケースの書き方、つまりユース ケースの生成です。2 つ目はユース ケースの回帰、つまりケースを書いた後すぐに反復することです。3 つ目はケース テストが失敗したときにインテリジェントなトラブルシューティングを実行する方法です。インテリジェンスは 3 つの部分すべてに反映されています。さらに、その他のインテリジェント テクノロジーには、ユース ケースのインテリジェントな推奨、データのインテリジェントな推奨、インテリジェントな煙逆流テクノロジー、インテリジェントな回帰テクノロジー、インテリジェントなトラブルシューティング フィードバックなどがあります。

3. DevOps + AI

NetEase Mediaのテストディレクターである張涛氏は、過去1年間のNetEase NewsのDevOpsの実践を共有し、「DevOpsを実装するプロセスは、サービスの可用性に焦点を当てることから、システムのテスト可能性と安定性に焦点を当てることまで、テストの価値を高めるプロセスでもあり、R＆D、テスト、運用と保守の全プロセスで中心的な役割を果たしています」と指摘しました。

張涛氏は、DevOpsのイテレーション効率を向上させるためのアイデアと方法を共有した際、従来のDevOpsトレインモデルの明らかな問題点、つまりシャトルバスモデルへの移行を指摘しました。シャトルバスモデルは、集中型の需要収集と集中型の研究開発とテストの方法を変えました。いつでも新しい需要を提出でき、いつでもレビューでき、いつでも研究開発とテストを行うことができます。その後、時間サイクルが合理的かどうかを評価する必要があります。NetEase Newsの評価サイクルは、固定の3週間のイテレーションです。

もうひとつは、プロジェクトマネジメントチームと共同で開発したOverMindプラットフォームです。その最大の機能は、需要から研究開発、ローンチ、テストまでの各リンクで日常的に必要となるプラットフォームやツールを連携させることです。例えば、需要管理、研究開発で使用されるブランチ管理ツール、テストツール、オンラインプラットフォームはすべて直列に接続されています。テストプロセス中に、NetEase News チームは、Testin Cloud Testing の新しい AI テスト製品である iTestin が提供する自動化機能もプロセス全体に統合しました。

機械学習テストのサポートにより、DevOps はフルリンク監視を実現しました。さらに、サービス依存関係とリンク追跡を整理する方法も提供しました。このプロセスにより、リクエスト リンク全体を直列に接続できます。さらに、リンク呼び出しパフォーマンス評価機能も備えており、各リクエストのパフォーマンスを監視して、パフォーマンスのボトルネックを迅速に発見できます。これがフルリンク監視の全体的な考え方です。

4. AIを使ってバグを素早く見つける

Ele.meのテスト開発専門家であるQiu Huafeng氏は、「バグの検出における人工知能の応用」と題した基調講演で、「企業が人工知能がもたらす利便性の恩恵を受けたいのであれば、まずそれに応じた標準を策定する必要がある。そのような標準がなければ、固定されたアルゴリズムに従って結果を達成することは難しいだろう」と指摘した。

まず、Java のバグをすべてメンテナンスすることを専門とする人がいます。これらのバグが修正されると、どのメソッドがどのレイヤーにあり、どのメソッドのどの行にどのようなエラーがあるかを示すデータが生成されます。人工知能がもたらす利便性を利用したい場合、まずそれに対応する標準を確立する必要があります。この標準がなければ、固定されたアルゴリズムに従って欲しいものを得ることは困難になります。まず、Qiu Huafeng 氏がツールを紹介し、次にバグ検出の原理と方法について説明し、最後にこれらのツールを使用した後、アプリケーションをどのような側面で実装する必要があるかを説明しました。

よく知られている 80/20 ルールは、テスト業界では次のように理解されています。バグの 80% はコードの 20% から発生します。この理論に基づいて、コードの 20% をケース レベルに分類する必要があります。ソフトウェアの反復バージョンが増えるほど、開発者とテスターは、ユニット テスト スクリプトを含む独自の自動化スクリプトを継続的に保守することになります。バグは徐々に蓄積され、ケースの実行を監視するためにスペースを時間と交換する必要が生じます。さらに、階層的な分類を使用してこれらのケースをマークすることもできます。これにより、スペースや時間を節約できます。

AIが検査業界に力を与える

では、AI時代において、テストと開発はどのように技術を蓄積し、変革していくのでしょうか？ AI を学習するには、高度な数学の基礎から機械学習までのプロセスを経る必要があります。もう一つは、データ分析とマイニングの能力を習得することです。データ品質分析は本質的にデータ分析であり、関連する多数の理論とツールを熟知して使用する必要があります。これには、テスト業界の人々の間で継続的な経験の蓄積も必要であり、ディープラーニングや強化学習の場合は複雑さがさらに高まります。

[[283898]]

検査業界の未来はAI

中国のテスト技術の変革と革新は、中国のインターネットの急速な発展の縮図でもあります。初期の手動テストから、その後のツールテスト、そして現在市場で主流となっている自動テストまで、業界全体が成熟し安定した段階に入りました。特に、クラウドテストモデルの出現は、業界全体を新たな高みへと押し上げました。さらに、現在の人工知能技術の発展速度は私たちの想像をはるかに超えています。将来的には、テスト製品はよりスマートで、よりシンプルで、より使いやすくなると考えられます。

これらすべてから、AI テクノロジーが成熟するにつれて、次世代のテストが登場するだろうと私は信じています。

[NCTS サミットレビュー] 北京大学 郭耀: モバイル アプリケーション エコシステムの現状と課題 https://developer..com/art/201911/606776.htm

[NCTS サミット レビュー] Testin Xu Kun: AI が次世代のテストをリード、iTestin がテストの未来を書き換える https://developer..com/art/201911/606770.htm

[NCTS サミット レビュー] アリババの Pan Jiateng: Alimama のオフライン テスト ドメインのインテリジェントな構築 https://developer..com/art/201911/606771.htm

[NCTS サミット レビュー] 360 Search Peng Xingqiang: 360 Search 品質保証システムの紹介 https://developer..com/art/201911/606778.htm

[NCTS サミットレビュー] Rong360 Ai Hui: AI モデルテストの秘密を探る https://developer..com/art/201911/606775.htm

[NCTS サミットレビュー] NetEase 張涛: NetEase News AI テストにおける DevOps の実践と応用 https://os..com/art/201911/606783.htm

[NCTS サミット レビュー] Gu Yu: DevOps の配信品質は需要品質から始まります https://os..com/art/201911/606781.htm

[NCTS サミットレビュー] 北京大学 李元春: 自動テストにおける強化学習の応用 https://developer..com/art/201911/606772.htm

[NCTS サミット レビュー] Ele.me Qiu Huafeng: バグ検出における人工知能の応用 https://developer..com/art/201911/606773.htm