設計原則、テスト指標...顔アルゴリズムテストのハードコアスキルを体系的に整理

ビジュアル AI 分野の開発者にとって、適切なアルゴリズムを選択することはプロジェクトの戦いの半分を占めます。アルゴリズムをプロジェクト要件に適合させることで、開発効率が大幅に向上し、実行後のデバッグが削減され、製品の実装が迅速化されます。

しかし、どのようなアルゴリズムが「適切」と見なされるのでしょうか。優れたアルゴリズム モデルには、トレーニング用の大量の包括的なデータが必要です。同様に、アルゴリズムをテストする場合、開発者は実際のアプリケーション シナリオを組み合わせ、最初にアルゴリズム テスト セットを設計し、次に十分なデータでテストする必要があります。この方法でのみ、アルゴリズムがプロジェクトに適しているかどうかを正確に判断できます。

ArcSoft Vision Open Platformは、オフラインの顔認識やその他のアルゴリズムを無料で提供するだけでなく、業界全体に高品質の人材を提供するために、体系的な開発者トレーニングシステムの構築にも取り組んでいます。公式サイトでは最近、「ゼロから学ぶ顔認識」と「顔認識アルゴリズムテスト」のトレーニングコースを開始し、最前線の実践的な観点からアルゴリズムテストの要点を体系的に説明しています。

【アルゴリズムテストセット設計の原則】

アルゴリズムのトレーニングであれ、アプリケーション シナリオのテストであれ、それをサポートするには大量のシナリオ データが必要です。 ArcSoft Vision Open PlatformのArcFace顔認識SDKと同様に、アルゴリズム開発時に建物、建設現場、コミュニティ、キャンパス、景勝地などの一連のシナリオの共通性と個別特性を考慮し、ターゲットを絞ったトレーニングを実施しました。そのため、100を超える垂直産業のサブセクターで広く使用されています。

同様に、アルゴリズム テスト セットを設計する最初のステップは、特定のアプリケーション シナリオを分析し、シナリオの特性に基づいてシナリオ属性を抽象化することです。たとえば、建物、建設現場、コミュニティ、キャンパス、景勝地などの一般的なシナリオには、それぞれ注意が必要なさまざまな属性があります。

建設現場でアルゴリズムを適用する場合、屋外の天井環境でのアルゴリズムのパフォーマンス、IPC機器の高さが認識効果に与える影響、行列や複数の顔でのアルゴリズムの認識速度を考慮する必要があります。同時に、建設現場のシナリオでの認識対象は通常、安全ヘルメットを着用した成人であるため、このグループの人々に対する認識効果に特別な注意を払う必要があります。

適用シナリオが学校の場合、急速に成長している児童・青少年の認識効果を主に考慮する必要があります。展開シナリオがコミュニティや観光地の場合、各年齢層の認識効果を考慮する必要があります...すべてのシーン属性は、ローカル条件に適応し、実際の状況と組み合わせてまとめる必要がありますが、一般的には内部要因と外部要因の2つの原則に従います。

内部要因には、顔の姿勢、メイク、身長、性別、表情、年齢、人種などが含まれ、外部要因には、屋内/屋外、光の方向、攻撃用小道具、メイク用小道具、光の強さ、装備の高さ、背景、遮蔽などが含まれます。

さらに、テスト材料セットには、正のサンプルと負のサンプルの両方が必要です。いわゆる正のサンプルは、真の値に対応するターゲット カテゴリを指し、負のサンプルは、真の値に対応しない他のすべてのターゲット カテゴリを指します。この方法でのみ、アルゴリズムが正しい認識を実行できるかどうかを比較して判断できます。

「スマートビルのアクセス制御シナリオ」を例にとると、シナリオ、属性、設計、規模の4つの主要な要素を考慮して、対象シナリオのアプリケーション環境を完全にシミュレートする必要があります。シナリオは、屋内/屋外、ビル/フロア/オフィスなどの一般的な環境をカバーする必要があります。属性は、外部シミュレーション収集環境のすべての属性と、内部ターゲット収集担当者の選択のすべての属性をカバーする必要があります。マテリアル設計は、速い歩行、遅い歩行、走行、帽子、メガネ、ジュエリーの着用による遮蔽など、実際のユーザーの行動をシミュレートする必要があります。マテリアルの規模は、テスト要件に応じて決定する必要があります。たとえば、実際のシーンは暗い環境であることが多いため、より多くの暗光マテリアルを収集する必要があります。同時に、テストセットの全体的なサイズは、アルゴリズム指標の評価を完了するのに十分でなければなりません。

テスト材料の収集にも厳しい要件があります。まず、収集する対象デバイスを選択し、ハードウェア機器の変更によってテスト結果が偏らないようにする必要があります。次に、登録写真は通常の光条件下で収集する必要があります。つまり、光が顔に均一に反射し、明らかな影や反射がなく、光強度に明らかな差異がないことです。認識写真は、実際のアプリケーション シナリオのスナップショットをシミュレートする必要があります。3 番目に、材料を洗浄する必要があり、テスト セットにはノイズがなく正確である必要があります。最後に、内部属性と外部属性を含む各材料の属性をマークする必要があります。

【顔認識アルゴリズムの評価方法】

理想的には、顔認識の精度は高ければ高いほど良いのですが、アルゴリズムが商品化されると、光、遮蔽、画質、遮蔽などの外的要因と、顔の姿勢、年齢、性別、人種、表情などの内的要因の影響を受けることになります。そのため、アルゴリズムが製品に適しているかどうかを評価するには、実際のシナリオと組み合わせてテストを行った上で評価を行う必要があります。

ほとんどの場合、FAR（他人受入率、誤認識率とも呼ばれ、ある人物を別の人物と誤認する確率）とFRR（本人拒否率、その人物はデータベースに登録されているが、比較類似度が予測できない値に達すること）に基づくDET曲線を判断の基準として使用します。

理想的には、FAR と FRR の両方が低いほど良いです。ただし、2 つの指標はシーソーのようなものです。通常、一方が減少するともう一方が増加するため、2 つの指標のバランスをとる必要があります。一般的に、FAR が通常の市場レベルに達すると、FRR が低くなるほど、顔認識アルゴリズムのパフォーマンスが向上すると考えられています。

実際のテストでは、開発者は対応するプロジェクトに基づいて対応するテスト セットを確立する必要があります。収集シナリオは実際の使用シナリオに近い必要があります。性別、肌の色、髪型などの要素を含む認識対象のすべての属性を可能な限りカバーする必要があります。属性の重みは、評価の焦点に応じて割り当てる必要があります。テスト セット自体も、テスト結果の信頼性を確保するために十分な容量を持っている必要があります。

また、共通の評価指標がいくつかあります。顔検出アルゴリズムの品質を評価する際には、次の4つの指標を考慮します。他の条件が変更されていない場合、再現率が高いほど良く、検出漏れ率と誤検出率が低いほど良く、IOUの重複領域が大きいほど効果があります。ただし、効率を向上させるために、設定されたしきい値を超える顔は直接マージして同じ顔フレームと見なすことができます。

再現率 = 正しく検出された顔の数 / 注釈が付けられた顔の総数

検出漏れ率 = 1 - 正しく検出された顔の数 / 注釈が付けられた顔の総数

誤検出率 = 誤って検出された顔の数 / 注釈が付けられた顔の総数

IOU = 検出された顔フレームA / 実際の顔フレームB

生体検知アルゴリズムを評価する際、実在人物誤検知率と偽人物誤検知率を考慮します。他の条件が変わらない場合、低いほど良いです。

誤検出率 = 誤検出数 / 生体検出総数

プロテーゼの誤検出率 = 誤検出数 / 生体検出総数

多くの開発者は、関連するテストの原則と方法を理解した後でも、アルゴリズムを適切に選択することが難しいと感じています。これは、専用の収集サイトと人員の不足、大規模なテスト セットを収集できないなどの実際的な条件によって制限されることがよくあります。

アルゴリズムの評価を迅速に行う必要がある場合は、現地の状況に合わせて簡単な条件を作成できます。たとえば、会場のレンタルや建設コストを節約するために、使用シナリオにできるだけ近い会場を選択し、会社の従業員をデータ収集者として招待することができます。シンプルであるにもかかわらず、テスト セットのサイズは原則としてすべての属性をカバーする必要があります。

[アルゴリズムの評価にはソフトウェアとハ​​ードウェアの統合が必要]

前述のように、素材を収集する際には対象デバイスを選択するのが最適です。適切なハードウェアとカメラモジュールを使用して収集すると、素材セットの最適化に役立ちます。実際、プロジェクトの開発プロセスでは、アルゴリズムとハードウェアの統合に長い時間がかかることが多く、これが製品の実装を妨げる重要な要因となることがよくあります。

このため、ArcSoft Open Platform は、サポートソフトウェアとハ​​ードウェアのリソースドッキングプラットフォームである産業チェーン市場を提供し、需要家が選択できる豊富なカメラモジュール、開発ボード、完全なマシン、および業界ソリューションを提供します。同時に、オンラインで発売されるすべての製品は、ArcSoft のビジョン開発プラットフォームによって認証および最適化されており、ソフトウェアとハ​​ードウェアの統合最適化を実現し、効率的でスムーズなアルゴリズムの動作を保証し、製品の発売時間を大幅に短縮します。

「顔認識アルゴリズムテスト」トレーニングコースを修了したい開発者は、「Learn Face Recognition from Scratch」を検索するか、ArcSoft Vision Open Platform 公式サイトのオープンコースページにログインして閲覧してください。