総合異常検知の新たな夜明け：華中科技大学などがGPT-4Vの総合異常検知性能を明らかに

異常検出タスクは、通常のデータ分布から大きく逸脱した外れ値を識別することを目的としており、産業検査、医療診断、ビデオ監視、不正検出など多くの分野で重要な役割を果たします。従来の異常検出方法は、主に、陽性サンプルと異常サンプルを区別するために、正規データ分布を記述することに依存しています。ただし、実際のアプリケーションでは、異常検出では、「異常とは何か」を深く理解するために、データの高レベルのセマンティクスを理解することも必要です。

より正確でインテリジェントな異常検出を実現するには、次の重要なステップに重点を置く必要があります。

1. さまざまなデータの種類とカテゴリを理解する

さまざまな分野のデータセットには、画像、ビデオ、ポイントクラウド、時系列など、さまざまなデータタイプとカテゴリが含まれています。データの種類ごとに異なる異常検出アプローチが必要になる場合があり、オブジェクト カテゴリごとに異なる正常性の基準に対応する可能性があるため、データの多様性を深く理解することが重要です。

2. 正常状態の基準を決定する

データの種類とカテゴリを理解したら、正規性の基準を推測する必要があります。これには、通常のデータ内の特徴とパターンを正しく識別できるようにするために、データ セマンティクスに関する高度な理解が必要です。

3. データの適合性を評価する

最後に、提供されたデータが確立された正規データ分布に準拠しているかどうかを評価する必要があります。これらのデータ分布からの逸脱は異常として分類できます。

最近、大規模マルチモーダルモデル（LMM）が急速に発展しており、その中でもOpenAIが最近リリースしたGPT-4V（ision）は最高のパフォーマンスを発揮しています。強力なマルチモーダル認識機能を備えており、シーン理解や画像生成などの複数のタスクで優れたパフォーマンスを達成しています。 LMM の出現は、一般的な異常検出の研究に新たなパラダイムと新たな機会をもたらすと考えています。

一般的な異常検出における GPT-4V のパフォーマンスを評価するために、華中科技大学、ミシガン大学、トロント大学の研究者が共同で、4 つのデータ モダリティと 9 つの異常検出タスクを含む 15 の異常検出データセットで GPT-4V を包括的にテストする研究を実施しました。具体的には、テストデータセットには、画像、ポイントクラウド、ビデオ、時系列、その他のモダリティが含まれ、産業用画像異常検出/位置特定、医療用画像異常検出/位置特定、ポイントクラウド異常検出、論理異常検出、歩行者異常検出、交通異常検出、時系列異常検出を含む 9 つの異常検出タスクをカバーしています。

• 論文アドレス: https://arxiv.org/pdf/2311.02782.pdf
• プロジェクトアドレス: https://github.com/caoyunkang/GPT4V-for-Generic-Anomaly-Detection

観察と分析

この論文では、複数のモダリティとドメインからの異常検出データセットに対する GPT4V のパフォーマンスをテストします。 GPT4V は、まずマルチモーダルな一般的な異常検出機能を獲得したと考えられます。具体的には、GPT-4V は多様なデータの種類やカテゴリを効果的に理解できるだけでなく、通常のデータの空間分布をモデル化し、テストデータの分布を評価することもできます。

さらに、GPT-4V は異常検出タスクにおいて以下の機能を備えています。

GPT-4Vは、ゼロ/単一サンプルでマルチモーダルおよびマルチドメインの異常検出タスクを処理できます。

マルチモーダル異常検出: GPT-4V は、マルチモーダル データ内の異常検出タスクを効果的に処理できます。たとえば、画像、ポイント クラウド、MRI、X 線などのデータ モダリティを認識する際に優れた異常検出機能が実証されています。マルチモーダル異常検出機能により、GPT-4V は従来のシングルモーダル異常検出器の限界を打ち破り、現実世界で複雑な異常検出タスクを完了することができます。

マルチドメイン異常検出: GPT-4V は、産業、医療、歩行者、交通、時系列異常検出など、複数の分野で優れています。

ゼロ/単一サンプルでの異常検出: GPT-4V は、ゼロサンプルと単一サンプル (つまり、通常の参照画像が提供される) の両方のタスクで優れたパフォーマンスを発揮します。参照画像がない場合でも、GPT-4V は言語の手がかりを効果的に使用して異常を検出できます。通常の参照画像が提供されると、GPT-4V は通常のテキスト書式設定の標準を通常の画像コンテンツとより適切に一致させることができ、異常検出の精度がさらに向上します。

GPT-4Vは、異常検出タスクに必要なグローバルなセマンティクスと細粒度のセマンティクスの両方を理解できます。

グローバルなセマンティクス理解能力: GPT-4V のグローバルなセマンティクスを理解する能力は、全体的な異常なパターンや動作を識別する能力に反映されます。例えば、交通異常検知では、通常の交通の流れと異常なイベントを区別し、異常検知の詳細な説明を提供することができます。このグローバルな理解により、オープンワールド内の正規分布から外れた外れ値を識別するのに適しています。

きめ細かなセマンティクス理解: GPT-4V のきめ細かなセマンティクスを理解する能力は、場合によっては優れており、異常を検出するだけでなく、複雑なデータ内の異常を正確に特定することもできます。たとえば、工業用画像の異常検出では、傾いたろうそくの芯やボトルの口の周りのわずかな傷などの詳細を正確に特定できます。このきめ細かな理解により、複雑なデータ内の微妙な異常を検出する能力が強化され、全体的な検出が向上します。

GPT-4Vは異常検出について自動的に推論する機能を備えている

GPT-4V は、複雑な標準基準に基づいてサブタスクを自動的に推論および分割できます。たとえば、論理的異常検出では、GPT-4V は指定された通常の画像基準を理解し、それをサブタスクに分割して、画像の内容が指定された内容を満たしているかどうかを順番にチェックします。この固有の推論機能により、異常検出結果の解釈可能性が向上し、一般的な異常検出の問題を理解して解決するための効果的なツールになります。

GPT-4Vはヒントを追加することで異常検出機能をさらに強化することができます

評価結果によると、より多くのテキストと画像情報を提供すると、GPT-4V の異常検出パフォーマンスにプラスの影響を与えることがわかりました。カテゴリ情報、人間の専門知識、参照画像を追加することで、モデルはより多くのコンテキスト情報を取得し、異常検出のパフォーマンスが大幅に向上します。この機能により、ユーザーは関連する補足情報を提供することで、モデルのパフォーマンスを微調整し、強化することができます。

GPT-4Vは実用的には限界があるかもしれないが、それでも可能性は残っている。

このレポートでは、GPT-4V が実際のアプリケーションにおいて依然としていくつかの課題に直面していることがわかりました。たとえば、GPT-4V は産業用アプリケーションの複雑なシーンの処理に困難が生じ、誤検出が発生する可能性があります。医療分野における倫理的制約により、腫瘍などの異常な状態を判断する際にも保守的になります。しかし、さまざまな異常検出タスクにおいて、まだ潜在能力があると考えています。これらの課題に効果的に対処するには、さらなる機能強化、専門的な微調整、または補完的な手法が必要になる場合があります。要約すると、GPT-4V は一般的な異常検出において明らかな可能性を秘めており、異常検出タスクのための高レベル認識の時代を先導すると期待されています。

アプリケーションシナリオ表示

産業用画像異常検出

工業用画像における異常検出は製品の品​​質維持を目的としており、製造プロセスの重要な部分です。近年、この分野では多くのアプローチが盛んになってきており、その中には任意の製品カテゴリーに適用できる統一モデルの開発に重点を置いたものもあります。この研究では、さまざまな種類の情報でテストし、そのパフォーマンスと限界を実証するなど、GPT-4V を産業用画像における異常検出に適用することを検討します。

ボトルやキャンドルなどの工業的なイメージからいくつかの例を選択しました。 GPT-4V は、単純な言語の手がかりのみを使用しても、これらの画像内の異常を効果的に識別することができ、そのパワーと汎用性を実証しました。さらに、GPT-4V は、予想される異常だけでなく、微細構造の異常も検出できます。回路基板の異常検出などの複雑なケースでは、GPT-4V は画像内の詳細を識別できますが、一定の制限もあります。全体的に、GPT-4V は画像コンテキストの理解とカテゴリ固有の異常の理解において優れたパフォーマンスを発揮します。

産業画像における異常な位置

産業用画像異常検出とは異なり、産業用画像異常位置特定は、異常の位置を正確に特定することを目的としています。この目標を達成するために、画像とマスクのペアを使用して GPT-4V にキューイングする SoM (Set-of-mark) と同様のアプローチを採用します。さまざまなシナリオで GPT-4V のパフォーマンスを調査し、きめ細かい異常の位置特定におけるその機能と限界を示します。

曲がったワイヤー、ナットの穴の位置特定、回路基板の異常の識別など、産業用画像における異常箇所特定における GPT-4V のパフォーマンスを実証します。 GPT-4V は、場合によっては異常な場所を正確に特定できます。たとえば、ナットの穴を効果的に特定できます。また、視覚キューイング技術を組み合わせることで、GPT-4V は異常な場所の問題をマスク分類問題に変換し、問題の複雑さを効果的に軽減し、位置決め精度を向上させます。したがって、視覚キューイング技術と GPT-4V を組み合わせることで、産業用画像における異常位置の問題を効果的に解決できます。

点群異常検出

点群異常検出は産業分野で重要な役割を果たします。 CPMF は、画像ベースのモデルを活用してポイント クラウド異常検出のパフォーマンスを向上させるために、ポイント クラウドを深度画像に変換する新しい方法を提案します。 GPT-4V がポイント クラウドの異常検出タスクを処理できるように、CPMF を使用してポイント クラウドを深度画像に変換します。

バッグループの小さな突起の識別、ロープの異常の検出、アーティファクトの異常の検出など、ポイントクラウド異常検出における GPT-4V のパフォーマンスを実証します。 GPT-4V はこれらの異常を識別するのに効果的ですが、特にレンダリング品質が低い場合には制限があります。全体的に、GPT-4V はポイント クラウドの異常検出において潜在能力を示しています。

論理的異常検出

論理的異常検出タスクは、MVTec LOCO データセットによって提案されています。このタスクは通常、組み立て中に実行され、個々のコンポーネントが正しく組み合わされているかどうかを識別する必要があります。既存の論理的異常検出方法は通常、視覚的なグローバルとローカルの対応に依存していますが、本質的に画像の内容を完全に理解しているわけではありません。 GPT-4V の論理的異常検出への応用を研究し、画像コンテンツを理解する能力を調査しました。

複雑な論理ルールの認識、論理異常の検出、詳細な説明の提供など、論理異常検出における GPT-4V のパフォーマンスを実証します。 GPT-4V はほとんどの場合、論理的な異常を正確に識別できますが、特に詳細に関しては、一部の複雑な状況では一定の制限があります。ただし、複数の対話ターンと特定の言語プロンプトを組み合わせると、これらの状況での GPT-4V のパフォーマンスが大幅に向上すると予想されます。

医療画像における異常検出

医用画像の異常検出は、医用画像処理の分野における重要なタスクであり、予想されるデータ分布に適合しない外れ値を識別することを目的としています。私たちは、さまざまな病気や画像診断法を含む医療画像における異常検出への GPT-4V の応用を研究しました。 GPT-4V の一般化能力をテストし、医療画像における異常検出におけるそのパフォーマンスと限界を明らかにします。

さまざまな病気や画像診断法の異常画像の識別など、医療画像の異常検出における GPT-4V のパフォーマンスを実証します。 GPT-4V は、簡単な言語プロンプトが提供される場合でも、異常を効果的に識別し、詳細な説明を提供することができます。さらに、疾患情報や専門知識などのより多くの情報を導入することで、GPT-4V のパフォーマンスをさらに向上させることができます。ただし、GPT-4V では、場合によっては異常を誤検出する可能性があるため、最終的な判断は医師に委ねられています。

医療画像における異常部位の特定

医療上の異常を検出した後は、さらに医療画像内で病変などの異常箇所を正確に特定する必要があります。医療画像における異常の正確な位置特定は、臨床医が病状の範囲と性質を効果的に理解するのに役立ちます。しかし、実際の医療画像の異常部位特定タスクにおいて、GPT-4V を使用して異常マスクを直接予測することは非常に困難です。 SoM に触発されて、視覚的な手がかりに基づいて異常を特定する GPT-4V モデルの能力をテストしたいと考えています。

SoM と組み合わせることで、医療画像内の可能性のある異常を特定します。 GPT-4V は、画像内の視覚的な手がかりに導かれて、ランドマークの周囲の領域を学習して説明する傾向があります。識別や位置特定が容易なケースでは、GPT-4V は異常領域と背景を明確に区別できます。しかし、合成異常の 1 つのケースでは、関心領域が背景と類似したテクスチャと形状を持っていたため、GPT4V の判断に偏りが生じました。

トラフィック検出

交通検知は、都市交通管理や自動運転の分野における重要なタスクであり、交通状況を監視し、交通違反や危険な状況を検出することを目的としています。車両認識、交通標識認識、交通違反検出などの交通検出における GPT-4V の応用を研究しました。さまざまなシナリオで GPT-4V のパフォーマンスをテストし、その可能性と限界を示します。

さまざまな種類の車両の認識、さまざまな交通標識の検出、交通違反の識別など、交通検出における GPT-4V のパフォーマンスを実証します。 GPT-4V は、特に標準的なシナリオにおいて、これらのタスクを効果的に処理できます。ただし、複雑な交通環境では、複雑な状況を理解して解釈する必要があるため、パフォーマンスが低下する可能性があります。

歩行者検知

歩行者検出は、自動運転、セキュリティ監視、スマートシティなどの分野における重要なタスクであり、画像やビデオ内の歩行者を識別することを目的としています。 GPT-4V の歩行者検出への応用を研究し、歩行者の認識能力とパフォーマンスをテストしました。

さまざまな背景の歩行者を検出する機能を含む、歩行者検出における GPT-4V のパフォーマンスを実証します。 GPT-4V は通常、歩行者を識別できますが、複雑な背景ではエラーが発生する可能性があります。専用の歩行者検出モデルと比較するとパフォーマンスは比較的劣るかもしれませんが、より言語的な説明を提供できるという利点があります。

タイミング検出

時系列検出は、センサー データ、金融時系列などの時系列データに関連する異常検出タスクです。 GPT-4V の時系列検出への応用を研究し、時系列の異常を分析および検出する能力をテストしました。

センサーデータの異常や金融取引データの異常などの検出を含む、時系列検出における GPT-4V のパフォーマンスを実証します。 GPT-4V は時系列データの分析に優れており、さまざまな種類の異常を識別できます。ただし、時系列検出には多くの場合、より多くのドメイン専門知識が必要になるため、このような場合には GPT-4V を専門家のアドバイスと組み合わせる必要がある場合があることに注意してください。

結論は

GPT-4V は、産業用画像異常検出、産業用画像異常位置特定、ポイント クラウド異常検出、論理異常検出、医療用画像異常検出、交通検出、歩行者検出、時系列検出などの分野で優れた可能性を実証しています。マルチモーダルデータを理解し、画像コンテンツを効果的に把握し、多くの場合、異常を正確に検出して説明することができます。ただし、複雑なシナリオでは、GPT-4V の異常検出機能には依然として一定の制限があります。要約すると、GPT-4V は一般的な異常検出のための新しい研究パラダイムを提供しますが、その実用化にはさらなる研究と改善が必要です。