Meta が AI の公平性を評価するための FACET データセットをリリース

Meta は 9 月 4 日に、研究者がコンピューター ビジョン モデルのバイアスを確認するのに役立つことを目的とした、FACET と呼ばれるオープン ソース データセットをリリースしました。

Metaはブログ投稿で、現在のベンチマーク方法を使用してAIの公平性を評価することは難しいと詳しく説明した。 Meta 氏によると、FACET は、研究者がさまざまな種類のコンピューター ビジョン モデルを監査するために使用できる大規模な評価データセットを提供することで、このタスクを簡素化します。

「データセットは、5万人の32,000枚の画像で構成されており、専門の人間の注釈者によって、性別の表現、年齢層の認識などの人口統計学的属性、肌の色、髪型などの追加の身体的属性、バスケットボール選手、医師などの人物関連カテゴリでラベル付けされています」とMetaの研究者はブログ投稿で詳しく説明しています。「FACETには、SA-1Bの69,000枚のマスクの人物、髪、衣服のラベルも含まれています。」

研究者は、FACET でコンピューター ビジョン モデルに写真を処理させることにより、公平性の問題を調べることができます。そこから分析を実行し、モデルの結果の精度が写真ごとに異なるかどうかを判断できます。このような精度のばらつきは、AI が偏っていることの兆候である可能性があります。

研究者たちはこのデータセットを使って、類似した画像をグループ化する分類作業に最適化されたニューラル ネットワークの偏りを検出することができます。さらに、物体検出モデルの評価も容易になります。このモデルは、写真内の興味のあるアイテムを自動的に検出するように設計されています。

FACET は、インスタンス セグメンテーションとビジュアル グラウンディングという 2 つの特殊なオブジェクト検出タスクを実行する AI アプリケーションも監査できます。インスタンス セグメンテーションは、写真内の興味のある項目を、その周囲にボックスを描画するなどして強調表示するプロセスです。一方、ビジュアル ベース モデルは、ユーザーが自然言語で説明するオブジェクトを写真からスキャンするニューラル ネットワークです。

「FACETは研究評価目的のみを想定しており、トレーニングには使用できませんが、データセットとデータセットエクスプローラーをリリースする目的は、FACETをコンピュータービジョンモデルの標準的な公平性評価ベンチマークにすることです」とMetaの研究者は述べています。