顔認識システムにおける「バイアス」のジレンマとは何ですか?ジェフ・ディーンは、この若者のスピーチに思わず賛同した。

AIアルゴリズムの偏り（性別、人種など）は海外ではもはや新しい話題ではありません。少し前には、インターネット上の1本の動画が世間の間で大規模な議論を引き起こしました。マイクロソフトの若手研究者が個人的なオンラインメッセージで顔認識システムモデルの偏りについて議論し、ジェフ・ディーン氏を含む専門家の共感を呼んだ。彼女は何て言ったの？

[[256625]]

この話は、社会党のアレクサンドリア・オカシオ＝コルテス下院議員が、数学に基づくアルゴリズムは本質的に人種差別的であると主張するインターネット上のビデオから始まった。この投稿はすぐに一般の人々から反応を受け、その中にはアンナ・S・ロスという研究者も含まれていました。

元の投稿はこれまでに 2.8k 回転送され、7.2k を超えるコメントが寄せられています。

直接リンク: https://twitter.com/RealSaavedra/status/1087627739861897216

彼女の個人ホームページによると、アンナ・S・ロスはマイクロソフトの技術研究部門の研究者で、マイクロソフトのプロジェクト・オックスフォードに取り組んでいる。これは、API と SDK を組み合わせて、開発者がコンピューター ビジョン、音声検出、言語理解におけるマイクロソフト リサーチと Bing の最先端の研究を簡単に活用して改革できるようにするプロジェクトである。さらに、彼女はビジネスインサイダー誌の「30歳以下のテクノロジー分野で影響力のある女性30人」の一人に選ばれました。

彼女は自身の個人掲示板に29件もの短いコメントを続けて投稿し、顔認識システムのモデルが偏りを生み出す理由と、それに対する解決策や既存の問題点を簡潔にまとめた。内容がわかりやすく、要点を押さえているため、Google Brain のリーダーである Jeff Dean 氏も推奨せずにはいられませんでした。

次に、アンナ・S・ロス氏の発言を見てみましょう。

データの偏りについて

アレクサンドリア・オカシオ・コルテス氏の言うことは全く正しい。顔認識の商用開発（当時は偏ったモデルを開発するという、やや偏った取り組みでした）に携わった経験から、AI システムが偏りを持つ可能性があるという具体的かつ信頼できる例が最終的に見つかるのではないかと思います。 インターネット上の専門家は、顔認識システムが偏っているのはデータが歪んでいるためだと説明している。

そこで、次のことについてお話ししたいと思います。

（１）それらの（偏った）データはどこから来るのでしょうか？

（２）偏差測定基準の選択も重要である。

（ここで強調しておきたいのは、私が話しているのは業界で起こっていること全般についてであり、私の雇用主の特定の事件についてではないということです。つまり、これらは私の個人的な意見であり、私の雇用主の立場を代表するものではありません。）

最先端の顔認識システムでは、「非常に大規模な」データセットでのトレーニングが必要です。モデルをトレーニングするには、同じ人物の写真を複数枚取得する必要があります。たとえば、現在公開されているデータセットの 1 つである UW の MF2 には、672K の人事情報と 470 万枚の写真が含まれています。

関連論文リンク:

https://homes.cs.washington.edu/~kemelmi/ms.pdf

これらのデータは主にインターネットから取得されます。たとえば、MF2 データセットのデータは Flickr から取得されます。別のデータセットである MS-Celeb-1M (https://www.msceleb.org) には、インターネットから「クロール」された 1,000 万枚の画像が含まれています。 「公共のインターネット上で流通している写真」が「世界中のすべての人類」を完全に代表するわけではないことを強調することが重要です。

しかし、世界中のインターネット アクセスは均等に分散されているわけではありません。研究者でも同じです。おそらく、まだ英語の Web リソース/ビデオをスクレイピングしているのでしょう (同じ人物の写真を複数取得する必要があることに注意してください)。そこで質問ですが、Flickr を使用するのはどのような人たちでしょうか?マイクロソフトの著名人データセット「MS Celeb」に関する論文では、データセット内の100万人の著名人のうち4分の3以上が女性であると述べられている。では、オンラインでどちらの性別がより有名かを判断するとき、私たちはアレクサンドリア・オカシオ＝コルテス氏が言う「自動化された仮定」の罠に陥ってしまうのだろうか？このため、データ セットの構築を担当する人々は通常、さまざまな手段を通じて調整を行います。

非常に「コストのかかる」選択肢は、「現実世界」に出て、有料の方法でデータを収集することです。しかし、これを「正しく」（データ収集の場所など）かつ「倫理的に」（相手の同意が得られているか、正当な補償など）行うことは容易ではありません。ただし、これらの詳細によって結果に「大きな」違いが生じる可能性があります。

もちろん、他のデータソースを使用することもできます。たとえば、容疑者の写真を利用することを考えた人もいました (ああ! データセットと注釈に影響を与える根深い社会的偏見のもう 1 つの例です)。私の知る限り、米国以外の監視国家の国内企業も、そうした大規模な政府データセットにアクセスできる可能性がある。 (もちろん、FB であれば、より分散されたデータにもアクセスできます。)

データセットは、単にデータを保存して注釈を付ける場所ではありません。多くのデータセットでは、通常はクラウドソーシング（つまり、オンライン プラットフォームを通じてクラウドソーサーに小額ずつ支払う）を通じて、人間による手動の注釈付けが必要になります。クラウドソーシングには人間の干渉要因が多すぎます。たとえば、クラウドソーサーの文化的背景は何でしょうか?彼らは実際に主観的な質問をされているのでしょうか? （年齢、気分など）

データ偏差測定について

今日、偏ったデータ入力は偏ったモデルにつながるということに私たちは皆同意しています。実際、トレーニング データの配布の問題を解決するための優れた技術的手法はすでに数多くあります。

一般的に、モデルのバイアスとパフォーマンスを評価するには、それを測定する方法を見つける必要があります。そうしないと、モデルの逸脱の原因と範囲がわかりません。たとえば、モデルがグループやサブグループでどの程度うまく機能するかをテストできるように、さまざまな特性を持つ人々を含むラベル付きデータセットを作成する場合があります。

バイアス測定には、重要な問題や社会科学レベル、モデルの影響を受ける可能性のある人口など、これらの人々の視点や見解を取り入れる必要があります。たとえば、「眼鏡をかけていると、モデルのパフォーマンスの精度が低くなります」という表現が、「有色人種だと、モデルのパフォーマンスが悪くなります」という表現よりも害が少ないことには、社会的な理由があります。

測定対象を決定し、測定データセットを構築し、関連する標準を公開することは、関連するシステムを構築する際の「賢明な」選択です。したがって、アレクサンドリア・オカシオ＝コルテス氏が、アルゴリズムが依然として人間によって制御されているため、人種的不公正がモデルによって広められていると言うとき、彼女は完全に正しい。

過去から現在に至るまで、人々はそうすることで生じる可能性のある深刻な結果を何度も記録してきました。詳細については、http://gendershades.org/ を参照してください。これは、これらの問題に対処するために活動している多様なグループの人々にとって強力な議論を提供します。 (注: これは国際化と多様性も意味します。たとえば、コンピューター ビジョンの分野での作業のほとんどは中国で作成され、消費されています。したがって、これらのトピックには国際的な視点があります。)

関連ソリューション

アレクサンドリア・オカシオ＝コルテス氏が巻き起こした議論に戻りましょう。彼女が私たちに与えてくれたインスピレーションの一つは、AI 倫理は単に「偏見を減らすための技術的な方法」や「応用倫理」ではないということです。むしろ、バイアスがモデルに入り込んだり、モデルが不適切な方法で使用されたり、フィードバック ループによってバイアスが強化されたりすることで、新たな問題が発生します。

私は、ドイツの法執行機関が亡命申請を調査しているというアトランティック誌の記事にあるこの引用をよく思い出します。これらの確率システムのユーザーが、最終的にシステムのパフォーマンスを人間ではなく「神」のおかげだとみなすと、何が起こるでしょうか?

記事リンク:

https://www.theatlantic.com/magazine/archive/2018/04/the-refugee-detectives/554090/

「BAMFの顔認識ソフトウェアと、それがマッピングした膨大なデータベースは、今では天の恵みのようだ」と、ある従業員は敬意を込めて語った。 「それがうまくいかなかったことは一度も見たことがありません。」

このビデオの全体的な背景を理解していただくために、顔認識機能によって生じる可能性のある深刻な結果の実際の例をいくつか挙げてみました。しかし、これらのアイデアは実際には学界と一般の支持から生まれたものです。現在、この分野では非常に多くの学術研究が行われており、そこから洞察に満ちたアイデアが生まれています。私たちは幸運にも、@timnitGebru、@jovialjoy、@hannawallach、@mathbabedotorg、@jennwvaughan のような専門家から学ぶことができます。

学術界や社会活動家の中には、人工知能に対する偏見の影響を記録し、理解し、軽減し、それによって人工知能が社会に与える悪影響を軽減する方法についてのアイデアを提案している人々も多くいます。これらのアイデアは、http://gendershades.org/（業界の実践と一般の認識に大きな影響を与えています）や、https://fatconference.org/index.htmlなどの場所で見つけることができます。

私はこれらの言葉でこの意見を締めくくります。顔認識の研究に幅広く携わっていた者として、私が取り組んでいたシステムの重大な問題（およびそれを解決するための独創的な方法）を発見してくれたこの分野の専門家たちに感謝しています。