Googleが謝罪：Vision AIが人種差別的な結果を生成

新型コロナウイルスと闘っている多くの国々は、駅や空港で国民に体温検査を受けるよう命じている。この状況で必要な機器: ハンドヘルド温度計は、特殊な機器から一般的な機器になりました。

「コンピューター ビジョン」は、画像に自動的にラベルを付けることに重点を置いた AI の分野です。ほとんどのコンピューター ビジョン システムは、ハンドヘルド温度計の画像がほとんど含まれないデータセットを使用してトレーニングされます。その結果、そのようなデバイスに適切なラベルを付けることができません。

ツイッターで話題になった実験で、非営利の研究・擁護団体「アルゴリズムウォッチ」は、コンピュータービジョンサービス「グーグル・ビジョン・クラウド」が体温計を持った肌の色の濃い人の画像を「銃」とラベル付けし、肌の色の薄い人の同様の画像には「電子機器」とラベル付けしていることを実証した。その後の実験では、体温計を持った黒い肌の手の画像は「銃」と分類されたが、同じ画像に薄いオレンジ色の模様を重ねると、コンピューターはそれを「単眼望遠鏡」と分類した。

4 月 3 日にオーバーレイを追加した後、Google Vision Cloud はまったく異なるラベルを生成しました。

Google はその後アルゴリズムを更新しました。 4 月 6 日以降、「銃器」ラベルは返されなくなります。

グーグルの製品戦略および運営責任者であるトレイシー・フレイ氏は声明で次のように述べた。「この結果は受け入れられません。この結果と人種差別との関連性を認識することが重要であり、これにより生じたあらゆる傷について深くお詫び申し上げます。」

「調査の結果、一部の物体が誤って銃として分類されていることが判明しました。こうした結果は、さまざまな肌の色にわたって発生しました」とフレイ氏は述べた。「画像に銃が写っている場合に、より正確に分類結果を返すよう、信頼度スコアを調整しました」。また、グーグルは「肌の色に関する体系的な偏りの証拠は見つからなかった」と付け加えた。

オランダのデルフト工科大学の博士課程の学生で、自動化システムにおける偏見というテーマに焦点を当てているアガテ・バライン氏も同意する。彼女はグーグルのサービスでいくつかの画像をテストし、それらの例は「統計的な偏りのない不正確な例」である可能性が高いと結論付けた。より厳密なテストが行​​われていないため、システムが偏っていると言うことはできないと彼女は書いている。

4月6日、肌の黒い手の結果が更新されました

身元調査

コンピュータービジョンが肌の色に基づいて異なる結果を生成する理由を理解するのは難しくありません。このようなシステムは、人間が苦労してラベル付けした何百万もの画像（たとえば、ロボットではないことを証明するために車や橋が描かれたボックスをクリックするときと同じ作業）を処理し、そこから自動的に推論を導き出します。

コンピュータービジョンは、人間の感覚で物体を認識することはできません。トレーニング データ内の関連パターンに依存します。研究によれば、雪を背景に犬を撮影すると、コンピュータービジョンは犬をオオカミとして分類するそうです。牛が浜辺に立っていると、犬としてマークされます。

トレーニングデータセットでは、暴力を描写したシーンに肌の黒い人物がより頻繁に登場する可能性が高いため、肌の黒い手の画像に対して自動推論を実行するコンピューターは、その画像を暴力に関連する単語でラベル付けする可能性がはるかに高くなります。

同様のバイアスは他のコンピューター ビジョン システムでも確認されています。 12月、フェイスブックはブラジルのインスタグラムユーザーに対し、画像に武器が含まれているという理由で広告掲載を拒否した。実際、その写真には少年とF1ドライバーのルイス・ハミルトンだけが写っていた。二人とも肌が黒いです。

実際の影響

誤ったラベル付けは現実世界に影響を与える可能性があります。ニューヨーク大学AIナウ研究所の技術研究員でコンピュータービジョンの専門家であるデボラ・ラジ氏は電子メールで、米国では多数の学校、コンサートホール、アパート、スーパーマーケットで武器認識ツールが使用されていると述べた。ヨーロッパでは、一部の警察がコンピュータービジョン技術も使用する自動監視装置を導入している。これらのシステムのほとんどは Google Vision Cloud に似ているため、「同じ偏見を共有する可能性が高い」と Raji 氏は書いている。したがって、肌の色が濃い人は、たとえ手持ち式体温計のような無害なものを持っていたとしても、危険だと判断される可能性が高くなる。

インクルージョンに重点を置く技術専門家のコミュニティであるFrauenLoopの創設者兼CEOであるナキーマ・ステッフルバウアー氏は、コンピュータービジョンソフトウェアの偏見は肌の色が濃い人々の生活に「間違いなく」影響を与える可能性があると電子メールで述べた。彼女は、女性や肌の色が濃い人は歴史的に誤認率が高いため、監視用コンピュータービジョンの普及は女性や肌の色が濃い人に不釣り合いなほど大きな影響を与えるだろうと付け加えた。

ステッフルバウアー氏は、顔認識システムのエラーによりアップルストアで窃盗の罪で誤って告発された10代のウスマン・バーさんや、顔が誤って識別されたために2019年のスリランカ爆破事件への関与の罪で誤って告発されたアマラ・K・マジードさんの例を挙げた。シュテッフルバウアー氏は、効果的な規制がなければ、人々の集団全体が特定の建物や地域を避けるようになるだろうと予測している。偏ったコンピュータービジョンがさらに広く導入されれば、個人の行動が事実上制限される可能性があると彼女は付け加えた。

段階的な変化

グーグル幹部のフレイ氏は声明の中で、公平性はグーグルの「中核となるAI原則」の一つであり、グーグルは「機械学習の開発を前進させることに注力しており、公平性は機械学習の成功の重要な尺度である」と述べた。

しかし、Google の画像認識ツールはこれまでにも人種的に偏った結果を返していたことがある。 2015年、Googleフォトは肌の色が濃い2人を「ゴリラ」と分類した。 Googleは後に謝罪したが、Wired誌によると、問題は解決していないという。代わりに、ゴリラの画像に対しても「ゴリラ」というラベルを返すのをやめた。

AI Now Instituteのデボラ・ラジ氏によると、テクノロジー企業が依然として人種的偏見のある製品を開発している理由は少なくとも2つあるという。まず、彼らのチームは主に白人男性で構成されているため、開発段階で他のグループに対する差別が発見され、対処される可能性は低くなります。第二に、「多くの企業は、システムの設計時に発生するこの種の障害をテストし、報告するための正式なプロセスの開発をようやく開始したばかりだ」と彼女は書いている。彼女はさらにこう付け加えた。「外部への説明責任は、現時点ではこれらのエンジニアリング チームに責任を負わせるための主な方法です。」

「残念ながら、誰かが苦情を言う頃には、多くの人が偏ったモデルによって不釣り合いな影響を受けている可能性がある。」