Nature: AI はなぜいつも差別的なのか?

[[241142]]

ビッグデータダイジェスト制作

編集者: Hu Jia、Wang Yiding、Xiao Qi、CoolBoy

Google 翻訳を使用してスペイン語のニュース記事を英語に翻訳すると、女性に言及するフレーズは「彼は言った」または「彼は書いた」と翻訳されることがよくあります。

大量の自然言語データを処理および分析するために一般的に使用される単語埋め込みアルゴリズムは、通常、ヨーロッパ人やアメリカ人の名前を好ましい文字として予測し、アフリカ系アメリカ人の名前を好ましくない文字として予測します。

これらは、特定の人々のグループを差別する AI アプリケーションの例のほんの一部であり、検出されていない例がさらに多数あります。

多くの学者が指摘しているように、偏った意思決定は AI に特有のものではありませんが、AI の影響が徐々に拡大するにつれて、この問題の解決が特に重要になります。

実際、偏見の問題が広まっているということは、体系的な解決策が必要であることを意味しており、以下にいくつかの可能な戦略を概説します。

偏ったデータ

[[241143]]

学術界であれ産業界であれ、出版物やメディアなどの公開出版物やレポートから判断すると、コンピューター科学者は、データの収集、データ処理、およびデータ編成に比較的注意を払わず、より複雑なアルゴリズムをトレーニングすることで評価を得る傾向があります。

AI バイアスの主な原因はトレーニング データです。ほとんどの機械学習タスクは、大規模なラベル付きデータセットでトレーニングされます。たとえば、画像分類用のディープ ニューラル ネットワークは通常、1,400 万枚を超える注釈付き画像のコレクションを持つ ImageNet でトレーニングされます。

自然言語処理では、標準的なアルゴリズムは通常、数十億の単語を含むコーパスでトレーニングされます。研究者は通常、特定のクエリキーワードを使用して Google 画像や Google ニュースなどの Web ページをクロールするか、Wikipedia などのより簡単にアクセスできるデータ ソースからの情報を統合してデータセットを構築することによってデータを収集します。

これらのデータセットは通常、大学院生や Amazon Mechanical Turk などのクラウドソーシング プラットフォームによって注釈が付けられます。

これらの処理方法により、無意識のうちに性別、人種、文化的な偏見がデータに導入される可能性があります。

通常、データでは一部のグループが過剰に代表され、他のグループは過小に代表されます。 ImageNet は、コンピューター ビジョンの研究を促進するトレーニング データ ソースです。そのデータの 45% 以上はアメリカのユーザーから提供されており、これらのデータ プロバイダーは世界の人口の 4% を占めるだけです。

対照的に、中国とインドのユーザーは合わせてデータの 3% を占めていますが、これらの国は世界人口の 36% を占めています。

この地理的多様性の欠如は、コンピューター ビジョン アルゴリズムが、伝統的なアメリカの花嫁の写真を「花嫁」、「ドレス」、「女性」、「結婚式」とラベル付けする一方で、北インドの花嫁の写真を「舞台芸術」や「衣装」とラベル付けする理由を説明するのに役立ちます。

医療分野では、医療データの作成と注釈付けに非常にコストがかかるため、機械学習の予測子は偏ったデータセットの影響を受けやすくなります。昨年、研究者たちはディープラーニングを利用して写真に写っている皮膚がんを特定した。

彼らは 129,450 枚の画像のコレクションでモデルをトレーニングしましたが、そのうち 60% は Google 画像から取得されました。しかし、肌の色が濃い人の画像は5％未満で、アルゴリズムは肌の色が濃い人を対象にテストされていなかった。したがって、この分類器のパフォーマンスは、異なる集団に対しては大幅に異なる可能性があります。

もう一つの偏見の原因はアルゴリズムそのものです。

一般的な機械学習プログラムは、トレーニング データの全体的な予測精度を最大化しようとします。トレーニング データ内で特定の人々のグループが他のグループよりも大幅に頻繁に出現する場合、プログラムはそのグループのデータを最適化して全体的な精度を提供します。

コンピューター科学者は通常、「テスト データセット」でアルゴリズムを評価しますが、テスト データセットは通常、元のトレーニング データセットのランダムなサブサンプルであるため、同じバイアスが存在する可能性があります。

欠陥のあるアルゴリズムはフィードバック ループを通じてバイアスを増幅する可能性があります。 Google 翻訳のように、統計的に訓練され、デフォルトで男性代名詞を使用するシステムを想像してみてください。

このパターンは、英語コーパスにおける男性代名詞と女性代名詞の比率が 2:1 であることに起因します。さらに悪いことに、翻訳プログラムがデフォルトで「彼は言った」を使用するたびに、対応する男性代名詞が Web ページに表示される可能性が高まり、データの修正で苦労して得た進歩が損なわれる可能性があります。

大規模な社会変化により、男性代名詞と女性代名詞の比率は 1960 年代の 4:1 から現在では 2:1 に低下しました。

バランスの傾き

[[241144]]

データの偏差は、制度構築と社会的権利関係における根深い隠れた不均衡を反映していることが多い。たとえば、豊富で多様なデータソースであると思われる Wikipedia を見てみましょう。

しかし、このサイトの伝記記事のうち女性に関するものは18パーセント未満だ。女性向けの記事から男性向けの記事へのリンクの数は、その逆よりもはるかに多く、検索エンジンにとって男性の方がアクセスしやすいのです。恋人や家族についての記事でも、男性はより頻繁に言及されている。

したがって、トレーニング データセットを構築するときは、アルゴリズムのチューニングと社会的認識の動作に注意を払う必要があります。具体的には、データセットが多様であり、特定のグループが過剰に代表されないようにするための措置を講じる必要があります。

これは、性別や人種のアイデンティティの複雑さをほとんど捉えない「男性/女性」、「黒人/白人」などの単純なカテゴリーから離れることを意味します。

すでに何人かの学者がこの研究に取り組み始めています。コンピューター科学者らは最近、市販の顔認識システムでは肌の色が濃い女性の性別を、肌の色が薄い男性よりも誤認する確率が高く、その誤り率はそれぞれ35％と0.8％であることを発見した。

この問題に対処するため、研究者らは性別と人種のバランスをとるために 1,270 人の新しい画像データセットを再構築しました。このデータを使用して顔分類アルゴリズムを再トレーニングおよび微調整すると、精度が向上するはずです。

出典：ネイチャー558, 357–360; 2018

https://www.nature.com/articles/d41586-018-05469-3

バイアスの原因を特定するために、アノテーターは標準化されたメタデータを使用してトレーニング データセットのコンテンツを体系的にアノテーションすることをお勧めします。いくつかの研究グループはすでに、機械学習データセットのメタデータと「効果的なラベル」を含む「データテーブル」を設計しています。

機械学習データセットのメタデータと「栄養ラベル」が含まれています

各トレーニング データセットには、データセットがどのように収集され、データがどのように注釈付けされたかに関する情報が含まれている必要があります。データに人物に関する情報が含まれている場合は、地理、性別、民族、その他の人口統計情報の概要を提供する必要があります。データのラベル付けがクラウドソーシングを通じて行われる場合、クラウド参加者に関する基本情報と、彼らが与えた正確なリクエストや指示を含める必要があります。

データ管理者は、データについて可能な限り正確な説明を提供する必要があります。たとえば、刑事司法データの場合、モデルがどのような「犯罪」タイプのデータでトレーニングされたかを知ることは、モデルの適用と解釈に役立ちます。

組み込みの修正

多くのジャーナルでは、出版の前提条件として、著者に同様の実験データ情報を提供することをすでに要求しています。たとえば、Nature では著者がすべてのマイクロアレイ データをオープン アクセス リポジトリ Gene Expression Omnibus にアップロードすることを義務付けており、著者は実験プロトコルに関するメタデータを提出する必要があります。

私たちは、国際機械学習会議のような会議主催者に、同様の要件を設定し、標準化されたメタデータを最終提出と査読プロセスの重要な部分にすることを推奨します。データリポジトリのホスト（OpenML など）や AI 競争プラットフォーム（Kaggle など）も同様の対応を取る必要があります。

最も重要なのは、コンピューター科学者がデータから人間の偏見を取り除くためのより優れたアルゴリズムの開発に取り組むべきだということです。

研究者たちは現在、データの偏りの問題に対処するためのさまざまな方法を模索していますが、その 1 つは制約を組み込むことです。これは基本的に、機械学習モデルを推進して、異なるサブグループや類似した個人にわたって公平なアルゴリズムを実現するようにするものです。

関連するアプローチとしては、学習アルゴリズムを変更して、人種、性別、収入などの機密属性や、これらの特性に関連する情報への依存を減らすことが挙げられます。

[[241145]]

偏見を除去するこの新しい方法には大きな可能性がありますが、実際にテストして改善する必要があります。

しかし、人種、性別、その他の関連情報を正確に記録する必要があるという事実を回避することはできません。適切な例がなければ、モデルにどのような制約や修正を適用すべきかを知ることは困難です。関連するアプローチでは、アルゴリズム設計者がどのような種類のバイアスを回避したいかを事前に決定できることも必要です。

補完的なアプローチとしては、機械学習自体を使用して、アルゴリズムとデータのバイアスを識別し、定量化することが挙げられます。 私たちはこれを AI 監査の実施と呼んでいます。監査人は、生の機械学習モデルを体系的に調査して、モデルとトレーニング データの偏りを特定するアルゴリズムです。

米国の歴史的ステレオタイプを定量化するために最近の研究で使用した、人気の機械学習手法である単語埋め込みを取り上げてみましょう。単語埋め込みは、各英語の単語を空間内の点 (幾何学的ベクトル) にマッピングし、ベクトル間の距離が対応する単語間の意味的類似性を捉えるようにします。

これは、「男性」は「王」に、「女性」は「女王」にといった類推関係を捉えています。私たちは、他の性別の類推の埋め込みを照会するためのアルゴリズム「AI Auditor」を開発しました。これは、「男性」は「医者」であるのに対し、「女性」は「看護師」であり、「男性」は「コンピュータ プログラマー」であり、「女性」は「主婦」であることを示しています。

監査人が単語の埋め込みと生のテキスト データ内の歴史的なステレオタイプを発見したら、単語ベクトルの位置を変更することでバイアスを軽減できます。さらに、歴史的文書に基づいてトレーニングされたアルゴリズムは、ステレオタイプがどのように進化するかを評価することで、偏見をなくす効果をもたらす可能性があります。

たとえば、1910年から1990年までの各10年間のGoogleブックスの米国のテキストデータを埋め込むと、この期間のアメリカ人のアジア人に対する態度が驚くほど多様で不安定であったことがわかります。 1910年、アメリカ人はアジア人を「奇妙」で「野蛮」だと表現した。

第二次世界大戦と1980年代の移民の波に続く劇的な態度の変化を経て、1990年までに、アメリカ人は再びアジア人を表現するのに「控えめな」や「敏感な」といった言葉を使うようになった。

根本原因アプローチ

コンピューター科学者、倫理学者、社会科学者、その他多くの人々がデータと AI の公平性を向上させるために取り組んでいますが、私たちも公平性が何を意味するのかを考える時が来ています。

データは世界をありのままに示しているのでしょうか、それとも私たちが望むように形作られているのでしょうか。同様に、AI ツールは求職者を評価し、その人が職場に適しているかどうかを判断するために使用されるべきでしょうか。また、公平性のどの概念を優先するかを誰が決めるべきでしょうか。

これらの疑問に答え、トレーニング データとアルゴリズムのより広範な影響を評価するには、機械学習の研究者は社会科学者や人文科学、ジェンダー、医学、環境、法律の専門家と協力する必要があります。

私たちがカリフォルニア州スタンフォード大学で参加している人間中心の AI イニシアチブなど、このようなコラボレーションを促進するための取り組みが継続的に行われています。この取り組みは学部レベルから始める必要があり、学生はアルゴリズムの仕組みを理解するだけでなく、AI の社会的背景も学びます。

設備、手順、プロセスが私たちの態度、行動、文化を形作ります。 AI は経済と社会を変革し、コミュニケーションや仕事の方法を変え、ガバナンス モデルと政治環境を再形成しています。私たちの社会は長い間不平等に苦しんできましたが、AI がこれに加担してはなりません。

関連レポート: https://www.nature.com/articles/d41586-018-05707-8

[この記事は51CTOコラムBig Data Digest、WeChatパブリックアカウント「Big Data Digest（id: BigDataDigest）」のオリジナル翻訳です]

この著者の他の記事を読むにはここをクリックしてください