AI モデルの 3 種類のバイアスとその修正方法

自動化された意思決定ツールは組織内でますます一般的になりつつあります。しかし、顔認識システムからオンライン広告まで、あらゆるものの背後にある機械学習（ML）モデルの中には、人種や性別による偏見が明らかに見られるものもあります。機械学習モデルがより広く採用されるようになると、AI がより公平であることを保証するための専門知識が必要になります。

[[385243]]

機械学習モデルは差別を強化するのではなく、偏見を排除する必要があります。公平な AI モデルを構築するには、まず AI バイアスの原因を特定するためのより優れた方法を使用する必要があり、そのためには AI モデルが入力と出力の間の偏った関係をどのように学習するかを理解する必要があります。

[[385244]]

研究者たちは、人工知能におけるバイアスを、アルゴリズムによるバイアス、悪影響、過小評価の 3 種類に分類しました。アルゴリズムのバイアスは、保護された特性と意思決定に使用される情報との間に統計的な依存関係がある場合に発生します。マイナスの影響とは、AI モデルのトレーニングに使用されるデータにすでに存在するバイアスを指します。過小評価は、AI モデルが人口の特定のセグメントについて信頼できる結論を出すのに十分なデータがない場合に発生します。

それぞれの質問についてさらに詳しく見ていきましょう。

1. アルゴリズムの偏り

アルゴリズムのバイアスは、保護された特性と他の要因との相関関係から生じます。このような状況が発生すると、保護特性の関連性が非保護要因に基づく偏った決定につながる可能性があるため、分析から保護特性を単純に除外するだけではバイアスを軽減することはできません。

たとえば、米国の初期の予測型警察アルゴリズムは、予測を行う際に人種データに直接アクセスできず、人種と相関する地理データ（郵便番号など）に大きく依存していました。この方法では、性別や人種などの人口統計情報を「無視」するモデルでも、保護された属性と統計的に相関する他の特徴に基づいて情報を得ることができます。

消費者金融保護局は、貸し手が公正な融資規則を遵守するよう努めており、地理情報と姓名情報を組み合わせた統計手法により、人種や民族の代理情報の精度が向上することを発見した。この調査結果は、アルゴリズムが保護されたデータにアクセスできない場合、偏見は自動的に減少するという広く信じられている誤解を否定するものである。代理差別として知られるこの現象は、根本的な原因が特定されれば軽減することができます。つまり、プロキシ関数を作成するモデル内の中間計算を見つけて、保護された属性との相関が低い値に置き換えることで違反を修正できます。

直感に反して、場合によっては、保護された機能をモデルトレーニングから削除するソリューションが、すでに不利な立場にあるグループに実際に害を及ぼす可能性があります。たとえば、米国の司法制度では、リスク要因リストが米国矯正局と仮釈放委員会によって使用され、収監と釈放に関する公正な決定が下されます。性別、年齢、現在の容疑、成人および少年の過去の犯罪件数などの基本情報を使用して処理した場合、人間モデルと AI モデルのパフォーマンスは同等でした。

しかし、人間と AI の両方のモデルに教育と薬物使用に関連する 10 の追加リスク要因を与えることで、研究者は機械学習モデルの方が正確で、偏りが少ないことを発見しました。これは、盲目的に修復戦略を採用するのではなく、AI モデルのバイアスの根本原因を理解する必要性を浮き彫りにしています。

2. マイナスの影響

AI アルゴリズムのバイアスは、トレーニング データに存在する同様のバイアスから直接生じる可能性もあります。たとえば、言語翻訳タスクを実行するようにトレーニングされた機械学習モデルは、女性の名前を「両親」や「結婚式」などの属性に関連付ける傾向がありますが、男性の名前は「職業」や「給料」などの単語とより強く関連付けられます。モデルが独自に関連付けを行うことは考えにくいです。代わりに、これらの性別指向を反映したテキストのコーパスでトレーニングされます。これはマイナスの影響の例です。

ジェンダーバイアスは、自然言語処理において厄介ではあるものの、十分に研究されている問題です。原因を明確に理解することで、それを修正する道が開かれます。英語のように名詞や形容詞が性別に偏りがちな言語では、研究者たちは単語の埋め込みを性別に中立なままにする方法を発見した。一方、本質的に性別を表す単語が存在する他の言語では、性別を表す単語と中立的な単語の因果関係を断ち切る例を導入することで、言語レパートリーを拡張し、偏見を防ぐことができます。

他のアプリケーション分野では、バイアスは機械学習モデルが学習するデータセットに本質的に組み込まれているため、悪影響は軽減するのが最も難しいバイアスの 1 つになる可能性があります。したがって、このモデルは、何年にもわたって集団に対する体系的な偏見をエンコードすることができます。あるいは、例えば居住地に基づいて融資を拒否すると、融資承認データセットが白人に偏る可能性があります。データ内のこのような偏りは、AI モデルに偏りをもたらす可能性があります。

既存の偏見緩和戦略は黒人申請者の単位取得率を上げようとするかもしれないが、これによってモデルの偏見の真の原因が不明瞭になり、根本的な問題に対処することが困難になる可能性がある。信用判断の入力としてよく使用される FICO スコアは、人種による差別があることがわかっています。この場合、事後バイアス緩和戦略の有効性は、信用度と因果関係のある代替データ ソースを見つけることよりも低くなります。したがって、代替データを見つけることで、悪影響を軽減することができます。

3. 過小評価

データに偏りがある可能性があるのと同様に、不十分な場合もあります。十分なデータがなければ、機械学習モデルは信頼できる予測を提供できない可能性があります。これは過小評価されている問題です。アマゾンは最近、採用プロセス中に求職者をスクリーニングするための機械学習モデルを訓練したが、他の多くのテクノロジー企業と同様に、アマゾンの従業員は男性の割合が不釣り合いに高い。このデータの不均衡により、AI モデルは男性の評価に重点を置くようになり、Amazon はモデルの推奨が偏っていることに気づき、採用パイプラインからそのモデルを排除しました。

アマゾンがより多くの、あるいはより良いデータを探せば、偏りのない採用ツールを構築できるかもしれないが、なぜその偏りが生じるのかを適切に理解しなければそれは不可能だろう。過小評価の場合、モデルの予測の確実性を人口のサブグループ全体で分析し、新しいインスタンスを自動的に追加することで基礎となるデータセットを多様化することができます。

モデルの確実性と安定性を測定する方法は、モデルがすべての集団に対して信頼性の高い予測を行う準備ができているかどうかを理解するために重要です。過小評価の場合、提供されたデータセットはデータのニュアンスを完全に表現できません。ただし、公平性を促進するために使用される敵対的トレーニング手法や事後バイアス緩和戦略は、データセットを拡張してより包括的にするほど効果的ではない可能性があります。

AI アルゴリズムが偏見をエンコードして維持し、それが望ましくない結果をもたらす可能性があることは周知の事実です。これは悲惨なシナリオを描いていますが、適切に処理すれば、アルゴリズムのバイアス（人間のバイアスとは異なり）は最終的には定量化して修正できることを覚えておくことが重要です。 AI のバイアスを盲目的に削減するのではなく、バイアスの背後にある本当の理由を正確に理解することが、安全で信頼性の高い AI を導入する上で重要です。

これらの原因は複雑ですが、研究者は特定の集団における異なる結果を測定し、これらの違いを生み出す特性を特定し、特定の偏見の原因に対する妥当な緩和戦略を選択するためのより良い方法の開発を続けています。より多くの意思決定が自動化されるにつれて、公平で偏りのないモデルを作成するには、AI の偏りを根本的に排除する必要があります。