公正な AI システムを構築するにはどうすればよいでしょうか?

人工知能はあらゆる業界の企業で急速に導入されており、企業は今後 3 年間で AI システムへの支出を 2 倍にすると予想されています。ただし、AI は導入が最も簡単なテクノロジーではなく、完全に機能する AI システムであってもビジネスおよび顧客にリスクをもたらす可能性があります。

信用、採用、ヘルスケアのアプリケーションにおける AI に関する最近のニュース レポートで強調されている主なリスクの 1 つは、偏見が生じる可能性があることです。その結果、これらの企業の一部は、AI モデルの公正性を保証するために政府機関によって規制されています。

機械学習モデルは、実際の例に基づいてトレーニングされ、目に見えないデータで過去の結果を模倣します。トレーニング データは、保護されたグループを表すデータ項目の数が限られていることや、データのキュレーション プロセスに人間のバイアスが潜んでいる可能性があることなど、さまざまな理由で偏りが生じる可能性があります。残念ながら、偏ったデータでトレーニングされたモデルは、意思決定において偏りを永続させることがよくあります。

ビジネス プロセスにおける公平性を確保することは、新しいパラダイムではありません。たとえば、米国政府は 1970 年代に、信用機会均等法 (ECOA) や公正住宅法 (FHAct) などの公正融資法を通じて、信用取引や不動産取引における差別を禁止しました。さらに、同一賃金法、公民権法、リハビリテーション法、雇用年齢差別禁止法、移民改革法はすべて、特定の保護対象グループに対する差別に対する広範な保護を提供します。

公平な AI を構築するには、偏見を理解し、その根底にある偏見に対処するという 2 段階のプロセスが必要です。この記事では、最初のトピックに焦点を当てます。

偏見を理解する

問題を修正する前に、まず問題が存在することを確認する必要があります。悪意を持ってユーザーに対して AI システムを偏らせる企業はないでしょう。代わりに、モデル開発ライフサイクルにおける認識と透明性の欠如により、バイアスが不注意に導入されます。

以下は、ML 開発ライフサイクルにおけるバイアスをより深く理解し、軽減するためのベスト プラクティスのリストです。

（１）主要な利害関係者からの支持を得る

不公平なシステムは、ビジネスに重大な影響を及ぼす可能性のあるセキュリティ リスクに似ています。公正なガバナンス プロセスを実装するには、物質的なリソースが必要です。リーダーシップ チームからのサポートがなければ、プロセスの実装に必要なタスクに十分な開発能力が与えられず、他のビジネス上の優先事項よりも優先されない可能性があります。したがって、公平性を重視した強力な AI プロセスは、経営陣を含むすべての AI 関係者からの賛同システムから始まります。

（２）「社内チャンピオン」の任命

賛同が得られたら、公正なプロセスを確立する責任を負う推進者を任命します。アドボケートは、法務担当者やコンプライアンス担当者を含むチーム間でコミュニケーションを取り、会社のドメイン（医療、採用など）やチームの特定のユースケース（入院の再入院の推奨、保険料の決定、信用度の評価など）に関連するガイドラインを起草します。偏見を測る尺度には、機会均等、人口平等などいくつかあります。公平性メトリックの選択はユースケースによって異なり、実践者に委ねられます。

ガイドラインが確定したら、ディフェンダーは関連チームをトレーニングします。これを実現するために、AI 公平性ワークフローはデータとモデルのバイアスを確保します。さらに、公平性が評価される性別や人種などの保護された属性へのアクセスも必要です。ほとんどの場合、保護された属性を収集することは困難であり、モデル内で直接使用することは違法です。

ただし、保護された属性がモデル機能として使用されていない場合でも、郵便番号などの別のデータ フィールドが人種などの保護された属性に関連付けられるというプロキシ バイアスが発生する可能性があります。属性を保護して測定しなければ、バイアスを特定することは困難です。チームがこのギャップに対処する方法の 1 つは、ローン引受モデルの場合に国勢調査データを使用して性別や人種を推測するなど、保護された属性を推測することです。

測定偏差

次に、バイアスを測定する必要があります。残念ながら、多くの種類の機械学習モデルは本質的に不透明であるため、そのバイアスを測定することは困難です。 AI の説明可能性は、AI のブラックボックスを解き明かし、AI モデル内で何が起こっているかを人々が理解できるようにする最近の研究の進歩です。これにより、バイアスの透明な評価が可能になり、AI による意思決定が責任ある信頼できるものになることが保証されます。

以下は ML モデルの公平性レポートの例です。

この特定のレポートは、融資の決定を行うためにリスクを評価するために使用されるモデルです。保護された「race」属性に関する追加のメタデータがあります。このレポートを使用すると、ユーザーはさまざまな公平性メトリックを使用して、グループの公平性とさまざまな影響を表示できます。ユースケースのドメインのニーズに応じて、バイアスを測定するために、特定のメトリック (「誤検出率」など) と特定の特権カテゴリ (白人など) に焦点を当てることをお勧めします。

上記のローン モデルのような表形式モデルに加えて、テキスト モデルや画像モデルでもバイアスが発生する可能性があります。たとえば、次の図は、ユーザーが作成したコメントの有害性を測定するテキスト モデルを示しています。

以下のサンプルのバイアス レポートは、モデルが人種や宗教のクラス全体で毒性をどのように評価するかを示しています。

ヒートマップを見ると、モデルが「女性」と「無神論者」のアイデンティティ グループに対してあまり偏りがないことがわかります。この場合、ML 開発者は、偏った ID グループのより代表的な例をトレーニング セットに追加することが必要になる場合があります。

生産モデルにおける公平性の考慮

展開前にバイアスが存在するかどうかに関係なく、モデルがライブ トラフィックを処理するとバイアスが発生する可能性があります。バイアスの変化は通常、モデルのトレーニングに使用されたデータとは統計的に異なる入力データをデプロイされたモデルに提供することによって発生します。したがって、デプロイ後にモデル内の関連する偏差インジケーターを監視することがベストプラクティスです。以下のスクリーンショットは、監視モデルの精度メトリック（潜在的なバイアスを追跡するために使用される関連メトリックの 1 つ）がどのように見えるかを示しています。

要約すると、AI は、これまで人間が主導し不透明であった意思決定システムにおけるバイアスを定量化し、対処する独自の機会を提供します。