機械学習モデルが公平かどうかを簡単に確認する方法

[[361220]]

[51CTO.com クイック翻訳] 私たちはますます分断が進む世界に住んでいます。世界の一部の地域では、人種や性別による違いや不平等が拡大しています。モデリングに使用されるデータは、通常、データソースを反映します。世界は偏っている可能性があり、データとモデルはそれを反映する可能性があります。機械学習エンジニアがモデルに偏りがあるかどうかを簡単に確認できる方法を提案します。現在、当社の公平性ツールは分類モデルに対してのみ機能します。

ケーススタディ

DELLEX 公平性モジュール (https://dalex.drwhy.ai/) の威力を実証するために、有名なドイツの信用データセット (https://archive.ics.uci.edu/ml/datasets/statlog+(german+credit+data)) を使用して、各信用申請者にリスクを割り当てます。この単純なタスクでは、解釈可能な決定木分類器の使用が必要になる場合があります。

 # インポート
dalexをdxとしてインポートする
numpyをnpとしてインポートする
 
 sklearn.composeからColumnTransformer をインポートします
sklearn.pipelineからパイプラインをインポートします
sklearn.preprocessingからOneHotEncoder をインポートします
sklearn.treeからDecisionTreeClassifier をインポートします
 
 # クレジットデータ
データ = dx.datasets.load_german() 
 
 # リスクはターゲット
X = data.drop (列 = 'リスク' )
 y = データ.リスク
 
 categorical_features = [ '性別' 、 '職業' 、 '住宅' 、 '貯蓄口座' 、 "当座預金口座" 、 '目的' ]
 categorical_transformer = パイプライン(ステップ=[
    ( 'onehot' 、 OneHotEncoder(handle_unknown= 'ignore' ))
 ]) 
 
プリプロセッサ = ColumnTransformer(トランスフォーマー=[
        ( 'cat' 、カテゴリ変換、カテゴリ特徴)
 ]) 
 
 clf = パイプライン(ステップ=[
    ( 'プリプロセッサ' 、プリプロセッサ)、
    ( '分類子' 、 DecisionTreeClassifier(max_depth=7、 random_state=123))
 ]) 
 
 clf.fit(X, y) 
 
 exp = dx.Explainer(clf, X, y)

dx.Explainer を取得したら、保護されたベクトル (各観測値 (個人) の性別、人種、国籍を示す機密属性の配列またはリスト) を使用してサブグループ内のすべての必要なメトリックを計算できるように、メソッド model_fairness() を実行する必要があります。これに加えて、どのサブグループ (つまり、保護された一意の要素) が最も高い権限を持っているかを示す必要があります。これは、privileged パラメータを使用して実行できます。この場合は、年配の男性になります。

 # 配列と 価値観 たとえば、male_old、female_young などです。 
 
    保護 = data.sex + '_' + np。ここで(data.age < 25, 'young' , 'old' )
    特権 = '男性_年配'   
     
    fobject = exp.model_fairness(保護 = 保護、特権 = 特権)

このオブジェクトには多くのプロパティがありますが、それぞれについて説明するのではなく、1 つのメソッドと 2 つのグラフに焦点を当てます。

それで、私たちのモデルは偏っているのでしょうか?

これは単純な質問ですが、偏見の性質上、答えは「場合による」となります。しかし、このアプローチは異なる視点からバイアスを測定するため、バイアスのあるモデルが漏れることがなくなります。公平性をチェックするには、fairness_check() メソッドを使用します。

 fobject.fairness_check(epsilon = 0.8) #デフォルトのイプシロン

以下は上記のコードからのコンソール出力です。

 1 つの指標でバイアスが検出されました: FPR 
 
結論: 1 つのメトリック スコアが許容範囲を超えたため、モデルは公正とは言えません。  イプシロンより。
これは、モデルが不公平であることを意味するのではなく、これらの指標に基づいて自動的に承認されるわけではないことを意味します。 
 
指標の比率は、   'male_old'パラメータ'epsilon'が設定されました  0.8なので、指標は（0.8、1.25）の範囲内にある必要があります。
                   TPR ACC PPV FPR STP
女性_老齢 1.006508 1.027559 1.000000 0.765051 0.927739
若い女性 0.971800 0.937008 0.879594 0.775330 0.860140
若い男性 1.030369 0.929134 0.875792 0.998532 0.986014

FPR (False Positive Rate) メトリックはバイアスを検出します。上記の出力は、モデルを自動的に承認することはできないことを示しています (上記の出力に記載されているとおり)。そのため、ユーザーが決定する必要があります。それは公平なモデルではないと思います。 FPR が低いということは、特権サブグループでは特権のないサブグループよりも誤検知が発生する可能性が高くなることを意味します。

fairness_check() の詳細な説明

元の DataFrame のバイアス、結論、メトリック比率に関する情報を取得します。指標には、TPR (真陽性率)、ACC (精度)、PPV (陽性予測値)、FPR (偽陽性率)、STP (統計的類似性) などがあります。これらのメトリックは、各非特権サブグループの混同マトリックス (https://en.wikipedia.org/wiki/Confusion_matrix) から導出され、特権サブグループに基づくメトリックで除算されます。考えられる結論は3つあります。

 #不公平だ
結論：あなたのモデルは  2つ以上のメトリックスコアが許容限度を超えたため不公平です イプシロンより。
 # 公平でもなければ ない 
結論: 1 つのメトリック スコアが許容範囲を超えたため、モデルは公正とは言えません。   epsilonによる。モデルが不公平であることを意味するのではなく、これらの指標に基づいて自動的に承認されるわけではないことを意味します。
 ＃ 公平
結論: チェックされた公平性メトリックの観点から、モデルは公平です。

DA は、どのメトリックよりも優れたパフォーマンスを発揮する、真に公平なモデルですが、真の値 (ターゲット) が機密属性に依存する場合は、状況が複雑になり、この記事の範囲を超えてしまいます。つまり、いくつかの指標は異なりますが、必ずしもユーザーの基準を超えるわけではありません。さらに詳しく知りたい場合は、「Fairness and Machine Learning」という本、特に第 2 章を読むことをお勧めします。

しかし、疑問に思う人もいるかもしれません。なぜ私たちのモデルは不公平なのでしょうか? どのような基準でこの決定を下すのでしょうか?

この質問に答えるのは難しいですが、公平性を判断するアプローチが今のところ最善のアプローチであるように思われます。通常、各サブグループのスコアは、特権サブグループのスコアに近い値になります。数学的な観点から見ると、特権メトリックと非特権メトリックのスコアの比率は 1 に近くなるはずです。値が 1 に近いほど、モデルは公平になります。しかし、基準を少し緩めると、次のように言う方が理にかなっています。

ここで、ε は 0 から 1 の間の値であり、比率の最小許容値となります。デフォルトでは、採用でよく見られる 4/5 ルール (80% ルール) に従って 0.8 になります。メトリックの公平性と識別性の差の間に恣意的でない境界を見つけることは困難です。メトリックの比率が正確に 1 であるかどうかをチェックしても意味がありません。比率が 0.99 だったらどうなるでしょうか。これが、許容可能な識別度の具体的なしきい値がある唯一の既知の値である 0.8 をデフォルトの ε として選択することになった理由です。もちろん、ユーザーは必要に応じてこの値を変更できます。

偏見も生まれる

バイアス検出プロットは 2 つあります (ただし、バイアスを視覚化する方法は他にもたくさんあります)。

fairness_check - fairness_check() メソッドの直感的な表示
metric_scores – メトリックの生のスコアである metric_scores 属性を視覚化します。

型は、単にプロットメソッドの型引数に渡されます。

 fobject.plot() 関数

上の画像は、公平性チェックの出力に似たものを示しています。メトリック名はより標準的な公平性に相当するものに変更されていますが、式は参照しているメトリックを示しています。上記のグラフは直感的です。バーが赤い領域に達すると、メトリックが ε ベースの範囲外にあることを意味します。ビンの長さは |1-M| に相当します。ここで、M は特権のないメトリックの割合を特権のあるメトリックの割合で割ったものです (前の公平性チェックと同じです)。

 fobject.plot(タイプ='metric_scores')

公平性チェックが補足されたメトリックスコアプロットは、メトリックとその比率を適切に表現します。ここで、ポイントは生のメトリックスコアです。垂直線は特権メトリックスコアを表します。その線に近ければ近いほど良いです。

複数のモデルを 1 つのプロットにまとめて、簡単に比較することができます。 metric_scores を視覚化するためにいくつかのモデルを追加してみましょう。

 sklearn.ensembleからRandomForestClassifier をインポートします
sklearn.linear_modelからLogisticRegression をインポートします
sklearn.preprocessingからStandardScaler をインポートします
 
 #モデルを作成する
numeric_features = [ 'credit_amount' , 'duration' , 'age' ] 
 
 numeric_transformer = パイプライン(ステップ=[
    ( 'スケーラー' 、 StandardScaler())]) 
 
 categorical_transformer = パイプライン(ステップ=[
    ( 'onehot' 、 OneHotEncoder(handle_unknown= 'ignore' ))]) 
 
 
プリプロセッサ = ColumnTransformer(
    トランスフォーマー=[
        ( 'cat' 、カテゴリ変換、カテゴリ特徴)、
        ( 'num' 、数値変換、数値機能)]) 
 
 clf_forest = パイプライン(ステップ=[( 'プリプロセッサ' , プリプロセッサ),
                      ( 'classifier' 、 RandomForestClassifier(random_state=123、 max_depth=4))]).fit(X,y) 
 
 clf_logreg = パイプライン(ステップ=[( 'プリプロセッサ' , プリプロセッサ),
                      ( '分類子' 、ロジスティック回帰(ランダム状態=123))]).fit(X,y) 
                       
 #説明オブジェクトを作成する
exp_forest = dx.Explainer(clf_forest、X、y、詳細 = False )
 exp_logreg = dx.Explainer(clf_logreg, X,y, verbose = False ) 
 
 #公平な説明を作成する
fobject_forest = exp_forest.model_fairness(保護、特権)
 fobject_logreg = exp_logreg.model_fairness(保護、特権) 
 
 # 彼らのメトリックスコアを見てみましょう
fobject.plot(オブジェクト=[fobject_forest, fobject_logreg], タイプ = "metric_scores" )

上記コードの出力。

それでは、fairness_check に基づいてグラフを確認してみましょう。

RandomForestClassifier は緑色の領域内にあるため、これらのメトリックに関しては公平であることがわかります。一方、LogisticRegression は 3 つの指標でレッドゾーンに達しているため、公平とは言えません。

各プロットはインタラクティブであり、Python 視覚化パッケージ plotly を使用して作成されました。

結論

DALEX の公平性モジュールは、モデルの公平性を確保するための統一されたアクセス可能な方法です。モデルのバイアスを視覚化する方法は他にもありますので、ぜひチェックしてみてください。バイアスを軽減する方法は将来追加される予定です。長期的な計画としては、個人の公平性と回帰における公平性のサポートを追加することです。

ぜひご覧ください。次のコマンドを使用して dalex をインストールできます。