機械学習モデルの解釈可能性について

2019年2月、ポーランド政府は銀行法に改正を加え、信用判定に否定的な結果が出た場合に顧客に説明を求める権利を与えた。これは、EU における GDPR の導入による直接的な影響の 1 つです。つまり、意思決定プロセスが自動化されている場合、銀行は融資が承認されなかった理由を説明できなければなりません。

2018年10月、「アマゾンのAI採用ツールは男性を優遇している」という報道が世界中で話題になった。アマゾンのモデルは、男性の応募者に有利な偏ったデータに基づいてトレーニングされた。このモデルは、「女性」という単語を含む履歴書を不利にするルールを構築します。

モデル予測を理解しないことの影響

上記の 2 つの例に共通するのは、銀行のモデルと Amazon が構築したモデルの両方が、単純で解釈可能な決定ルールを提供しない、いわゆるブラックボックス分類器という非常に複雑なツールであるということです。

金融機関が機械学習ベースのソリューションを引き続き使用したい場合は、モデルの解釈可能性に関する研究に投資する必要があります。これらの金融機関がそうするのは、そのようなアルゴリズムの方が信用リスクをより正確に予測できるからである。一方、モデルが適切に検証され理解されていれば、Amazon は多額の費用を節約し、否定的な報道を避けることができたはずだ。

なぜ今なのか? データモデリングのトレンド

機械学習は 2014 年以来、ガートナーのハイプ サイクルのトップに位置していましたが、2018 年にディープラーニング (機械学習の一種) に追い抜かれ、その人気はまだピークに達していないことが示されました。

出典: https://www.gartner.com/smarterwithgartner/5-trends-emerge-in-gartner-hype-cycle-for-emerging-technologies-2018/

機械学習の成長はさらに加速すると予想されます。 Univa の調査レポートによると、96% の企業が今後 2 年以内に機械学習を本番環境で使用することを期待しています。

その理由は、広範なデータ収集、大規模なコンピューティング リソースの利用可能性、および活発なオープン ソース コミュニティです。機械学習の採用の増加は、GDPR、EUの「説明の権利」などの規制、安全性（医療、自動運転車）や再現性とバイアスに関する懸念、またはエンドユーザーの期待（最適化されたモデルをデバッグしたり、研究対象について何か新しいことを学ぶこと）によって推進される解釈可能な研究の増加を伴っています。

出典: http://people.csail.mit.edu/beenkim/papers/BeenK_FinaleDV_ICML2017_tutorial.pdf

ブラックボックスアルゴリズムの解釈可能性

データ サイエンティストとして、私たちはモデルがどのように機能するかについてエンド ユーザーに説明できる必要があります。ただし、これは必ずしもモデルのすべての部分を理解したり、モデルに基づいて一連の意思決定ルールを生成したりすることを意味するわけではありません。

同時に、次の状況では説明モデルは必要ありません。

• この問題は完璧に研究されている
• モデルの結果は影響を及ぼさない
• エンドユーザーがモデルを理解すると、システムにゲームリスクが生じる可能性がある

2018 年に Kaggle が実施した機械学習とデータ サイエンスの調査の結果を見ると、回答者の約 60% がほとんどの機械学習モデルを説明できると感じていました (一部のモデルはまだ説明が難しい)。機械学習の理解に使用される最も一般的なアプローチは、特徴の重要性と特徴の相関関係を調べてモデルの機能を分析することです。

特徴重要度分析は、モデルが何を学習したか、どの要因が重要である可能性があるかについての優れた初期洞察を提供します。ただし、特徴が相関している場合、この方法の信頼性は低くなる可能性があります。モデル変数は、解釈可能である場合にのみ、優れた洞察を提供できます。多くの GBM ライブラリ (Gradient Boosting Machine) では、特徴の重要度に関するグラフをプロットするのは非常に簡単です。

ディープラーニングの場合、状況はさらに複雑になります。ニューラル ネットワークを使用する場合、重みには入力に関する情報が含まれているため、重みを調べることができますが、その情報は圧縮されています。さらに、より深いレベルでは接続が複雑すぎるため、最初のレベルの接続しか分析できません。

2016 年の NIPS カンファレンスで LIME (Local Interpretable Models-Interpretable Explanations) 論文が発表された際に大きな反響があったのも不思議ではありません。 LIME のモデルは、解釈可能な入力データに基づいてわかりやすいホワイトボックス モデルを構築し、ブラックボックス モデルを部分的にシミュレートすることです。画像分類とテキストの説明を提供する際に、印象的な結果を達成することが示されています。ただし、表形式のデータの場合、解釈可能な特徴を見つけるのは難しく、ローカルな解釈が誤解を招く可能性があります。

LIME は Python (lime と Skater) と R (lime パッケージと iml パッケージ、live パッケージ) で実装されており、非常に使いやすいです。

もう一つの有望なアイデアは、SHAP (Shapley Additive Explanations) です。それはゲーム理論に基づいています。機能をプレイヤー、モデルをアライアンスとして扱い、各機能の「影響（ペイアウト）」をシャプレー値で表します。この方法は貢献を公平に測定し、使いやすく、魅力的な視覚化の実装を提供します。

R で利用できる DALEX パッケージ (DALEX Descriptive Machine Learning) は、複雑なモデルがどのように機能するかを理解するのに役立つ一連のツールを提供します。 DALEX を使用すると、分解プロットなどの視覚化を通じてモデルの説明を作成し、検査することができます。 DALEX と同じ研究者グループによって開発された DrWhy.Ai にも興味があるかもしれません。

実際の使用例

1. 画像内のオブジェクトを検出する

画像認識は、自動運転車における車や信号機などの検出、野生生物保護における画像内の特定の動物検出、保険における洪水による農作物の破壊検出など、すでに広く使用されています。

モデルの解釈の重要性を説明するために、オリジナルの LIME 論文の「ハスキー対オオカミの例」を使用します。分類器のタスクは写真にオオカミがいるかどうかを識別することでしたが、シベリアンハスキーを誤ってオオカミと分類しました。 LIME の研究者のおかげで、画像のどの部分がモデルにとって重要であるかを特定することができ、最終的に画像に雪が含まれていればオオカミとして分類されることが分かりました。

アルゴリズムは写真の背景を使用し、動物の特徴を完全に無視しました。このモデルはもともと動物の目に焦点を当てる予定でした。この発見のおかげで、モデルを修正し、トレーニング サンプルを拡張して、snow=wolf という推論を防ぐことが可能になりました。

2. 意思決定支援システムとしての分類

アムステルダム UMC の集中治療室では、退院後の患者の再入院や死亡の可能性を予測したいと考えていました。目標は、医師が患者をICUから移動させる適切なタイミングを選択できるようにすることです。医師がモデルの働きを理解していれば、最終判断を下す際にモデルの推奨事項を使用する可能性が高くなります。

LIME を使用してこのようなモデルを解釈する方法を示すために、ICU 死亡率の早期予測を目的とした別の研究を見てみましょう。ランダムフォレストモデル（ブラックボックスモデル）を使用して死亡率を予測し、LIME を使用して各患者の予測スコアをローカルに説明しました。

出典: https://www.researchgate.net/publication/309551203_Machine_Learning_Model_Interpretability_for_Precision_Medicine

選択されたサンプルのうち 1 人の患者は死亡する確率が高い (78%) と予測されました。死亡に至るパターンは、AF の頻度が高く、乳酸値が高いことが特徴で、これは現在の医学的知見と一致しています。

人間と機械 - 完璧な組み合わせ

説明可能な AI の構築を成功させるには、データ サイエンスの知識、アルゴリズム、エンド ユーザーの専門知識を組み合わせる必要があります。データサイエンスの作業は、モデルが作成されただけでは終わりません。これは反復的で、多くの場合、専門家からのフィードバック ループを伴う長いプロセスであり、結果が信頼でき、人間が理解できるものであることを確認します。

私たちは、人間の専門知識と機械のパフォーマンスを組み合わせることで、機械の結果を改善し、人間の直感の偏りを克服するという最良の結果を達成できると固く信じています。

参考文献:

• オンラインおよびウェブベース: 分析、データマイニング、データサイエンス、機械学習の教育: https://www.kdnuggets.com/education/online.html
• 分析、データサイエンス、データマイニング、機械学習のためのソフトウェア: https://www.kdnuggets.com/software/index.html

関連情報:

• BERT 機能は InterBERTible ですか: https://www.kdnuggets.com/2019/02/bert-features-interbertible.html
• 2018 年の人工知能とデータサイエンスの進歩と 2019 年のトレンド: https://www.kdnuggets.com/2019/02/ai-data-science-advances-trends.html
• AI/機械学習の進歩の年: Xavier Amatriain 2018 総括: https://www.kdnuggets.com/2019/01/xamat-ai-machine-learning-roundup.html