機械学習の課題：ブラックボックスモデルはこれら3つの問題に直面している

[[441689]]

01 機械学習の課題

2016年3月、ディープラーニングアルゴリズムに基づくAlphaGoが、囲碁の世界チャンピオンであるイ・セドルを合計スコア4:1で破りました。ディープラーニングアルゴリズムは一夜にして有名になり、機械学習の分野で非常に尊敬されるスターアルゴリズムになりました。コンピュータービジョン、音声認識、自然言語処理、バイオインフォマティクスなどの分野で優れた応用成果を達成しました。

ディープラーニングモデルや統合学習モデル（XGBoost、LightGBMなど）は多くの分野で優れた成果を上げていますが、これらのモデルには共通の特徴が1つあります。それは、内部構造が非常に複雑で、動作メカニズムがブラックボックスのようなもので、人間が理解できる言語で説明するのが難しいことです。モデルの出力結果も説明が難しいため、生命の安全や重要な意思決定に関連する一部の分野での応用は大きな課題に直面しています。

たとえば、銀行業界では、2019 年 2 月にポーランド政府が銀行法の改正を行い、顧客が信用判断に否定的な結果が出た場合に説明を受ける権利を与えました。これは、欧州連合における GDPR (一般データ保護規則) の実施による直接的な影響の 1 つです。つまり、意思決定プロセスが自動化されている場合、銀行は融資が承認されなかった理由を顧客に説明できる必要があります。

2018年10月、「アマゾンのAI採用ツールは男性を優遇している」という報道が世界中で話題になった。アマゾンのモデルは、男性の応募者に有利な偏ったデータに基づいてトレーニングされた。このモデルは、「女性」という単語を含む履歴書を不利にするルールを構築します。

上記の質問は、業界におけるモデルへの応用要件がもはや精度に限定されないことを示しています。モデルの結果が説明可能かどうか、モデルが安全で公平で透明性があるかどうかも、機械学習が直面する新たな課題です。

02 ブラックボックスモデルの問題点

実際のアプリケーションでは、ブラック ボックス モデルですべての問題を 1 つのステップで解決することが難しいのはなぜですか?この質問に答える前に、銀行業界の事例をいくつか見てみましょう。

1) シャオ・ヤンは銀行の金融アカウントマネージャーです。年度末が近づいており、彼の業績評価が間もなく実施されます。しかし、彼の業績は設定された販売目標からまだ遠いため、彼は機械学習モデルを使用して、顧客リストのどの顧客がファンド商品を購入する可能性が高いかを判断することにしました。 1 週間かけてコードを記述し、機能エンジニアリングを行った後、XGBoost (Extreme Gradient Boosting) モデルの実行に成功しました。モデルの AUC (Area Under Curve) は 0.86 に達しました。結果は非常に理想的だったので、彼は喜んでモデルによって予測されたリストを受け取り、電話マーケティングを 1 つずつ実行しました。その結果、何百回もの電話の末、最終的にファンド商品を購入した顧客はわずか1、2人であり、シャオ・ヤンは自分のコードについて深く考え込むことになった。

2) シャオ・スーは銀行のリスク管理スペシャリストです。最近、銀行が新たに発行したクレジットカードで深刻な延滞問題が発生しました。銀行は、さらなる債務不履行を防ぐために、古いスコアリング モデルを調整して最適化することにしました。そこで彼は、新しいトレーニング データを使用してモデルを更新し、いくつかの機能を再ビニングして、最終的に新しいモデルをオンラインで展開しました。しかし、それから間もなく、銀行にはさまざまな苦情の電話がかかってくるようになった。「すべての情報を提供し、信用報告書も問題ないのに、クレジットカードが承認されないのはなぜですか？」「私が提出した情報は同僚のものと似ていますが、なぜ彼の信用限度額は私よりもはるかに高いのですか？」... 次々と寄せられる申請者の質問に直面して、シャオ・スーはしばらく答えることができませんでした。このブラックボックスモデルを実行して得られたスコアリングモデルを前に、彼はモデルの分析に頭を悩ませていました。

3) シャオ・ホーさんは典型的な「食通」で、特にタピオカティーが大好きです。ほぼ毎食後、モバイルバンキングアプリで近くのタピオカティーのお店を検索します。結婚式が近づいているが、体重は増え続けているため、彼女は減量を決意。ジムの年間会員権を購入し、毎食サラダなどの軽食を中心にし、タピオカミルクティーなど糖分の多い飲み物は控えている。彼女を悩ませていたのは、食後にモバイルバンキングアプリを使って支払いをするたびに、アプリがいつも近くのミルクティーショップを勧めてくることだった。誘惑に負けて減量の努力がすべて無駄になるのを避けるために、シャオ・ホーはモバイルバンキングアプリをアンインストールすることにしました。

ブラック ボックス モデルの内部構造が複雑なため、モデル ユーザーは、データがモデルに入力された後に予測結果がどのように得られるかを把握できないことがよくあります。これは、マジシャンがブラック ボックスからさまざまなオブジェクトを生成するが、観客はその理由を理解できないマジックのようなものです。

意思決定者、特にリスクの高い分野（自動運転、金融、医療業界など）の意思決定者は、ブラックボックスモデルがどのように機能するかを明確に理解していない限り、モデルの予測結果のみに基づいて意思決定を行うことはないでしょう。

[[441690]]

人工知能と機械学習の技術は人間の生活と仕事の効率を大幅に向上させましたが、人工知能は多くの分野で大きな役割を果たしています。しかし、無視できないのは、人工知能と機械学習のモデルのブラックボックス問題にも私たちの注意が必要であり、深く考える価値があるということです。モデルブラックボックス問題には具体的には以下の3点が含まれます。

1. 因果関係が見つからない、または因果関係を誤判断する

機械学習モデルを使用する場合、モデルが正しい予測結果を出すことを期待するだけでなく（特に医療、金融、自動運転などの高リスクの分野では）、モデルが判断の根拠を提供してくれることも期待します。

ブラックボックスモデルの内部構造は複雑です。ブラックボックスモデルを予測に使用する場合、いくつかのモデル評価指標（AUCなど）に基づいてモデルの品質を評価します。ただし、AUCが非常に高い場合でも、ブラックボックスモデルの判断基準が正しいかどうかはわかりません。モデルが合理的な因果関係を提供できない場合、モデルの結果を人々に納得させることは難しくなります。

マイクロソフトリサーチの著名な研究者であるカルアナ氏は、論文[1]の中で医学的な例を挙げています。

肺炎リスクに関するデータセットでは、さまざまな肺炎患者の死亡確率を予測し、高リスクの肺炎患者をより適切に治療できるようにしたいと考えています。最も正確なモデルは AUC が 0.86 のニューラル ネットワークでしたが、ルール ベース モデルを使用した場合、モデルは「患者が喘息を患っている場合は、低リスク グループに属する」と学習しました。つまり、喘息を伴う肺炎患者の死亡率は、他の肺炎患者よりも低いのです。

この結論は曖昧で、私たちの客観的な認識に反しているように思われますが、さらに深く掘り下げていくと、論理的な関係が見つかります。喘息の病歴を持つ肺炎患者は、病状の重症度に応じてさらなる治療を受け、治療効果は通常非常に良好であり、それによってそのような患者の死亡率が低下します。

ブラックボックスモデルであるニューラルネットワークモデルをそのまま使用すると、モデルはそのような因果関係を推測することができず、喘息を伴う肺炎患者を死亡率が低い（リスクが低い）人々と判断することになります。このグループの人々は最適な治療時期を逃す可能性があり、実際にはより良い治療が必要です。

2. ブラックボックスモデルの不安定性

ブラック ボックス モデルのセキュリティ上の問題は 2 つのカテゴリに分けられ、次のように説明されます。

まず、モデラーにとって、ブラックボックスモデルの内部構造は複雑であり、モデルが外部から攻撃された場合、通常、これらの攻撃を検出することは困難です。ハッカーが元のモデルの入力サンプルに何らかの摂動（通常は敵対的サンプルと呼ばれる）を加えると、モデルは誤った判断を下す可能性が高くなります。モデラーが時間内にモデルを調整できない場合、非常に深刻な結果につながります。

例えば、ブラックボックスモデルを自動運転に適用する場合、ハッカーがタイヤの画像サンプルに何らかの外乱を加えると、タイヤの誤識別につながり、重大な自動車事故を引き起こす可能性があります。モデラーがモデリング中にモデル内のこのような問題を発見しないと、モデルが実際に使用されるときに運転の安全率が大幅に低下します。

第二に、モデルのユーザーはモデルの動作メカニズムを理解しておらず、モデルの結果のみを使用して意思決定を行っています。

新しいツールを手に入れるとき、正しい使い方を知る必要があるだけでなく、使用時の注意事項やリスクも理解する必要があります。医師が患者に治療薬を提供するときと同じように、薬の説明書には投与量や投与方法に加えて、副作用、禁忌、注意事項なども記載されます。患者はこれらの情報を理解して初めて、安心して薬を服用することができます。

ブラックボックスモデルでは、モデルの結果を説明できません。結果は通常、確率またはスコアの形式で示されます。患者が薬の副作用を理解していないのと同じように、ユーザーはモデル結果のリスクポイントをほとんど理解していません。ブラック ボックス モデルでスコアを向上させるために誰かが詐欺や偽造を行った場合、ユーザーがブラック ボックス モデルの結果の異常を見つけるのは難しくなり、モデルの使用時に結果が安全でなくなる可能性があります。

3. ブラックボックスモデルにはバイアスの問題がある可能性がある

偏見とは、特定の集団の人々に対する主観的な意識や感情を指し、人々の行動に基づいて人々を判断することです。性差別、人種差別などは、一般的な偏見の問題です。ブラック ボックス モデルにはバイアスの問題があります。表面的には、ブラック ボックス モデルは人間の思考を反映できるように見えます。実際には、ブラック ボックス モデルが予測を行うと、データ収集プロセスに存在する可能性のあるデータの不均衡の問題が拡大され、最終的にモデルが偏った結果を生成することになります。

たとえば、COMPAS アルゴリズムは米国で広く使用されています。このアルゴリズムは、犯罪者が再犯する可能性を予測することで量刑を導きます。米国の報道機関の報道によると、COMPAS アルゴリズムには明らかな偏りがあります。分析によると、このシステムは黒人被告の再犯リスクが白人被告の 2 倍にもなると予測しています。

アルゴリズムの結果を分析すると、黒人の予測リスクは実際のリスクよりも高く、黒人が誤判定される確率は白人の2倍以上です。つまり、COMPASアルゴリズムは黒人に対して非常に不公平であり、このアルゴリズムの適用は判定の公平性と正義に重大な影響を及ぼしています。

一部のモデルのアルゴリズムには、性差別や年齢差別などの問題も含まれる可能性があります。ブラックボックスモデルは、本質的な説明可能性を欠いており、モデルのトレーニング時に不均衡なサンプルデータが必然的に使用されるため、問題が深刻な場合は、そのようなモデルを使用すると一連の社会的問題を引き起こす可能性があります。同様に、金融分野では、リスク評価を行う際に、ブラックボックスモデルでは性別、地域、年齢などのさまざまな特性を異なる方法で処理する場合があります。

要約すると、モデルが偏った予測を行わないようにする方法は、私たちが注意を払う価値のある問題です。