危険なAIアルゴリズムを識別し、倫理原則に従ったビッグデータモデルを作成する方法

人工知能がもたらす脅威について議論するとき、スカイネット、マトリックス、ロボットによる終末の世界といったイメージがまず頭に浮かぶことが多い。 2番目に多いのは技術的失業で、これは人工知能アルゴリズムがすべての仕事を奪い、人間の労働が不要になった世界で人々が無意味な存在として苦労することになるという近い将来のビジョンである。

[[330865]]

これらの脅威のどちらか、あるいは両方が現実であるかどうかは、科学者や思想的リーダーの間で激しく議論されています。しかし、AI アルゴリズムは今日、あまり明白ではなく、あまり理解されていない形で、より差し迫った脅威ももたらしています。

数学者キャシー・オニールは著書『数学の破壊兵器：ビッグデータはいかにして不平等を拡大し民主主義を脅かすか』の中で、アルゴリズムを盲目的に信頼して繊細な決定を下すことが、その決定を下す多くの人々にどのような害を及ぼす可能性があるかを検討している。

AI アルゴリズムの危険性は、アルゴリズムの偏りや危険なフィードバック ループとして現れる可能性があり、経済から社会的交流、刑事司法制度に至るまで、日常生活のあらゆる領域に及ぶ可能性があります。意思決定における数学とアルゴリズムの使用は目新しいものではないが、最近のディープラーニングの進歩とブラックボックス AI システムの急増により、その影響は良くも悪くも増大している。 AI の現在の脅威を理解しなければ、AI の利点を享受することはできません。

危険なAIアルゴリズムの特徴

私たちは、多くのことを理解し、処理するために、モデリング用のアルゴリズムを使用します。 「モデルは結局のところ、野球の試合であれ、石油会社のサプライチェーンであれ、映画館の予約であれ、何らかのプロセスを抽象的に表現したものにすぎない」とオニール氏は『数学的破壊兵器』の中で書いている。 「コンピュータ プログラムで実行されているか、私たちの頭の中で実行されているかにかかわらず、モデルは私たちが知っていることを取り入れ、それを使用してさまざまな状況での反応を予測します。」

しかし、ディープラーニングの進歩と私たちの生活のあらゆる側面のデジタル化の進展により、ますます多くのモデルが私たちの頭の中からコンピューターへと移行しています。ブロードバンド インターネット、クラウド コンピューティング、モバイル デバイス、モノのインターネット (IoT)、ウェアラブル デバイス、その他多数の新興テクノロジーのおかげで、あらゆるものに関するデータをますます多く収集し、処理できるようになりました。

データとコンピューティング能力へのアクセスが拡大したことで、より多くのタスクを自動化できる AI アルゴリズムが誕生しました。以前は研究室に限定されていたディープ ニューラル ネットワークは、コンピューター ビジョン、機械翻訳、音声、顔認識など、以前はコンピューターにとって困難だった多くの分野に進出しています。

ここまでは順調ですね。問題は何でしょうか? 『Weapons of Math Sabotage』の中で、オニール氏は AI モデルを危険にする 3 つの要因として、不透明性、規模、妨害を挙げています。

アルゴリズムと企業の不透明性

AI システムにおける不透明性には、テクノロジーと企業という 2 つの側面があります。人工知能のブラックボックス問題としても知られる技術的な不透明性は、近年大きな注目を集めています。

つまり、問題は、AI アルゴリズムが正しい決定を下していることをどうやって知るかということです。ローン申請処理、信用スコアリング、教師の評価、再犯予測、その他多くのデリケートな分野に AI が浸透するにつれて、この質問はますます重要になっています。

多くのメディアは、AI アルゴリズムを、その動作が開発者にさえ分からない謎の機械であると説明する記事を掲載しています。しかし、メディアが伝えているのとは反対に、すべての AI アルゴリズムが不透明というわけではありません。

従来のソフトウェアは、AI の専門用語ではシンボリック人工知能と呼ばれることが多く、説明可能で透明性のある特性があることで知られています。これらは、ソフトウェア開発者とドメイン専門家によって慎重にまとめられた、手動でコーディングされたルールで構成されています。これらは調査および監査することができ、エラーは発生したコード行まで遡って追跡できます。

対照的に、近年人気が高まっている機械学習アルゴリズムは、多くのトレーニング例を分析し、統計的推論のモデルを作成することで動作を開発します。つまり、開発者は必ずしも AI アルゴリズムの動作に関して最終決定権を持っているわけではないということです。

しかし、繰り返しになりますが、すべての機械学習モデルが不透明というわけではありません。たとえば、決定木と線形回帰モデルは、決定を決定する要因を明確に説明する 2 つの一般的な機械学習アルゴリズムです。ローン申請を処理するための決定木アルゴリズムをトレーニングすると、どのローン申請を承認し、どの申請を拒否するかを決定したかをツリー状に分解したデータ (名前の由来) が得られます。これにより、開発者は潜在的な問題要因を発見し、モデルを修正する機会が得られます。

しかし、ここ数年で非常に人気が高まったディープニューラルネットワークは、その仕組みを明らかにするのが特に苦手です。これらは人工ニューロンの層で構成されており、トレーニング中に確認される何千もの例に合わせてパラメータを調整する小さな数学関数です。多くの場合、ディープラーニング モデルを調査して、その意思決定プロセスに寄与する要因を特定することは困難です。

ローン申請処理のディープラーニング アルゴリズムは、ローン申請が届き、最終的な結論が導き出されるエンドツーエンドのモデルです。 AI アルゴリズムがどのように決定を下すかについては、機能ごとの詳細な説明はありません。ほとんどの場合、十分にトレーニングされたディープラーニング モデルは、それほど複雑ではないモデル (決定木、サポート ベクター マシン、線形回帰など) よりも優れたパフォーマンスを発揮し、人間の専門家には気付かれない関連パターンを発見できる場合もあります。

しかし、最も正確なディープラーニング システムでも時々間違いを犯し、間違いを犯した場合、何が間違っていたのかを正確に特定することが困難な場合があります。しかし、ディープラーニング システムは、不透明性が問題になる前に間違いを犯す必要はありません。怒った顧客が、AI アプリケーションがローン申請を拒否した理由を知りたいとします。説明可能な AI システムがあれば、意思決定に至るまでの手順を明確に説明できます。

しかし、AIアルゴリズムの技術的な不透明性は技術メディアで広く注目されているが、アルゴリズム自体は些細で説明可能なものであっても、企業がそのアルゴリズムを使用する不透明な方法についてはあまり議論されていない。 「参加者がモデル化されている内容やモデルの目的を理解していたとしても、モデルは依然として不透明で、目に見えないものなのです」とオニール氏は『Weapons of Math Destruction』で問いかけている。

AI アルゴリズムを企業秘密とみなす企業は、競合他社に対する優位性を維持するために、それを隠すために全力を尽くします。 Google 検索を動かす AI アルゴリズムについては、ほとんどわかっていません。この機密性は理にかなっています。たとえば、Google が検索アルゴリズムの内部構造を公開した場合、不正操作の危険にさらされることになります。実際、Google が検索アルゴリズムの詳細を明らかにしていなくても、業界は Google 検索で 1 位を獲得するための近道を見つける準備ができています。結局のところ、アルゴリズムは独自のルールに従って動作する、心のない機械です。彼らは、行動規範を曲げる悪質な行為者を特定するために常識的な判断を下しません。

しかし、同じ例を挙げると、透明性がなければ、Google 自体が自社の目的や経済的利益を達成するために検索結果を操作していないことをどうやって保証できるでしょうか。これは、組織が AI アルゴリズムを使用する際にたどる微妙な境界線を示すだけです。 AI システムが不透明であれば、ミスをしなくても損害を与えることができます。システムのパフォーマンスについてほんのわずかな疑念があるだけでも、システムに対する不信感を抱くには十分です。一方、透明性が高すぎると逆効果となり、他の悲惨な結果につながる可能性もあります。

オニール氏は、GDPRやCCPAなどの規制が施行される前の2016年に『Weapons of Math Destruction』を執筆した。これらの規制では、企業に対して AI アルゴリズムの使用について透明性を保つこと、および自動化システムの背後にある意思決定プロセスをユーザーが調査できるようにすることが求められています。欧州委員会の AI 倫理規則などの他の動向も透明性を促進します。

AI の透明性を取り巻く技術的、倫理的、法的課題の解決には大きな進歩が見られてきましたが、さらなる取り組みが必要です。規制当局が企業の機密保持を規制する新しい法律を可決するにつれ、企業は、アルゴリズムの透明性の権利を明らかに奪う長い利用規約ダイアログなど、捕まることなく、それらの規則を回避する新しい方法を見つけるでしょう。

AIアルゴリズムによる損害を誰が負うのか？

AI アルゴリズムが愚かな買い物推奨を行ったり、画像を誤分類したり、その他の愚かなことをしたりする例は数多くあります。しかし、AI モデルが私たちの生活に深く浸透するにつれて、そのエラーは無害なものから破壊的なものへと変化しています。

この本の中で、オニール氏はアルゴリズムが人々の生活に大混乱をもたらす可能性のあるさまざまな状況を検討している。例としては、人々に不当にペナルティを課す信用スコアリングシステム、人種や民族的背景に基づいて被告により重い刑を宣告する再犯アルゴリズム、優秀な教師を解雇し不正行為者に報酬を与える教師評価システム、低所得層を犠牲にして数十億ドルを稼ぐ取引アルゴリズムなどが挙げられます。

アルゴリズムの影響と透明性の欠如が組み合わさると、危険な AI システムが作成されます。例えば、オニール氏は「新しい再犯モデルは複雑で数学的だ。しかし、これらのモデルには多くの仮定が組み込まれており、その中には偏ったものもある」と述べ、「再犯モデルの仕組みは、少数のエリートだけが理解できるアルゴリズムの中に隠されている」と付け加えた。

基本的に、これは、被告人が恩赦の資格がないと判断された理由を知ることができないまま、AI アルゴリズムが人種に基づいて人を刑務所に留めることを決定できることを意味します。

危険な AI アルゴリズムの混乱をさらに悪質にする要因がさらに 2 つあります。

まず、データです。機械学習アルゴリズムは、トレーニングと精度のために質の高いデータに依存します。画像分類器で猫の写真を正確に検出するには、ラベルの付いた猫の写真を多数提供する必要があります。同様に、ローン申請アルゴリズムには、ローン申請とその結果（支払い済みか未払いか）の膨大な履歴記録が必要になります。

問題は、AI アルゴリズムによって被害を受けるのは、質の高いデータが十分にない人々であることが多いことです。このため、ローン申請処理業者は、すでに銀行サービスに十分にアクセスできる人々にはより良いサービスを提供し、金融システムから大きく排除されている銀行口座を持たない人々や恵まれない人々には不利益を与えることができるのです。

2 番目の問題はフィードバック ループです。 AI アルゴリズムが問題のある決定を下し始めると、その動作によってさらに多くの誤ったデータが生成され、それがさらにアルゴリズムを改良するために使用され、より大きな偏りが生じ、このサイクルが続きます。

警察活動について、オニール氏は、犯罪に関する偏った予測によって、より多くの警察官が貧困地域に配属されることになると主張している。 「これにより有害なフィードバックループが生まれます」と彼女は書いている。つまり、警察活動自体が新たなデータを生み出し、それがさらなる警察活動を正当化するのだ。私たちの刑務所には、無害な犯罪で有罪判決を受けた何千人もの人々が収容されています。 ”

これらすべての個別かつ接続された AI システムがどのように相互理解するかについて理解を深めると、実際の危害がどのように発生するかがわかります。オニールは状況を次のように要約している。「貧しい人々は信用が悪く、犯罪率の高い地域に住み、他の貧しい人々に囲まれている可能性が高い。WMD の闇の世界がこのデータを消化すると、サブプライム ローンや営利目的の学校の略奪的な広告を掲載する。警察を派遣して彼らを逮捕し、有罪判決を受けたらより長い刑期を宣告する。このデータは他の WMD に送られ、同じ人物を高リスクまたは簡単な標的として評価し、住宅ローン、自動車ローン、およびあらゆる保険料率を引き上げながら、彼らが働けないようにする。これにより彼らの信用格付けはさらに低下し、まさにモデル化された死のスパイラルが生まれる。WMD の世界では、貧しいことはますます危険で費用がかかるようになる。」

アルゴリズムによる被害の爆発的な規模

「3番目の質問は、モデルが指数関数的に成長する能力があるかどうかです。統計学者が言うように、それはスケールしますか？」とオニール氏は著書『数学の破壊兵器』に記している。

先ほど説明した Google 検索の例を考えてみましょう。何十億もの人々が、健康、政治、社会問題に関する重要な質問の答えを見つけるために Google 検索を利用しています。 Google の AI アルゴリズムの小さな間違いが世論に大きな影響を与える可能性があります。

同様に、Facebook のランキング アルゴリズムは、毎日何百万人もの人々に見られるニュース記事を決定します。これらのアルゴリズムに問題があれば、悪意のある人物がそれを悪用して、偽りのセンセーショナルなニュースを広める可能性があります。直接的な悪意がなくても、危害を加える可能性があります。たとえば、魅力的なコンテンツを優先するニュースフィード アルゴリズムは、偏見を増幅し、フィルター バブルを作成して、ユーザーが異なる意見に寛容でなくなる可能性があります。

不透明で欠陥のある AI アルゴリズムが何億人もの人々の信用スコアを決定したり、国の教育システムの運命を決めたりすると、数学の破壊兵器に必要なすべての要素が揃うことになります。では、これに対して何をすべきでしょうか? 私たちが導入する AI アルゴリズムの限界を認識する必要があります。難しい決定を下す責任から解放してくれる自動化システムを導入するのは魅力的に思えるかもしれませんが、人間がいつこれらの決定を受けるのか、そしてそれがどのように影響を受けるのかを理解する必要があります。

ビッグデータプロセスは過去を整理します。彼らは未来を創造しません。そうするには道徳的な想像力が必要であり、それは人間が提供できるすべてです。より良い価値をアルゴリズムに明示的に組み込む必要があります。時にはそれは利益よりも公平性を優先することを意味します。