ブラックボックス問題が依然としてディープラーニングの普及を妨げている

[[211063]]

現在、ディープラーニングは人工知能の旗印を掲げており、将来、インテリジェントマシンが何ができるようになるかを垣間見ることができます。しかし、ディープラーニングには大きな問題があります。それがどのように機能するか誰も知らないのです。

私たちがディープラーニングについてすべてを知っているわけではないのです。今日のニューラル ネットワークの中核をなす機械学習アルゴリズムは、数十年にわたって開発されており、明確に定義され、文書化されています。銀行や保険などの規制が厳しい業界では、これらのアルゴリズムは大きな問題を引き起こすことなく長年にわたって使用されてきました。

「機械学習は基本的に線形数学であり、説明するのは非常に簡単です」と、データ企業テラデータの最高技術責任者、スティーブン・ブロブスト氏はテラデータ・パートナー・カンファレンスのパネルディスカッションで語った。 「しかし、多層ニューラルネットワークになると、問題は非線形数学になります。異なる変数間の関係が複雑になります。」

ニューラル ネットワークの明瞭性の問題は、本質的に複雑な基本アーキテクチャに起因しています。多くの隠し層を積み重ねることで、ネットワークをトレーニングするときにデータが通過するパスがほぼ無限に作成されます。次に、これらのパスにデータを何度も通し、各サイクルでマシンに変数の重みを決定させることで、従来の機械学習方法よりも優れた回答を提供するより優れたマシンを構築できることが分かりました。

これは人間の脳の粗い描写です。まだその仕組みが完全には理解されていないため、「粗い」という点に重点が置かれています。しかし、人間の脳が機能することはわかっていますし、ニューラル ネットワークがどのように機能するかは完全には理解していなくても、それが機能することはわかっています。ある意味では、ニューラル ネットワークの不透明性はバグではなく機能です。

複雑さは、ディープラーニングを機能させる秘密のソースです。

これも大きな研究分野です。金融サービスなどの業界はニューラルネットワークに熱心に取り組んでいますが、その仕組みを規制当局に適切に説明できないため、現在は使用がブロックされています。 「これは、リスク評価など規制が厳しい分野で機械学習を導入する上で大きな障壁となっている」とブロブスト氏は述べた。 「詐欺検出と推奨エンジンだけなら、それで済むかもしれません。しかし、規制が厳しい分野ではそうはいきません。」

これは、DataRobot がそれらの使用の自動化に役立つにもかかわらず、これらの分野の DataRobot の顧客が Tensorflow などのディープラーニング フレームワークを敬遠するのに十分な理由です。 「こうしたモデルは検証できないために却下されることもあります」と、DataRobot の CIO である Chris Devaney 氏は言います。 「防御するのは簡単ではありません。たとえブラックボックスでなくても、ニューラルネットワークアルゴリズムの奥深くで起こっていることをすべて記録することはできないため、ブラックボックスのように動作します。」

TensorFlow は大規模なデータセットに対して高速な予測を行うことができますが、DataRobot の顧客はそれを使用することを躊躇しています。 DataRobot は現在、Immuta と協力して機械学習におけるバイアスを見つけて削減する作業を行っており、この作業は最終的には成果を上げることになるでしょうが、まだ道のりは長いです。 「規制が厳しい顧客の中には、政府機関の前でこのモデルを擁護しなければならない場合、検討しない人もいるだろう」と彼は語った。

調査会社フォレスター・リサーチの副社長兼上級アナリスト、マイク・グアルティエリ氏は、一部の企業はある程度の懐疑心を持ってディープラーニングを活用していると述べた。 「こうしたモデルを使用している企業でさえ、それを信頼していない」と彼は最近のパートナー会議で語った。

ディープラーニングを使い始めている企業には、人間の介入やルールの導入など、不確実性に対処する方法があると彼は述べた。

「モデルは予測を立てることができるが、それは常に確率だ。だが、もしそれが間違っていたらどうなるだろうか？」と彼は言う。 「ルールを定めることができます。『これは詐欺だ』と伝えても、モデルは『これは詐欺ではない』と言うかもしれません。あるいは、『モデルが何を言おうと、私にとってこれは詐欺だ』のように、人間に有利なルールを定めることもできます。」

ニューラル ネットワークの透明性を高めるためのいくつかの作業が行われています。その 1 つは、ワシントン大学のコンピューター サイエンス教授である Marco Tulio Ribeiro 氏と、その同僚である Sameer Singh 氏および Carlos Guestrin 氏によって提案された、Locally Interpretable Model-Agnostic Explanations (LIME) フレームワークです。

LIME フレームワークは、理解可能性を向上させ、さまざまな不透明なアルゴリズムによって生成された予測をより簡単に解釈できるように設計されています。これには、ランダム フォレストやサポート ベクター マシン (SVM) などの従来の機械学習手法や、ますます普及しているニューラル ネットワーク手法が含まれます。

GitHub 上のオープンソース ソフトウェアである LIME フレームワークは、ニューラル ネットワークの外層を層ごとに剥がしていくことが期待されています。 「LIMEは機械学習の実践者に自信を与え、ツールポートフォリオに追加できる効果的なツールです」と、リベイロ教授、シン教授、ゲストリン教授は、コンピューターニュースサイト「オライリー」に2016年に掲載された記事に書いている。

しかし、LIME が業界の信頼を獲得するには、まだやるべきことがたくさんあります。テラデータのブロブスト氏はこう語った。 「上で述べたフレームワークであるLIMEはまだ完成していません」と彼は言う。「これは活発な研究領域ですが、私はこれを『大学院コード』と呼んでいます。使用例は非常に限られています。特殊な使用例には特殊なカスタマイズが必要です。」