AI の透明性とは何ですか? また、なぜそれが必要なのですか?

AI テクノロジーを利用する組織はますます増えていますが、多くの企業はまだ AI テクノロジーの仕組みを明確に理解していません。この記事では、AI の透明性の欠如の長所と短所を検討します。

[[342555]]

現代の AI は、ルールベースのソフトウェアプログラミングでは、コンピューティングの世界が解決したい問題を解決するのに十分ではなくなったときに誕生しました。プログラムが測定しなければならない条件をすべてエンコードすることは不可能なので、コンピューティングの専門家は人間の思考方法を模倣するマシンを設計し、AI がデータを観察することで自ら学習できるようにします。ニューラルネットワークと呼ばれるこのアプローチにより、顔認識プログラム、がん検出アルゴリズム、自動運転車などの AI テクノロジーが誕生しました。

しかし、ニューラルネットワークにはトレードオフが伴います。システムがどのように機能するかを理解できず、AI モデルには透明性が欠けています。この現象はブラックボックス AI と呼ばれ、問題となり、潜在的に深刻なものとなる可能性があります。

ブラックボックス AI のトレードオフ

AI は多くの場合、システムが正しい答えを導き出せる頻度を表す精度パーセンテージで測定されます。手元のタスクに応じて、必要な最小精度は異なる場合がありますが、99% の精度であっても AI の価値を測る唯一の基準にはなりません。また、特に AI をビジネスに適用する場合は、AI の大きな欠点も考慮する必要があります。ほぼ完璧な精度を持つ AI モデルにも問題が発生する可能性があるのです。

モデルの精度が高まるにつれて、AI が特定の答えに至った理由を説明する能力は低下し、企業にはモデルに対する AI の透明性が欠如し、その結果人間がその結果を信頼できなくなるという問題が残ります。なぜなら、アルゴリズムが最終的にどのように進化するか、あるいは深刻な結果をもたらすかどうかはわからないからです。あらゆる可能性が考えられます。

ブラックボックス問題は、AI 技術の初期段階では許容されていましたが、アルゴリズムの偏りが発見されると、その利点は失われました。たとえば、働くことができない人を人種に基づいて分類する AI が開発され、銀行業務で使用される AI は性別に基づいて不適格なローン申請者をふるい分けることができます。 AIがトレーニングのために受け取るデータは不均衡であり、さまざまな人々からの十分なデータを含めることができません。人間の意思決定における歴史的偏見もAIアルゴリズムモデルに引き継がれています。

AI は、ほぼ完璧なモデルでも重大な間違いを犯す可能性があることも示しています。 99% の精度を持つ AI モデルでも、一時停止標識を速度制限標識として分類するなど、残りの 1% についてはエラーが発生する可能性があります。人口数千万人の大都市では、1%という数字を過小評価することはできないのと同じです。

これらは誤分類やデータ不足の最も極端な例の一部ですが、それでも AI アルゴリズムに欠陥がある可能性があることを浮き彫りにしています。 AI の魔法は、パターンに従って答えを導き出し、人間の能力をはるかに超えるパフォーマンスを発揮することです。パターンの異常な変化がモデルを脆弱にするのと同じ理由で、AI に透明性が必要であり、AI がどのように結論に達したかを知る必要があるのです。

特に、AI を使用して重要な意思決定を行う場合は、アルゴリズムの推論プロセスと論理的な関係を理解することが重要です。 1% のエラー率でもがんを検出するように設計された AI モデルは、生命を脅かす可能性があります。この場合、AIと人間が協力する必要があり、AIモデルが特定の決定に至った経緯を説明できるとタスクは容易になります。 AI の透明性により、AI はチームプレーヤーになります。

法的な観点から、透明性は必要なステップとなる場合があります。

「銀行などの規制産業の中には、モデルが実稼働する前にコンプライアンスと法的承認を得るための必要なステップとしてモデルの説明可能性を検討しているところもある」と、データ分析業界の思想的リーダーであるピヤンカ・ジェイン氏は言う。

その他の事例としては、AI が個人情報を処理する GDPR やカリフォルニア州消費者プライバシー法などがあります。「GDPRの側面の1つは、個人の個人データを使用するアルゴリズムが決定を下す場合、人間にはその決定の理由を提示する権利があるということです」と、AIソフトウェア企業ストラディジAIの最高科学責任者兼共同創設者であるカロリーナ・ベセガ氏は述べた。

AI の透明性には多くの利点があるようですが、なぜすべてのアルゴリズムが不透明なのでしょうか?

AIの透明性は不十分

アルゴリズムが特定の決定に至った経緯を説明できるのと同様に、ハッキングもそれに比例して容易になります。

AI の推論を理解することで、ハッカーはアルゴリズムをより簡単に騙せるようになります。「AIの透明性は不正検出では推奨されません」とジェイン氏は説明した。「私たちは、詐欺をどのように捕まえるかを、より少ない人に知ってもらいたいと考えています。これはサイバーセキュリティでも同じです。一般的に、AI を使って悪者を捕まえようとする場合、その根底にあるロジックを知らない人を少なくしたいと考えており、AI はその点で最適です。」

AIの透明性に関するもう1つの問題は、独自のアルゴリズムの保護です。研究者らは、アルゴリズムの解釈を見るだけで、アルゴリズム全体を盗むことができることを実証しました。

最後に、透明なアルゴリズムは設計がより難しく、少なくとも現時点では、より単純なモデルにしか適用できません。透明性が必須であれば、企業や組織はより複雑でないアルゴリズムの使用を余儀なくされる可能性があります。

バランスを取る方法

他のコンピュータプログラムと同様に、AI にも最適化が必要です。私たちは、特定の問題の具体的なニーズを検討し、それらのニーズに最適な一般的なモデルを適応させることによってこれを行います。

AI を実装する場合、組織は次の 4 つの要素に注意する必要があります。

法的ニーズ:作業を法的および規制の観点から説明する必要がある場合は、透明性を提供する以外に選択肢はありません。これを実現するために、組織はより単純だが説明可能なアルゴリズムに頼らなければならない可能性があります。

重大性: AI を生命に関わるタスクに使用する場合は、透明性が確保されている必要があります。このようなタスクは AI だけに依存する可能性は低いため、推論メカニズムがあれば人間のオペレーターとのチームワークが向上する可能性があります。仕事のアプリケーションに使用されるアルゴリズムなど、AI が誰かの生活に影響を与える場合にも同様のことが当てはまります。

一方、AI のタスクが重要でない場合は、不透明なモデルで十分な場合があります。何千もの見込み客のデータベースから次に連絡する見込み客を推奨するアルゴリズムを考えてみましょう。AI の決定を相互チェックする価値はまったくありません。

アクセス権: AI モデルへのアクセス権を持つユーザーに応じて、組織はアルゴリズムを望ましくない影響から保護する必要がある場合があります。説明可能性は、専門家がより良い結論に到達するのに役立つのであれば、サイバーセキュリティの分野でも有益です。ただし、部外者が同じリソースにアクセスしてアルゴリズムの動作を理解できる場合は、不透明なモデルが適しています。

データセット: 状況に関係なく、組織は常に、できればできるだけ多くのソースから、多様でバランスの取れたデータセットを取得するよう努める必要があります。最終的には、私たちはできる限り AI に依存することになりますが、AI の賢さはトレーニングに使用したデータによって決まります。トレーニングデータをクリーンアップし、ノイズを除去し、入力のバランスをとることで、バイアスを減らし、モデルの精度を向上させることができます。