ディープラーニングは時々奇妙な間違いを犯す

[[411985]]

ディープラーニングは驚くほど強力ですが、人間が決して犯さないような驚くべき間違いを犯す可能性もあります。

コンピュータービジョンが普及し始めたとき、ディープラーニングベースの画像分類器が少々不安定であることが観察されました。たとえば、画像分類器はスクールバスの写真を正しく識別できるかもしれませんが、少量のノイズ（アルゴリズムを混乱させるために慎重に選択されたもの）が含まれていると、ダチョウと間違えてしまう可能性があります。

ディープラーニングでは、存在しないものも見えることがあります。研究者チームは、画像が実際には波線やその他の抽象的なパターンのみで構成されていても、コンピュータービジョンアルゴリズムが非常に高い信頼度で馴染みのある物体として分類する画像を生成する方法を考案しました。

コンピューター ビジョンを現実世界に適用する場合にも、同じ問題が発生します。交通標識に小さな色のパッチを貼ることで、コンピュータービジョンのアルゴリズムが一時停止標識を速度制限標識と誤認する可能性があります。

この問題はコンピュータービジョンに限ったことではありません。 Amazon は、求職者を評価するための実験的なコンピュータ プログラムである Euro™ Resume でこの点に注目しました。開発チームは、プログラムが候補者の実際の職務経験を表す言葉に基づいて決定を下していないことに気づいたため、実験は中止されました。対照的に、男性エンジニアは女性エンジニアよりも無関係な単語を比例して頻繁に使用する傾向がありました。本質的に、プログラムは、応募者が仕事に適しているかどうかではなく、応募者の性別を予測することを学習しました。この偏見は、システムが過去に企業に提出された履歴書に基づいてトレーニングされたことと、エンジニアリング職に応募し採用される頻度が女性よりも男性の方が多いことから生じます。

なぜコンピューターは愚かなミスを犯すのでしょうか?

スクールバスの画像が、実質的に同一のレプリカがダチョウと間違われた場合、どうすれば正しく分類できるのでしょうか?

ディープラーニング モデルは複雑な数学的なブラック ボックスです。彼らの決定の論理を理解するのはしばしば困難です。人間の脳は複雑ですが、2つの複雑なものが同じような世界観を持つ理由はありません。おそらく驚くことではないが、人間と機械は、2 つの画像の類似点に関する認識が非常に異なっている。 （™）

人間と AI は世界をまったく異なる方法で見ています。人間はダチョウの画像を見ると、それを認識し、ダチョウの概念と関連付け、速く走る飛べない鳥で、首が長く、アフリカに生息しているなどの関連事実を思い出します。一方、AI は、ダチョウが動物を指すこと (または、実際のところ、動物が何であるか) さえ知りません。 AI にとって、ダチョウはピクセルの統計パターン (コンピューター ビジョン アプリケーションの場合) またはテキストの文字 (自然言語処理アプリケーションの場合) にすぎません。 AI アプリケーションには、ほとんどの大人が共有している常識的な知識が欠けています。

統計的なパターンの観点から考えることは、人間にとって非常に直感的ではありません。 AI アプリケーションの開発者でさえ、システムがどのようなパターンを学習したかを理解するのに苦労することがよくあります。

さらに悪いことに、統計モデルは開発者の意図とはまったく異なるパターンを学習する可能性があります。統計的手法では近道をとっており、トレーニング データに現れる最も単純なパターンを学習します。ホッキョクグマとしてラベル付けされた画像のほとんどに氷と雪が含まれている場合、モデルはホッキョクグマは白い背景を背景にして見られるものであると誤って学習する可能性があります。

[[411988]]

より良いモデルの開発

問題を軽減する方法はありますが、完全な解決策はありません。概念的には、最も簡単な解決策は、より多くのトレーニング データを収集することです。ただし、すべてのコーナーケースをカバーするには、非現実的なほど大きなトレーニング セットが必要になります。自動運転車のトレーニング データには、実際の交通で車が遭遇する可能性のある状況のほんの一部しか含めることができません。

関連するアプローチとして、低レベルのノイズを含む画像を切り取ったり、回転したり、拡張したりして、トレーニング サンプルのわずかに変更されたコピーを生成することにより、トレーニング セットを合成的に拡張する方法があります。これは、人間が同じ物体に対してどの程度画像が変化して見えるかをモデルに示す方法です。この方法でトレーニングされたモデルからの予測は、より信頼性が高く、人間の知覚とより一致していることがわかりました。

予測モデルが混乱していることに気づけば、この問題は緩和されるだろう。たとえば、テレキネシスの原因の 1 つは、入力がトレーニング中にモデルが見たものと大きく異なることである可能性があります。活発な研究の方向性は、アルゴリズムが自身の信頼度を測定できるようにする方法を見つけることです。

究極の解決策は、人間の常識的な知識を予測モデルに組み込むことです。ベイズモデリングは、事前の知識を組み込むための原理的なアプローチを提供します。しかし、複雑な問題では、必要な確率分布の形で知識を表現することは困難です。

人工知能の発展への影響

上で説明したように、AI システムはほとんどの場合うまく機能しますが、時折驚くべき間違いを犯すことがあります。これは人工知能システムの開発に一定の影響を与えます。

まず第一に、開発者は予期しない予測に対処する準備をする必要があります。潜在的なエラーのリスクを評価し、ユーザーに適切な回復方法を提供する必要があります。

包括的なテストにより、システムが期待どおりに機能していることがある程度保証されます。ただし、テストであらゆる状況をカバーできるわけではありません。奇妙な予測につながるまれな入力がいくつかある場合、ユーザーは遅かれ早かれそれに遭遇することになります。したがって、AI システムは、予期しない予測がある場合に適切に機能が低下するように設計する必要があります。

アプリケーションの性質と自動化の連続性における位置も、アドホック予測の影響に影響します。一部のアプリケーションでは、AI は単に提案を提供するだけで、それを常に人間が確認します。 Gmail オートコンプリートは、時折、笑いを誘うような奇妙な提案をしますが、深刻な結果をもたらすことはめったにないアプリの例です。一方、AI システムが自律的に意思決定を行うことが期待される場合は、十分な誤差範囲で設計する必要があります。さらに、ユーザーには決定を見直したり取り消したりする権限を与える必要があります。

最後に、奇妙な結果を常に避けられるわけではありません。予期せぬ結果は創造性の揺りかごとなることがあります。 AI Dungeon は、オープンエンドのテキストアドベンチャーストーリージェネレーターです。その魅力は主に、局所的に一貫性のある文章を生成する能力に基づいています。同時に、ストーリーの完全な文脈を追跡する能力が限られているため、夢のような、何でも起こり得るストーリー展開になることが多い。