科学者たちは、より信頼性の高い予測を達成するために人工知能が「近道」をすることを避ける方法を研究している。

新しいアプローチにより、機械学習モデルはタスクを学習する際により多くのデータに焦点を当てるようになり、より信頼性の高い予測が可能になります。 Uber のドライバーが近道をとれば、目的地に早く到着できるかもしれません。しかし、機械学習モデルが近道をとると、予期せぬ形で目的を台無しにする可能性があります。

[[432930]]

機械学習では、モデルがデータの真の性質を学習するのではなく、データセットの単純な特徴に依存して決定を下すとショートカットが発生し、不正確な予測につながる可能性があります。たとえば、モデルは、牛のより複雑な形や模様ではなく、写真に写っている緑の草に焦点を当てて、牛の画像を認識することを学習する場合があります。

MIT の研究者による新しい研究では、一般的な機械学習手法における近道の問題を調査し、モデルが決定を行う際により多くのデータを使用するように強制することで AI が近道をとることを防ぐことができる解決策を提案しています。

モデルが焦点を当てていたより単純な特徴を削除することで、研究者はモデルが考慮していなかったデータのより複雑な特徴に焦点を合わせるように強制した。次に、モデルに同じタスクを 2 つの方法で解決するように指示しました。つまり、1 回目はより単純な特徴を使用し、2 回目は認識することを学習した複雑な特徴も使用して、近道する解決策の傾向を減らし、モデルのパフォーマンスを向上させました。

MIT の研究者たちは、モデルがこれまで考慮していなかったデータ内の特徴に強制的に焦点を合わせることで、対照学習モデルが近道を取る傾向を減らす手法を開発した。

この研究の潜在的な応用例の 1 つは、医療画像内の病気を識別するために使用される機械学習モデルの有効性を向上させることです。このような状況で近道的な解決策をとると、誤った診断につながり、患者にとって危険な結果を招く可能性があります。

ショートカットを理解するための長い道のり

研究者たちは、自己教師型機械学習の強力な形態である対照学習に研究の焦点を当てました。自己教師型機械学習では、人間によるラベル付けされた説明のない生データを使用してモデルがトレーニングされます。したがって、より幅広い種類のデータに効果的に使用できます。

自己教師学習モデルは、画像分類などのさまざまなタスクの入力として使用されるデータの有用な表現を学習します。しかし、モデルが近道をして重要な情報を取得できない場合、タスクもその情報を利用できなくなります。

たとえば、自己教師あり学習モデルが、多数の病院のレントゲン写真で肺炎を分類するようにトレーニングされているが、スキャンが特定の病院からのものであることを識別するラベルに基づいて予測を行うように学習している場合（一部の病院では他の病院よりも肺炎の症例が多いため）、新しい病院のデータが与えられたときにモデルはうまく機能しません。

対照学習モデルでは、類似の入力ペアと非類似の入力ペアを区別するようにエンコーダーアルゴリズムがトレーニングされます。このプロセスは、画像などの豊富で複雑なデータを、対照学習モデルで解釈できる方法でエンコードします。

研究者たちは、さまざまな画像に対してコントラスト学習エンコーダーをテストし、このトレーニングプロセス中に、エンコーダーも近道的な解決策に陥ることを発見しました。エンコーダーは、画像内の最も単純な特徴に焦点を当てて、どの入力ペアが類似していて、どの入力ペアが類似していないかを判断する傾向があります。理想的には、エンコーダーは意思決定を行う際に、データのすべての有用な機能に注意を払う必要があります。

そこで研究チームは、類似したデータペアと類似しないデータペアの区別を難しくしたところ、エンコーダーが決定を下す際に考慮する特徴が変化することが分かりました。

類似したアイテムと類似しないアイテムを区別するタスクをますます困難にすると、システムは学習せずにタスクを解決できないため、データ内のより意味のある情報を学習する必要が生じます。ただし、この難易度を上げるとトレードオフが発生します。エンコーダーは、データの一部の機能に焦点を合わせる能力は向上しますが、他の機能に焦点を合わせる能力は低下し、より簡単な機能をほとんど忘れてしまうようです。

このトレードオフを回避するために、研究者らはエンコーダーに、元の方法でより単純な特徴を使用し、すでに学習した情報を削除した後でこれらのペアを区別するように依頼しました。タスクを 2 つの方法で同時に解決すると、すべての機能にわたってエンコーダーが改善されました。

彼らのアプローチは暗黙的特徴変更と呼ばれ、サンプルを適応的に変更して、エンコーダーがペアを区別するために使用するより単純な特徴を削除します。この技術は人間の入力に依存しません。これは、現実世界のデータセットには何百もの異なる特徴があり、それらが複雑に組み合わされる可能性があるため重要です。