北京大学の研究者らは、今回AIが「平らになる」理由を発見した。それはすべてデータセットのせいだ

人工知能をトレーニングする場合、AI は人間のタスクを完了するための不可解な方法を学習してしまうことがよくあります。

一部の AI は、「バグ」によってレベルを素早く通過する方法を学習します。

[[404522]]

一部の AI は、「ゲームを一時停止している限り、負けることはない」という究極の哲学を学習しました。

AIも「横になりたい」

モデルの精度を向上させるために、通常は対応する報酬が設定されますが、モデルが初期段階で報酬を得るための「近道」を見つけることもあります。

AI は一度成功を味わうと、常にこの「近道」を選択するようになり、より難しい知識や方法を学習しなくなります。

北京大学の研究者らは、言語モデルをトレーニングする際に、AIは正しい答えを出すことはできるものの、なぜその答えが正しいのかは理解できないことを発見した。AIが知っているのは、特定の種類の質問に遭遇したときにこの答えを使用できるということだけだ。

そのため、研究者たちは AI を「支援」し、AI が怠けることなく「一生懸命勉強」できるようにしようと決めました。

論文の宛先:
出典：http://arxiv.org/pdf/2106.01024.pdf

この論文はarXivで公開されました。著者は北京大学王軒コンピューター研究所および北京大学教育部計算言語学重点実験室のYuxuan Lai、Chen Zhang、Yansong Feng、Quzhe Huang、Dongyan Zhaoです。

AI はなぜいつも「横になりたがる」のでしょうか?

いくつかの研究では、AI は常に「横になる」ことを好むことが判明しましたが、この現象がデータセット内の「近道」の問題に関連していることは判明しませんでした。

この目的のために、この論文では、質問に対する 2 つの回答、「ショートカット バージョン」と「チャレンジ バージョン」を含む新しい注釈付きデータセットを提案しています。

学習した知識を表現するには意味の理解が必要であるため、データセットでは、より複雑で詳細な回答の基準として「言い換え」を使用します。対照的に、「ショートカット」の回答は、日付やその他のキーワードなどに基づいて生成されますが、コンテキストや理由は考慮されません。

研究者らは、トレーニング セット内の「ショートカット」サンプルの数が多くなるほど、モデルが「解釈」を学習し、困難な問題を解決するのが妨げられることを発見しました。 「ショートカット版」の質問に答える際のモデルのパフォーマンスは基本的に安定しています。

記事では、トレーニング セットに十分な数の「チャレンジ バージョン」の質問がある場合、モデルは「チャレンジ バージョン」の質問をよりよく理解できるだけでなく、「ショートカット バージョン」の質問にも正しく答えることができることが示されています。

AIはどうやって「横になる」ことを学んだのでしょうか?

記事によると、トレーニングの初期段階では、モデルはトレーニング データに適合する勾配降下法を実現する最も簡単な方法を見つける傾向があるとのことです。また、「ショートカット」は学習に必要な計算リソースが少ないため、これらのトリックを適合させることが優先されます。

その後、モデルはトレーニングの質問のほとんどに正しく回答するために使用できるショートカットを学習しているため、残りの質問では、質問の「チャレンジ バージョン」で必要な複雑なソリューションをモデルが引き続き探索する動機にはなりません。

AIを「支援」する方法はあるのでしょうか?

これは、NLP アーキテクチャ自体の問題に加えて、トレーニング中の標準的な最適化とリソースの節約、および限られたリソースで短期間にモデルに結果を出させるプレッシャーの結果である可能性もあります。

記事が示唆しているように、データ前処理の分野では、データ内の「ショートカット」を解決すべき問題として考慮したり、より困難なデータを優先するように NLP アーキテクチャを変更したりする必要があるかもしれません。