人工知能の70年間で、研究者が最も直面したくない痛い教訓は...

この記事は公開アカウント「Reading Core Technique」（ID: AI_Discovery）から転載したものです。

1956 年にダートマス大学で開催されたあの有名な会議以来、人工知能の研究は多くの浮き沈みを経験しながら長い道のりを歩んできました。私たちは過去から学び、未来に備える必要があります。この期間に、繰り返し研究する必要がある多くの教訓が得られましたが、最も重要な教訓は多くの研究者にとって受け入れがたいものです。

[[337752]]

70 年にわたる AI 研究から私たちが学んだ最大の教訓は、コンピューティング能力を最大限に活用するという一般的なアプローチが、最終的には最も効果的なアプローチであり、大きな利点があるということです。根本的な理由は、ムーアの法則、より正確には、ムーアの法則がコンピューティングの単位あたりのコストの継続的な指数関数的な低下を促進するという現象です。

ほとんどの AI 研究は、エージェントが利用できる計算量が一定であるという状況で行われており、その場合、パフォーマンスを向上させる唯一の方法は人間の知識を活用することとなります。これは必然的に計算量が多くなり、一般的な研究プロジェクトよりも少し時間がかかります。短期的に大きな進歩を遂げるために、研究者はその分野における既存の人間の知識を活用しようとしますが、長期的には計算だけが本当に役立ちます。

これら 2 つは必ずしも対立するものではありません。しかし、実際には対立することがよくあります。どちらか一方を研究することに時間を費やすと、自然にもう一方を無視することになり、これは投資における心理的コミットメントに少し似ています。人間の知識方法は複雑になる傾向があり、一般的な計算方法がより大きな役割を果たすことにはつながりません。 AI 研究者がこの痛い教訓を学ぶのが遅すぎたことを示す例は数多くあり、最も典型的な例のいくつかは私たちにインスピレーションを与えるかもしれません。

1997 年のチェスの試合で世界チェスチャンピオンのガルリ・カスパロフを破ったアルゴリズムは、徹底的なディープサーチに基づいていました。当時、チェスの特殊な構造に対する人間の理解を活用する方法を模索していたほとんどのコンピューターチェス研究者にとって、これは不満の種でした。

専用のハードウェアとソフトウェアを使用した比較的単純な検索ベースのアルゴリズムの方がはるかに効果的であることが明らかになったとき、人間の知識に頼っていたチェスの研究者たちは負けるわけにはいかなかった。彼らは、今回は「力ずく」の探索が勝利したかもしれないが、それは普遍的な戦略ではなく、そもそも人々がチェスをプレイする方法でもないと主張している。これらの研究者は、人間の知識に基づいた方法が勝利することを期待していましたが、失望しました。

コンピュータ囲碁も同様の研究進歩のパターンを辿っていますが、20年後のことです。当初、人々は人間の知識やゲームの特性を利用して、できるだけ検索を回避しようとしましたが、検索が大規模に効果的に適用されると、すべての努力が無駄になりました。

同様に重要なのは学習、つまり自己プレイを通じて価値関数を学習することです (他の多くのゲームやチェスでも同様ですが、1997 年の世界チャンピオンの最初の敗北ではあまり使用されませんでした)。自己プレイによる学習と、検索などの一般的な学習により、多くの計算を達成できます。

検索と学習は、人工知能研究において大量の計算を活用するための最も重要な 2 つの技術です。コンピューター囲碁でも、コンピューターチェスと同様に、研究者は当初、人間の理解力を利用して目標を達成したいと考えていましたが、その後、探索と学習を取り入れなければならなくなり、より大きな成功を収めることができました。

音声認識の分野では、1970 年代初頭に、米国国防総省の国防高等研究計画局が音声認識のコンテストを開始しました。エントリーでは、語彙知識、音素知識、人間の声道に関する知識など、人間の知識を活用する多くの特別なアプローチが活用されました。一方、隠れマルコフモデル (HMM) に基づく新しい方法は、より統計的な性質を持ち、計算負荷も高くなります。

再び、統計的手法が人間の知識に基づく手法に勝利し、自然言語処理の分野に大きな変化をもたらしました。数十年にわたる発展を経て、統計と計算は徐々にこの分野の主導的な地位を占めるようになり、音声認識における最近のディープラーニングの台頭は、この方向への最新の一歩です。ディープラーニング手法は、人間の知識に頼るのではなく、計算に頼り、大規模なトレーニング セットからの学習を組み合わせることで、既存のシステムよりもはるかに優れた音声認識システムを作成します。

ゲームと同じように、研究者は常にシステムを自分たちの望む通りに機能させようとしています。彼らはシステムに知識を組み込もうとしましたが、ムーアの法則によって膨大な計算が可能になり、それを効率的に使用する方法が見つかると、これは結局逆効果となり、研究者の時間の大きな無駄であることが判明しました。

同様のパターンはコンピュータービジョンの分野でも見られます。初期のアプローチでは、視覚はエッジ、一般化された円柱、または SIFT 機能の検索であると考えられていましたが、今日ではこれらの考え方は放棄されています。現代のディープラーニング ニューラル ネットワークは、畳み込みの概念と特定の不変性のみを使用しており、はるかに優れた機能を発揮します。

これは重要な教訓です。私たちは同じ間違いを繰り返し、人工知能の分野を完全に理解することは決してありません。同じ間違いを繰り返さないようにするには、何がその間違いを引き起こしたのかを理解する必要があります。私たちの考え方でシステムを構築することは長期的にはうまくいきません。これは学ばなければならない痛い教訓です。

この痛い教訓は、歴史的な観察から得られたものです。AI 研究者は、エージェントに知識を組み込もうとすることが多く、それは常に短期的には有用であり、研究者自身にとっても満足のいくものです。しかし、長期的には、このアプローチは停滞し、さらなる発展を妨げる可能性さえあります。研究者たちは、検索と学習に基づいて計算をスケーリングするという逆のアプローチを採用することで、最終的に画期的な成果を達成しました。

このような成功は少々苦いものであり、完全に受け入れるのが難しい場合が多く、支援的で人間中心のアプローチによって達成されるものではありません。

私たちが苦労して学ぶべきだったのは、一般的な方法には莫大な力があり、利用可能な計算が膨大になったとしても、利用可能な計算量に応じて拡張し続けるということです。検索と学習は、このように任意に拡張できると思われる 2 つの方法です。

私たちが学ぶべき2番目のことは、思考の内容は実は非常に複雑であるということです。空間、物体、複数のエージェント、対称性などについて考えるといった、思考の内容を探求するのに単純な方法はもう使用すべきではありません。これらはすべて、恣意的で本質的に複雑な外部世界の一部です。複雑さが無限にあるため、固めるべきではありません。

代わりに、構築する必要があるのは、この任意の複雑さを検出してキャプチャできるメタメソッドだけです。これらの方法の鍵となるのは、良好な近似値をとらえることができることですが、この近似値は私たち自身ではなく、私たちの方法によって実行される必要があります。 AI に必要なのは、人間のように発見することであり、発見したものを保存することではありません。人間の発見に基づいて構築すると、発見プロセスがどのように達成されたかを把握することが難しくなります。

70 年以上にわたる探査により、研究者たちはこれらの事実をますます明らかにしてきました。たとえ直視することに抵抗があったとしても、研究者たちはこれらの現実を認識する必要があります。間違いを避ける方法は間違いに直面することです。