OpenAI エンジニア必読: 苦い教訓

OpenAIが動画生成モデルSoraをリリースしてから1週間が経ちましたが、その人気は衰えていません。作者チームは目を引く動画をリリースし続けています。たとえば、Sora は、冒険好きな子犬のグループが空の遺跡を探検する映画の予告編を一気に作成し、自分で編集しました。

もちろん、鮮明でリアルな AI ビデオを見ると、なぜ OpenAI が最初に Sora を作成し、すべての AGI テクノロジー スタックを実行できたのかが気になります。この問題はソーシャルメディア上で白熱した議論を巻き起こした。

その中で、カリフォルニア大学バークレー校のコンピューターサイエンスの博士号を持つ @SIY.Z 氏は、Zhihu の記事で、OpenAI の成功した方法論のいくつかを分析しました。彼は、OpenAI の方法論が AGI につながる方法論であり、この方法論は「苦い教訓」、「スケーリングの法則」、「新たな特性」など、いくつかの重要な「公理」に基づいていると考えています。

オリジナルの Zhihu の投稿: https://www.zhihu.com/question/644486081/answer/3398751210?utm_psn=1743584603837992961

この苦い教訓は、機械学習の先駆者であるリッチ・サットン氏が2019年に執筆した古典的な論文「苦い教訓」から来ています。ここ数十年で人工知能がたどってきた回り道を探求することで、彼の核心的な主張は、人工知能が長期的に向上したいのであれば、強力なコンピューティングパワーを使うしかないというものです。ここでの計算能力は、大量のトレーニング データと大規模なモデルを意味します。

オリジナルリンク: http://www.incompleteideas.net/IncIdeas/BitterLesson.html

そのため、著者の @SIY.Z は、ある意味では、強力なコンピューティングパワーに支えられた汎用 AI アルゴリズムが AGI への黄金の道であり、AI 技術の真の進歩の方向であると考えています。大きなモデル、大きな計算能力、そして大きなデータを備えた「The Bitter Lesson」は、AGI に必要な条件を構成します。スケーリング則の十分条件と組み合わせることで、アルゴリズムを使用して、大規模なモデル、大規模な計算能力、およびビッグデータでより良い結果を達成できます。

偶然にも、リッチ・サットンの『The Bitter Lesson』は、今週話題になったOpenAIの研究者ジェイソン・ウェイの日々の仕事のタイムラインでも言及された。業界の多くの人々が「苦い教訓」を指針として捉えていることがわかります。

出典: https://twitter.com/_jasonwei/status/1760032264120041684

一方、大規模言語モデル (LLM) を自身の結果の検証に使用できるかどうかについての別の議論では、LLM は自身の結果を検証する際に精度が十分でなく、パフォーマンスが低下する (API のコストが高くなる) と主張する人もいます。

出典: https://twitter.com/curious_vii/status/1759930194935029767

この観点に関して、別のTwitterユーザーが20年以上前にリッチ・サットンのブログ投稿で重要な発見をしました。

オリジナルリンク: http://incompleteideas.net/IncIdeas/KeytoAI.html

ブログにはこう書かれている。

あらゆる AI システムとそれが持つ知識を考えてみましょう。それはエキスパート システムや CYC のような大規模なデータベースである可能性があります。あるいは、建物のレイアウトを学習したり、さまざまな状況でどのように反応するかを理解したりするロボットかもしれません。これらすべてのケースにおいて、AI システムが自身の知識を検証できるかどうか、あるいはエラーや予期しない相互作用を検出して修正するために人間の介入が必要かどうかを問うことができます。後者の場合、真に大規模な知識システムを構築することは決してできません。これらは常に脆弱で信頼性が低く、人々が監視して理解できる範囲に規模が制限されています。

意外にも、リッチ・サットンが反応し、この書きかけのブログ投稿が『苦い教訓』の原型だと言いました。

出典: https://twitter.com/RichardSSutton/status/1760104125625459171

実際、OpenAI が Sora をリリースしてすぐに、多くの人が The Bitter Lesson が重要な役割を果たしたことに気づきました。

『The Bitter Lesson』をTransformerの論文『Attention is All You Need』と比較する人もいます。

出典: https://twitter.com/karanganesan/status/1759782109399662777

記事の最後で、リッチ・サットンの「Bitter Lessons」の全文を見てみましょう。

AI 研究の 70 年の歴史は、コンピューティング能力を活用するための一般的なアプローチが最終的には最も効果的なアプローチであることを教えてくれました。これは、ムーアの法則、つまりコンピューティングの単位あたりのコストが継続的に指数関数的に低下するという法則によって説明されます。ほとんどの AI 研究は、エージェントが利用できる計算量は一定であるという仮定の下で行われています (その場合、パフォーマンスを向上させる唯一の方法は人間の知識を活用することです)。しかし、一般的な研究プロジェクトよりもわずかに長い時間スケールでは、必然的に大量の計算量が必要になります。

短期的に進歩を遂げるためには、研究者は専門分野における人間の知識を活用する必要があります。しかし、長期的な改善を達成したいのであれば、コンピューティング能力を活用するのが最善の方法です。これら 2 つのことは必ずしも対立するものではありません。しかし、現実には対立することがよくあります。どちらか一方に時間を費やすと、もう一方がおろそかになります。人間の知識を活用する方法は複雑になる傾向があり、計算によるアプローチには適さなくなります。 AI 研究者がこれらの教訓を認識するのが遅れた例は数多くあるため、いくつかの顕著な例を振り返ってみる価値はある。

コンピューターチェスでは、1997 年に世界チャンピオンのカスパロフを破った方法は、広範囲にわたるディープ サーチに基づいていました。当時、ほとんどの AI コンピューター チェスの研究者はこれに失望し、チェスの特殊な構造に対する人間の理解を利用するというアプローチを採用しました。ハードウェアとソフトウェアを使用した、より単純な検索ベースのアプローチの方が効果的であることが判明したとき、人間の知識に頼っていたチェスの研究者たちは敗北を認めることを拒否しました。彼らは、この「力ずく」の探索方法が今回は勝利したものの、それは普遍的な戦略ではなく、いずれにせよ人間がチェスをプレイする方法ではないと主張している。これらの研究者は、人間の入力に基づく方法が勝つことを期待していましたが、失望しました。

20年後ではあるが、コンピュータ囲碁でも同様のパターンの研究進歩が見られた。当初、研究者たちは検索を回避するために人間の知識やゲームの特殊性を利用しようとしましたが、検索が大規模に適用されたため、すべての努力は無駄であることが判明しました。同様に重要なのは、価値関数を学習するために自己プレイを使用することです (他の多くのゲームやチェスでも同様ですが、1997 年の世界チャンピオンに対する最初の勝利では大きな役割を果たしませんでした)。自己プレイによる学習、そして一般的な学習は、多くの計算を必要とする点で、検索に少し似ています。検索と学習は、大量の計算を活用する人工知能研究において最も重要な 2 つの技術です。コンピュータ囲碁では、コンピュータチェスと同様に、研究者は当初、人間の理解（多くの探索を必要としない）を通じて目標を達成することを目指し、その後、探索と学習を通じて大きな成功を収めました。

音声認識の分野では、1970 年代初頭から DARPA が主催するコンテストが開催されていました。出場者は、言葉、要素、人間の発声器官など、人間の知識を活用した多くの特別な方法を使用しました。一方、より統計的であり、より計算集約的な隠れマルコフモデルに基づく新しい方法を利用する人もいます。ここでも、統計的手法が人間の知識に基づく手法に勝利します。これにより、過去数十年間にわたって統計と計算が主流となってきた自然言語処理の分野に大きな変化がもたらされました。音声認識におけるディープラーニングの最近の台頭は、この方向への最新の一歩です。

ディープラーニング手法は人間の知識にあまり依存せず、より多くの計算を使用し、大規模なトレーニング セットからの学習を伴うため、音声認識システムが向上します。ゲームと同じように、研究者は常にシステムを自分たちの望む通りに機能させようとします。つまり、システムに知識を投入しようとするのです。しかし、最終結果は望んでいるものとは逆の結果になり、研究者の時間の大きな無駄になることがよくあります。しかし、ムーアの法則により、研究者は大量のコンピューティングを活用して、それを効率的に使用する方法を見つけることができました。

コンピュータービジョンの分野でも同様のパターンが存在します。初期のアプローチでは、エッジの検索に視覚を考慮したり、シリンダーを一般化したり、SIFT 機能に依存したりしていました。しかし今日では、これらの方法はすべて放棄されています。現代のディープラーニング ニューラル ネットワークは、畳み込みと不変性の特定の概念のみを使用して、はるかに優れた結果を達成できます。

これは非常に大きな教訓です。私たちはいまだに同じ種類の間違いを犯しているため、人工知能の分野をまだ完全には理解できていません。これを理解し、同じ間違いを効果的に避けるためには、なぜ私たちが誤った方向に導かれたのかを理解する必要があります。私たちは、自分の考え方に固執しても長期的にはうまくいかないという厳しい教訓を学ばなければなりません。この痛い教訓は、次のような歴史的観察に基づいています。

1. AI 研究者は、多くの場合、独自のエージェントに知識を組み込もうとします。
2. 短期的には、これは通常役に立ち、研究者を満足させます。
3. しかし、長期的には、研究者の進歩が停滞したり、さらなる発展が阻害されたりすることになります。
4. 画期的な進歩は、最終的には、大規模な計算に基づく検索と学習に基づく逆のアプローチを通じてもたらされる可能性があります。最終的な成功は、好感の持てる人間中心のアプローチを通じて達成されたものではないため、苦い味を伴い、完全に受け入れるのが難しいことがよくあります。

私たちが苦労して学ぶべきことの一つは、汎用メソッドは非常に強力であり、利用可能な計算が非常に大規模になっても、計算能力が向上するにつれて拡張し続けるだろうということです。検索と学習は、まさにこのように任意に拡張できる 2 つの方法であると思われます。

強化学習のゴッドファーザーであるリチャード・S・サットン氏は、現在カナダのアルバータ大学の教授です。

私たちが苦労して学んだ 2 番目の一般的なポイントは、意識の実際の内容は極めて複雑であるということです。空間、オブジェクト、複数のエージェント、対称性などについて考えるなど、単純な方法で意識の内容について考えるべきではありません。これらはすべて、恣意的で、本質的に複雑な外部世界の一部です。

複雑さは無限であるため、それらは本質的であるべきではありません。代わりに、この任意の複雑さを見つけてキャプチャできるメタメソッドを構築する必要があります。これらの方法の鍵となるのは、良好な近似値を見つけることができることですが、その検索は私たちではなく、私たちの方法によって行われるべきです。

私たちは、AI エージェントが私たちが発見したものを再発見するのではなく、私たちと同じように新しいものを発見することを望んでいます。発見に基づいて構築すると、発見プロセスの完了を確認することがさらに困難になります。