2022年までのビッグモデルの未来を展望し、周志華、唐潔、楊紅霞といったビッグネームはどう考えているのだろうか？

年末から年始にかけて、ビッグモデルの過去を振り返り、ビッグモデルの未来に期待してみましょう。

28日、アリババDAMOアカデミーは2022年のトップ10テクノロジートレンドを発表した。その中で、 「大規模モデルのパラメータ競争は冷却期に入り、大規模モデルと小規模モデルがクラウドとエッジで共進化する」という主張がAI界で大きな注目を集めています。

[[442921]]

2021年は大型モデルが爆発的に増加した年です。私たちは大型モデルの驚異的なパフォーマンスを目の当たりにしましたが、同時に、大幅に高いエネルギー消費など、大型モデルの現在の限界についても学びました。

DAMOアカデミーは、超大規模事前トレーニングモデルは、弱い人工知能から汎用人工知能への画期的な探求であり、従来のディープラーニングのアプリケーション断片化の問題を解決すると考えています。ただし、パフォーマンスとエネルギー消費の不均衡な向上という効率の問題により、パラメータスケールの継続的な拡大が制限されています。

次に、人工知能の研究は、大規模モデルのパラメータ競争から、大規模モデルと小規模モデルの共進化へと移行します。大規模モデルは、エッジとエンドの小規模モデルにモデル機能を出力します。小規模モデルは実際の推論と実行を担当します。同時に、小規模モデルはアルゴリズムと実行結果を大規模モデルにフィードバックし、大規模モデルの機能を継続的に強化して、有機的に循環するインテリジェントシステムを形成します。

これについては、周志華氏、唐潔氏、楊紅霞氏など学界や産業界の代表的な専門家の多くがコメントしている。

ビッグモデルの次は何でしょうか?年末から年始にかけて、ビッグモデルの過去を振り返り、ビッグモデルの未来に期待してみましょう。

大型モデルと小型モデルは異なる役割を果たす

南京大学コンピュータ科学技術学部長兼人工知能学院学部長 周志華氏

[[442922]]

一方で、大規模モデルは多くの問題においてこれまで予想できなかった成功を収めています。他方では、膨大なトレーニングエネルギー消費と二酸化炭素排出量は無視できない問題です。個人的には、将来的には大規模モデルが国民経済や国民生活に関わるいくつかの主要な任務で役割を果たすことになると思いますが、他のいくつかのシナリオでは、アンサンブル学習に似た方法、特に少量のトレーニングを通じて既存の小規模モデルを「再利用」して統合し、優れたパフォーマンスを実現する小規模モデルが使用される可能性があります。

私たちは「ラーニングウェア」と呼ばれるアイデアを提案しており、現在この分野で調査を行っています。一般的な考え方は、多くの人がすでにモデルを作成し、特定の市場でそれを共有する意思があると仮定し、市場がプロトコルを確立して学習教材を整理および管理することです。将来、人々が新しいアプリケーションを作成するときに、データを収集してモデルをゼロからトレーニングする必要はありません。まずプロトコルを使用して、市場に自分のニーズに近いモデルがあるかどうかを確認し、それを家に持ち帰って自分のデータで磨いてから使用できます。まだ解決すべき技術的な課題がいくつか残っており、現在その方向性を研究中です。

一方、人間の常識やドメイン知識を活用してモデルを合理化することは可能ですが、そのためには論理的推論と機械学習の組み合わせが必要です。論理的推論は人間の知識を活用するのに優れており、機械学習はデータの事実を活用するのに優れています。この 2 つを有機的に組み合わせる方法は、人工知能において常に大きな課題となっています。問題は、論理的推論が数学的論理に基づいた「一般から特定へ」の厳密な演繹プロセスであるのに対し、機械学習は「特定から一般へ」のそれほど厳密ではない帰納的プロセスであり、確率的にほぼ正しいという点です。方法論は大きく異なります。これまでの研究は、一般的には、2 つの当事者のうちの 1 つに依存し、もう 1 つの当事者の特定の要素を導入してきました。私たちは最近、両者を比較的バランスよく、相互に強化しながら活用する方法を模索しています。

2022年の大型モデルの将来に期待

清華大学コンピュータサイエンス教授、北京智源人工知能研究所副所長 唐潔氏

[[442923]]

2021年、超大規模事前学習モデル（ビッグモデルと呼ばれる）は、人工知能の国際最先端の研究と応用のホットスポットになりました。急速な発展にもかかわらず、一連の課題にも直面しました。新たに発表された「DAMO Academy 2022年トップ10テクノロジートレンド」では、AIモデル開発の新たな方向性として「大規模モデルと小規模モデルの共進化」を挙げ、「大規模モデルパラメータの競争は冷却期に入り、大規模モデルと小規模モデルはクラウドとエッジで共進化する」と提唱しており、業界の注目に値します。年末から来年の初めにかけて、ビッグモデルの 2021 年を振り返り、2022 年、さらに遠い未来に期待してみましょう。

1. 超大規模事前学習モデルは急速に発展しているが、一連の課題にも直面している

スタンフォード大学は2021年8月、基礎モデル研究センター（CRFM）を設立し、BERT、GPT-3、CLIPなどのモデルを、大規模データでトレーニングされ、幅広い下流タスクに適応できる「基礎モデル」と総称しました。この概念は学界で多くの論争を引き起こし、一部の学者はこのモデルが「基本的」であるかどうかを疑問視していますが、これらのモデルは現実世界の複雑さをより適切に処理できるため、ますます重要になっていることに留意する必要があります。

業界では大型モデルの開発を推進し続けており、モデルの規模と性能を常に新たな高みへと押し上げています。 1月にはOpenAIが大規模マルチモーダル事前学習モデルDALL・EとCLIPをリリースし、Googleは1.6兆規模の事前学習済み言語モデルSwitch Transformerをリリースし、10月にはMicrosoftとNVIDIAが5300億規模のMegatron-Turing自然言語生成モデルMT-NLGをリリースした。さらに、大規模モデルの応用も絶えず充実しており、現在、世界にはGPT-3に基づく商用アプリケーションが数百あります。最近のGPT-3 APIアプリケーションと微調整機能の全面的なオープン化により、GPT-3アプリケーションエコシステムも加速されます。

2021年はわが国における超大規模事前学習モデル開発の「元年」でもあります。現在、智源研究所、彭城実験室、中国科学院自動化研究所、アリババ、百度、ファーウェイ、インスパーなどの科学研究機関や企業が、「五道」、「盤古」、「紫東台中」、M6、PLUG、ERNIE 3.0などの大型モデルを相次いで発表しています。

国内外で超大規模事前学習モデルの開発は大きく進歩しているものの、大規模モデルの開発においては解決すべき重要な課題がまだ多くあることも認識すべきである。たとえば、事前学習済みモデルの理論的根拠はまだ明らかにされていません (たとえば、大規模モデルの知能にはパラメータスケールの制限があるか)。また、大規模モデルを実際のシステムに効率的かつ低コストで適用するにはどうすればよいか。第二に、大規模モデルの構築には、データ品質、学習効率、コンピューティング電力消費、モデル配信など、多くの障害を克服する必要があります。最後に、現在の大規模モデルのほとんどは一般に認知能力が不足しており、これが一部の学者がそのようなモデルを「基本モデル」と呼べるかどうか疑問視する理由の 1 つです。大規模モデルを通じて、より一般的な知能を実現できるでしょうか?どうやってそれを達成するのでしょうか?これらすべてには、学界と産業界による継続的な調査が必要です。

2. ビッグモデルはデータと知識に基づいた認知知能を生み出す

数十年にわたる発展を経て、人工知能は記号知能と知覚知能の時代を経て、現在は認知知能という第3世代の人工知能の入り口に立っています。認知知能には、ビッグデータに基づくディープラーニングとそれに対応する知覚認識だけでなく、機械に認知能力と推論能力も必要です。機械は人間と同様の常識と論理を持たなければなりません。そのため、データと知識の統合が緊急に求められています。

人工知能の発展を振り返ると、1968年にチューリング賞を受賞したエドワード・ファイゲンバウムは世界初のエキスパートシステムDENDRALを開発しました。1999年には、インターネットの発明者でありチューリング賞を受賞したティム・バーナーズ＝リー卿がセマンティックウェブの概念を提唱しました。チューリング賞を受賞したヨシュア・ベンジオは、2019年のNeurIPSカンファレンスの基調講演で、ディープラーニングは知覚ベースから認知ベースの論理的推論と知識表現へと発展すべきだと指摘しました。この考えは、清華大学の張北院士が提唱した第3世代人工知能の考えと一致しています。同じ時期に、米国防総省の高等研究計画局（DARPA）は、データコンピューティングと知識推論の統合を推進することを中核とするAI NEXT計画を立ち上げました。また、このプロセスを加速することを目的として、バークレー校などの機関にSYMBOLIC-NEURAL NEWORK（シンボリックプラスニューラルネットワークコンピューティング）研究を委託しました。

一般的に、研究データと知識を統合する二輪駆動AIの時代が到来しました。その核心は、知識、データ、アルゴリズム、コンピューティングパワーの4つの要素を活用することです。データ駆動型の方法を使用してモデルを構築するだけでなく、ユーザーの行動、常識的な知識、認知を結び付けて、積極的に「学習」して作成することです。

人工知能研究院が開発した「五道」ビッグモデルは、わが国を代表する超大規模事前トレーニングモデルであり、ビッグモデル開発の新たな道を模索し、データと知識の両方を駆使した認知知能の創出、チューリングテストを超える汎用機械認知能力の確立、機械が人間のように「考える」ことを目指しています。

ビッグモデルの開発中に、ビッグモデルに必要な 9 つの機械認知機能を予備的に定義しました (T9 基準)。

1. 適応性と学習能力: 機械には一定の模倣能力があり、模倣とフィードバックを通じて人間の言語と行動を学習できます。

2. 定義とコンテキスト化機能: 機械は認識したコンテキストに基づいて応答 (言語と行動のフィードバック) し、応答の一貫性を確保できます。

3. 自己システムへのアクセス: マシンは安定した性格（安定したビッグファイブの性格など）を持ち、物事に対する意見を生成する際に自身の意見や感情的傾向を意のままに変更することはありません。

4. 優先順位付けとアクセス制御機能: マシンは自身の見解における矛盾や絡み合いを発見する能力を持ちますが、最終的には選択を行い、その後の動作において一貫性を保ちます。

5. 召集・制御能力：機械は自らの性格や興味に合致するコンテンツ（ニュース）を積極的に検索し、肯定的なコメントをすることができます。逆に、自らの性格に合わないコンテンツを検索し、反論することもできます。

6. 意思決定と実行能力：機械はコンテンツ情報を積極的に検索し、他の機械や人々の意見や傾向を考慮し、自身の個性に基づいて自分に有利な決定を下し、実行することができます。

7. エラー検出および編集機能: 機械は、判断できない事柄について自動的に仮定を立て、それを追跡することができます。仮定が間違っているか不完全であることが判明した場合、自動的に編集して修正することができます。

8. 反省と自己監視機能：機械は自動的にチェックする機能を持ち、実行された操作が間違っていることがわかった場合は、自己監視して修正する機能を持ちます。

9. 順序と柔軟性のバランスをとる能力: 機械は、実行する操作間の順序を自動的に計画して確保することができます。同時に、順序が間違っていることがわかった場合は、一定の柔軟性があり、動作を修正することができます。

上記の 9 つの機械認知能力を完全に実現するにはまだ長い道のりがありますが、次世代の人工知能の台頭には必然的に認知知能の実現が伴い、機械が推論、解釈、認知能力を持つようになり、多くの人間の知覚と認知タスクにおいてチューリングテストを上回るようになると私たちは確信しています。この大型モデルは1年間にわたり認知知能の発達を研究し、段階的に進歩を遂げてきました。

3. ビッグモデルの将来

「Damo Academy の 2022 年のトップ 10 テクノロジー トレンド」では、大規模モデルと小規模モデルがクラウド、エッジ、ターミナルで協調的に進化すると提案されています。ビッグモデルは、エッジとエンドにあるスモールモデルにモデル機能を出力します。スモールモデルは実際の推論と実行を担当します。同時に、スモールモデルはアルゴリズムと実行結果をビッグモデルにフィードバックし、ビッグモデルの機能を継続的に強化して、有機的に循環するインテリジェントシステムを形成します。この考え方は刺激的で、大規模なモデルを研究室から大規模な産業用アプリケーションに移行するのに役立ちます。

私の考えでは、今後の大規模な研究は、独創的なイノベーションに重点を置き、認知知能や効率的なアプリケーションなど、さまざまな角度に焦点を当てることになるだろう。

認知知能の観点では、モデルパラメータがさらに増加し​​、1兆、1000兆のスケールに達する可能性も否定できません。ただし、パラメータ競争自体が目的ではなく、さらなるパフォーマンス向上の可能性を探ることが目的です。大規模モデルの研究では、アーキテクチャの独創的な革新にも重点を置いており、継続的なモデル学習、メモリメカニズムの増強、三重知識表現方法の突破などの方法を通じて、兆レベルモデルの認知インテリジェンス機能をさらに向上させています。モデル自体に関しては、新しいマルチモーダル、マルチ言語、プログラミング指向のモデルも研究の焦点になるでしょう。

効率的な応用の面では、大規模モデルの使用の敷居を大幅に下げ、大規模モデルの使用を可能にし、中小企業が「大規模モデル＋少量データによる微調整」というAI産業発展モデルを形成することを促進する。主な実装:

1) コストの削減: 事前トレーニング、下流タスクへの適応、および推論中のモデルの計算電力消費を削減します。

2) 高速化：モデル蒸留とモデルプルーニングにより、1000億規模以上のモデルの推論速度を2桁向上。

3) プラットフォームの構築：ワンストップ開発・応用プラットフォームを構築することで、オンラインモデル構築、オンラインモデル展開、アプリケーションリリースまでの全プロセス事前トレーニングサービスを提供します。数百のアプリケーションの開発と展開をサポートできます。後続の大規模モデルの広範な応用は、我が国の質の高い経済発展を促進する重要な推進力になると信じています。

速く考える、ゆっくり考える、そして次世代の人工知能

アリババDAMOアカデミーの人工知能科学者、ヤン・ホンシア氏

[[442924]]

人工知能の研究者たちは脳の働き方からインスピレーションを得ようとしてきましたが、脳がどのように考えるかは非常に複雑な問題です。ノーベル経済学賞受賞者のダニエル・カーネマン教授の著書「ファスト＆スロー」では、人間の思考には2つのモードがあると指摘されています。多くの場合、私たちは無意識のうちに速いモードで反応します。例えば、家から職場までのルートが毎日まったく同じであれば、あまり考えずに、元のルートをたどるだけでいいのです。これが素早い思考です。スローシンキングとは何ですか?ある日突然、会社と自宅の間の道路が工事中で、ルートを再計画する必要が出てきたので、ゆっくり考えなければいけませんでした。

脳の思考モデルに基づいた次世代人工知能の中核となる認知推論問題を解決することは、近年私たちのチームの最も重要な目標となっています。 GPT-3 は、大規模モデルの研究と開発に大きな熱意をもたらしました。しかし、大規模モデルのエネルギー消費と効率の問題により、学術界では大規模モデルを使用する必要があるかどうか疑問視されています。多くの実践的な探究を通じて、私たちは、大きなモデルと小さなモデルが協調して発展し、それぞれゆっくり考えることと速く考えることのタスクを引き受けることができると信じています。膨大な知識を収容できるクラウド上の大きなモデルは、ゆっくりと考える能力を持つスーパーブレインのようなもので、大きなモデルと連携する端にある小さなモデルは、素早い思考が可能です。

近年、ディープラーニング分野における事前学習技術の急速な発展に伴い、事前学習済みの大規模モデル（大規模モデル）が徐々に人々の目に留まり、人工知能分野の焦点となってきました。ビッグモデルは、テキスト、画像処理、ビデオ、音声など、複数のAI分野で大きな進歩を遂げ、徐々にAIの基礎モデルとなっています。同時に、ビッグモデルはタンパク質、遺伝子などの進歩を含む生命科学分野とも積極的に融合しており、細胞分類、遺伝子調節関係の発見、細菌耐性分析などのタスクにおいて幅広い展望を持っています。大規模モデルは現在、推論や認知の問題を解決するための最も先進的なツールであると考えられます。しかし、大規模モデルの事前トレーニングでは、次のようないくつかの課題を克服する必要があります。

1. 現在の主流の方法は、まず大規模なモデル（事前トレーニング済みモデル）をトレーニングして、パラメータスケールが大きく、精度の高いモデルを取得し、その後、下流のタスクデータに基づいて剪定と微調整の方法（Finetune）を通じてモデルサイズを圧縮し、精度を落とさずに展開のプレッシャーを軽減することです。現在、業界では、小さなモデルを直接トレーニングして満足のいく精度を得るための普遍的な方法を見つけていません。

2. 数千億または数兆のデータを持つモデルをトレーニングするには、数千枚の GPU カードが必要であり、大規模モデルの推進と普遍的な適用に大きな課題が生じます。

3. 事前学習モデルは、事前学習段階で多数のパラメータを持ちます。現在、学習には主に大量の非構造化データが使用されています。これを知識などの構造化データとどのように組み合わせて、モデルがより効果的に認知推論を実現できるようにするかは、非常に大きな課題でもあります。

業界の参考になるような大規模モデルで、突破口を開く必要のある緊急の課題を解決するために、数々の試みを行ってきました。今年11月には、世界初となる10兆パラメータのマルチモーダル大規模モデルM6をリリースしました。昨年リリースされたGPT-3と比較すると、同じパラメータを持つモデルのエネルギー消費量はわずか1％であり、大規模モデル実現の閾値を下げ、包括的AIの開発を促進します。今年10月に一般公開したクラウドサービスプラットフォームは、現在、業界で最も幅広い下流タスクをカバーし、シングルモーダルおよびクロスモーダルのさまざまな理解・生成タスクを網羅するプラットフォームです。現在、M6 は Alibaba の 50 を超えるさまざまなビジネス シナリオで使用されています。

今後、低炭素化によるグリーンAIの開発、プラットフォームアプリケーションによるインクルーシブAIの推進、認知推論などの技術の突破に加え、ビッグモデルが科学アプリケーションとの統合も積極的に模索することを期待しています。潜在的な科学アプリケーション方向としては、脳神経接続マッピング、脳コンピューターインターフェース、透明な海洋などの分野が含まれる可能性があります。

クラウドエッジでの大規模モデルと小規模モデルの共同進化により、より効率的で広範なインテリジェント システムを形成するための新たな可能性が生まれます。また、エッジ上の大規模モデルと連携する小規模モデルの高速思考についても積極的に調査し、大規模に実装してきました。大規模モデルはエッジとエンドで小規模モデルに出力できるため、小規模モデルは一般的な知識と能力をより簡単に獲得できます。小規模モデルは特定のシナリオで究極の最適化を行うことに重点を置いており、パフォーマンスと効率が向上しています。同時に、小規模モデルは実行結果を大規模モデルにフィードバックし、大規模モデルのデータセットが過去に単一すぎるという問題を解決しました。最終的に、社会全体で同様の大規模モデルを繰り返しトレーニングする必要がなくなり、モデルを共有でき、コンピューティングパワーとエネルギー使用の効率を最大化できます。このモデルは、次世代の人工知能の基盤を構築し、人工知能の総合的な能力をさらに高めることが期待されています。

シンボリズムの衰退とディープラーニングの隆盛を経験し、私たちは新たな岐路に立っています。科学技術の進歩は、多くの場合、天才的なひらめきと膨大な練習によって推進されます。人工知能の進化も同様で、収束と発散の間で常に突破口を求めています。このビッグモデルは、エキサイティングなマイルストーンです。次にどこに向かうかについては、おそらく私たちは自分自身に問い続け、速い思考と遅い思考から新しい洞察を得ることができるでしょう。