蘭州テクノロジーの周明氏：大きなモデルは必ずしも大きいほど良いというわけではありません。100億規模のモデルでも十分かもしれません。

この記事は、WOT2023カンファレンスでの蘭州科技の創設者兼CEOである周明氏の基調講演からまとめたものです。よりエキサイティングなコンテンツとライブPPTについては、51CTOテクノロジースタックの公式アカウントをフォローし、[WOT2023PPT]にメッセージを送信して直接受け取ってください。

要約すると、大規模なモデルにはいくつかの条件があります。まず、インターネット テキストなどの大量のテキストが必要です。次に、大規模な計算能力を使用して、教師なし方式で大規模なモデルをトレーニングします。基本的に、ビッグモデルは入力された文または単語のコンテキスト内での役割を教えてくれます。意味、文法、文脈上の制約などを簡単に理解できます。

この理解に基づいて、次のタスクのいくつかを実行するときは、微調整を行います。GPT 3 より前では、 BERTや T5などのモデルが微調整を通じてダウンストリーム タスクをサポートしていました。いわゆる微調整とは、最下層から最上層、入力層から出力層まで、モデル全体に​​何らかの調整を加えることを意味します。 1 つのモデルは 1 つのタスクをサポートします。

今ではGPT - 3では特にChatGPTがプロンプトワード機能を開発したので、微調整の必要はありません。何をしたいのかを明確に伝えます。うまく実行できない場合は、1 つまたは 2 つの例を与えると、必要な対応するタスクを完了できます。これにより、モデルのトレーニング能力が大幅に向上し、1 つのモデルで複数のタスクをサポートできるようになります。

さて、大きなモデルは次の 2 つのことを表します。

まず、 ChatGPT のようなモデルは、言語理解、複数ラウンドの会話、問題解決をサポートしており、これらの機能を実用的にしています。

第二に、 AI や NLP タスクの断片的な開発の問題を解決し、研究開発の効率を大幅に向上させ、NLP が産業実現可能な段階に入ったことを示します。

大規模モデルはより高いレベルの知能を導く

近年、AIはAI 1.0からAI 2.0、そして将来のAGIへと少しずつ発展してきました。全体的な傾向としては、AIの能力はより強力になり、開発効率はより高くなり、使用はよりシンプルになり、その結果はより制御可能になっています。

AI 1.0とは何ですか? 1 つのタスクに 1 つのモデルがあり、または 1 つのモデルが 1 つのタスクを担当します。このタスク以外では、他のタスクは十分にサポートされておらず、開発サイクルは比較的長く、リソース投資は比較的高くなります。微調整された能力は、それが現れるものであり、新たに出現する能力などというものは存在しません。大規模モデルの初期の微調整機能も含め、大規模モデル以前のすべての機能を AI 1.0 モデルと呼んでいます。

ChatGPTとGPT - 4により、いわゆるAI 2.0の段階に入りました。プロンプトワードテクニックを使うことで、その能力を動員することができます。さらに、コンテキストを長期間にわたって監視することができ、いくつかの新たな機能が出現します。

いわゆる創発能力とは、元のモデルが小さいときには一部の能力が相対的に弱いことを意味します。モデルが大きくなるか、データ量が増えると、一部の能力が飛躍的に向上し、予想外の高度な能力が生まれます。

現在、AI 1.0とAI 2.0が共存していますが、全体的な開発傾向としては、AI 1.0モデルからAI 2.0モデルへと継続的に移行し、効率がますます高まっていくことになります。

今後、この傾向に沿って、モデルが N 個の複数のタスクをサポートし、N が増加していくと、いわゆる AGI に向かって少しずつ進んでいくと思われます。しかし、それは必ずしも簡単なことではなく、実はまだ多くの問題が残っています。たとえば、結果の解釈可能性や継続的な自己学習能力の点では、現在の大規模モデルはまだ少し弱いです。たとえば、能力と結果の制御可能性は人間の倫理と社会規範に準拠する必要があり、これは依然として課題となっています。

しかし、いずれにしても、現在、ビッグモデルとビッグデータが、より高度なレベルのインテリジェンスへとつながっているという傾向があることがわかります。

大規模モデルの混乱と課題

大型モデルが発表されると、あらゆる階層の人々が興奮し、大型モデルを試してみたくなりました。また、これは産業のアップグレードのチャンスであると信じていました。しかし、彼らは多くの混乱を抱えています。

• 大型モデルがたくさんあるのですが、どれを購入すればいいのでしょうか？それとも協力できるモデルメーカーを探すべきでしょうか?オープンソース製品が数多く存在する現在、独自の製品を開発することは可能でしょうか?
• 何を選ぶにしても、この大きなモデルの品質をどうやって知ればいいのでしょうか?どのように評価しますか?
• この大きなモデルが私の業界知識と業界データとどのように連携するのかを知りたいです。
• ビッグモデルには、いわゆる錯覚問題という重大なナンセンス問題があります。強みを活かして弱点を克服するにはどうすればよいでしょうか。
• 企業のプライバシーとセキュリティを保護する方法。
• コストの問題: 大型モデルのコストは簡単に数百万ドル、あるいは数千万ドルになります。どうすればコストを節約できるでしょうか?
  大手モデルメーカーも、次のようないくつかの課題に直面しています。
• 業界をどう理解すればよいのでしょうか。業界には何が必要で、何が必要でないか、何をもっと行うべきか、何を減らすべきか。
• 大型機種の機能やスペックはどんどん巨大化している。軍拡競争はそれに耐えられるのか？
• ラストマイル、つまり大きなモデルが完成した後に、それをユーザーのビジネスに組み込んでスムーズに実行できるようにするにはどうすればよいでしょうか。
• いわゆるフライホイール効果。エンタープライズ サービスを提供していて、その企業がデータ保護の問題を抱えている場合、どのようにしてフライホイール効果を実現するのでしょうか?データ フライホイールまたは関数フライホイールのいずれか。
• ビッグモデル企業のビジネスモデルとは？クラウドにデプロイし、API を呼び出し、測定と課金を行っていますか?それとも、ユーザーの場所にローカルに展開しますか?両者の長所と短所は何ですか?あるいは、両方を行う場合、時代の変化に合わせてどのように進化できるでしょうか?

大規模モデルサービス企業向けの主要ソリューション

上記は、ビッグモデルの開発に関する簡単な紹介です。以下では、ビッグモデルサービス会社の重要なポイントをいくつか紹介します。また、私が述べたことが、上記の質問に対するいくつかの答えを提供できることを願っています。

まず、企業はなぜビッグモデルを使用する必要があるのでしょうか?何に使うのでしょうか?トレンドをただ追うだけではだめです。他の人がやっているなら、それを採用するだけです。

企業は現在、多くの問題に直面しています。その 1 つは、コストを削減し、効率を高めることです。たとえば、カスタマー サービスでは、1,000 人の顧客にサービスを提供するには 10 人のカスタマー サービス スタッフが必要であり、10,000 人の顧客にサービスを提供するには 100 人のカスタマー サービス スタッフが必要です。直線的に成長していくと、カスタマーサービスだけでは対応しきれなくなりますし、もちろん他の要因もあります。

カスタマーサービスは労働集約型になる傾向があり、マーケティングコピーデザイン、小紅書、微博、微信など、いわゆる知的集約型産業もあります。製品によってスタイルが異なり、設計タスクは非常に重いです。

第二に、企業はいわゆるデジタルトランスフォーメーションを実行できるでしょうか?その前提はデータの問題です。過去 10 年ほどの間に、企業、特に中央企業や国有企業は、そこに多くの有益なデータを保存してきました。今はビッグモデルの時代です。こうしたデータをうまく活用すれば、コスト削減や効率化といった機能を実現できます。

大きなモデルがうまく作成されれば、さまざまな部門のアプリケーションをサポートする「企業の頭脳」として活用できます。

ビッグモデルの時代に、企業における次世代のソフトウェア開発をどのように推進できるでしょうか?多くの人が Copilot (Microsoft が Windows 11 に搭載した AI アシスタント) を使用したことがあるかもしれません。Copilot はプログラミング時に多くのプロンプトとさまざまなヘルプを提供します。

ここで強調したいのは、ビッグモデルの時代が実際に新しいソフトウェア エンジニアリング パラダイムを生み出し、ソフトウェア エンジニアリングが以前と同じ方法で行われなくなったということです。これまで、プロジェクトに取り組む際、タスクは極度に細分化され、データのラベル付けにはコストがかかり、開発サイクルは長く、配信コストは高く、メンテナンスは困難でした。

大きなモデルができたので、次は何をしますか?プロンプトを記述するか、微調整するだけです。プロンプトは N 個の機能を管理するモデルです。プロンプトを記述したら、その前にインターフェースを追加するだけで完了です。特に重要な機能があり、プロンプトを記述するのが難しい場合や、過去に十分な良質のデータが蓄積されていない場合は、大規模なモデルを使用して開発プロセス全体を高速化できます。

企業のデジタル変革には、どの程度の規模のモデルが必要でしょうか?実際、トレンドを盲目的に追うのであれば、数兆のパラメータを持つモデルを作成したほうが良いのではないでしょうか。しかし、これはコストが非常に高いことを意味します。このようなモデルのトレーニングにはコストがかかり、展開コストも比較的高くなります。企業にとっても、大規模なモデルをサポートするには 32 枚以上のカード、あるいはさらに多くの A100 が必要になる可能性があるため、あえて使用することはありません。

エンタープライズ サービスの場合、どのくらいの規模のモデルを使用すればよいでしょうか?大きなモデルがどのくらいの大きさになるかを示すために、ここに曲線を描きました。

実際、今日私たちが目にする大きなモデルには、言語理解能力と AGI 能力という 2 つの機能が含まれています。しかし、通常はこれらを一緒に使用するため、どの部分が言語理解で、どの部分が AGI であるかを区別することはできません。それは高校卒業生と学者が話しているようなものです。彼らの言語理解能力は同じですが、専門レベルや問題解決能力は異なります。

では、エンタープライズ サービスを提供する場合、どの領域に重点を置くべきでしょうか?実際には、言語理解能力に重点を置いています。問題解決能力に関しては、企業には問題解決のための専門エンジンや専門の上級専門家がいます。大規模なモデルは、時には深刻で無意味になり、混乱を引き起こすこともあります。

言語理解機能を開発したいのであれば、現実に戻らなければなりません。数百億のモデルと数千億のモデルの中から選択すれば、企業のデジタル変革をサポートできます。

逆に言えば、トレーニングに必要なカードの枚数を推測することができます。基本的には 300 枚から 500 枚あればこの問題を解決できますので、皆さんも安心してください。

大きなモデルが完成した後も、企業にどのように貢献するかという疑問が残ります。ラストマイルを完了するにはどうすればいいでしょうか?大きなモデルを企業に持ち込んで「これを持って行って使ってみてください。きっとうまくいきますよ」と言っても、たいていうまくいきません。なぜでしょうか?企業のニーズは一般的なモデルのニーズとは異なります。最も優れた一般的なモデルであっても、企業の基本的なニーズを解決できない場合があります。

まず、相手が属する業界を理解し、業界の専門知識とデータをモデルに注入して、モデルを充実させる必要があります。これは、高校卒業後にコンピュータサイエンスなどの特定の専攻を学び、コンピュータサイエンスの問題を解決できるようになることに相当します。

業界モデルでは、特定の問題を解決する際に、各タスクのシナリオも理解する必要があります。これがいわゆるラストマイル問題です。

金融を例にとると、金融調査レポートの抽出、市場センチメント、財務概要の生成、金融検索、金融機関の識別など、そのような問題は数多くあります。業界モデルを試すことができます。うまくいかない場合は、会社の既存のデータを追加するか、ラストマイルの問題を含めるように微調整するかプロンプトを作成する必要があります。

大型モデルを作る人は、企業と協力し、そのニーズを理解する必要があります。次に、企業と協力してそのシナリオとビジネスを明確に理解し、ラストマイルを完了する必要があります。このモデルを企業に提供することによってのみ、大規模モデルを段階的に、より詳細かつ徹底的な方法で実装することができます。

ビッグモデルと業界モデルが完成したら、どうやってビジネスモデルを作るのでしょうか？実際、人によって意見は異なります。基礎となるレイヤーはトレーニングであり、その後多くのモデルがトレーニングされ、非常に多くの関数が存在します。現在は、クラウドまたは API によるタイミングと計測が行われます。あるいは、一部の企業では、データをパブリック クラウドに保存できないため、ローカルに展開する必要があると言われています。

企業向けに徹底的にカスタマイズし、それをローカルに展開するにはどうすればよいでしょうか?作業効率は十分に高くなければなりません。そうでなければ、お金を稼ぐことができず、作る製品ごとに損失が出てしまいます。まず第一に、注文の受領から支払いまでの全プロセスを効率的に完了するために、効率的なワンストップの研究、開発、配送チームをどのように持つかということです。このとき、ビッグモデルのプロンプト技術など、いわゆるビッグモデル技術をうまく活用して、開発効率を高めたり、コストを削減したりする必要があります。

2つ目は、いわゆるフライホイール問題です。フライホイールがなければ、Aを終えた後にBをやっても利益が出ず、またゼロから始めなければならなくなります。ToBエンタープライズサービスを提供する上で最も厄介なのは、フライホイールを生み出すのが難しいことです。しかし、大型模型の時代でもフライホイールを作るチャンスはまだあると思います。

まず、業界モデルを作成する際に、機密ではないと仮定して、同じ業界の異なる企業が業界データを相互に共有し、業界モデルをどんどん大きくしていくと、フライホイール効果が生じる可能性があります。

2番目は迅速です。さまざまな企業にサービスを提供する場合、サービスの具体的なタスクがプロンプトに記述されます。 1 つのプロンプトが特定の機能に対応しているため、これらのプロンプトは通常は機密ではありません。プロンプトが蓄積されると、ある意味でフライホイール効果が形成されます。時間が経つにつれて、業界に対する理解が深まり、蓄積されるデータが増え、機能も増え、ある意味では、いわゆる業界の壁が形成され、あなたの会社がこの業界でトップになれるようになります。他の企業が市場に参入したばかりで、こうしたフライホイール効果がない場合は、遅れをとる可能性があります。そのため、早い段階でチャンスが得られます。

金融を例にとると、業界で大規模なモデルをどのように実装できるでしょうか?

ビッグモデルが完成した後、業界にどのように実装していくのでしょうか?金融業界の例を挙げてみましょう。金融業界の大きなモデルは、実際には L1 一般モデルに基づいた、いわゆる L2 モデルです。さまざまな金融データを取り込み、金融モデルをトレーニングします。

この財務モデルは何ができるのでしょうか?検索の質問と回答、翻訳、ドキュメントの抽出、感情分析、ドキュメントのレビューなど、金融業界でよく見られるタスクをサポートできます。さらに、いわゆるアプリケーション駆動型プロセスである企業のさまざまなアプリケーション シナリオをサポートするには、その基盤が強固でなければなりません。現在、私たちはMenciusのユニバーサルモデルであるL1モデルを使用して、さまざまな業界のモデル開発をサポートしています。

業界モデルが完成したと仮定すると、金融における具体的なシナリオは何でしょうか?たとえば、顧客サービス。大規模な財務モデルを完成した後、どのように財務顧客サービスを提供すればよいでしょうか?ご存知のとおり、大規模なモデルには重大なナンセンスの問題があるため、顧客サービス データをエンドツーエンドで単純にトレーニングするだけでも重大なナンセンスが発生する可能性があります。たとえば、トレーニングに前年のデータを入力し、ある商品がセール中であると言った場合、ビジネス部門は突然、この商品はもう販売されていないと言うかもしれません。大きなモデルは非常によく学習し、割引があるので製品を購入する必要があることをユーザーに伝えます。これはビジネスに大きな混乱を引き起こします。

このとき、ビッグモデルは強みを生かし、弱点を克服する必要があります。その強みは、意図理解と対話生成です。意図を理解した後も、顧客サービス ビジネス データベースにアクセスする必要があります。ビジネス データベースが結果に応答した後、ビッグ モデル生成機能を使用して、多様で温かみのあるパーソナライズされた方法で、いわゆるビッグ モデル顧客サービス シナリオを生成します。

顧客マーケティングのシナリオ。たとえば、保険会社が金融商品や保険商品などを販売したい場合、どのようにマーケティングを行うのでしょうか。それはマーケティングコンテンツをどのように生成するかということに他なりません。保険商品を勧めるには？販売や保険商品の相談などのお手伝い方法マーケターのトレーニングもビッグモデルでサポートできます。

私たち投資研究者は、検索を行い、検索結果から判断し、レポートを書かなければならないことがよくあります。大きなモデルを使用することで、これら 3 つを結び付けて統合的に解決することができます。大規模モデルのマッチング能力も向上し、言語理解能力も向上し、検索結果も良くなります。検索後、検索結果とチャットして詳細を確認し、洞察、意見、要約を形成できます。最後に、テキスト生成技術を使用して研究レポートを作成し、関係者と共有します。これら 3 つはすべて、大規模なモデルによってサポートされています。

これが孟子のビッグモデルのアーキテクチャです。最下層は一般データや金融業界の垂直データなど、さまざまなデータです。 Mencius モデルのトレーニング後、財務データが取り込まれて L2 財務モデルがトレーニングされ、その後、それをサポートして金融企業にサービスを提供するさまざまな機能が提供されます。

私たちが最近トレーニングしたモデルは、現在市場に出回っているオープンソースの汎用大規模モデルやオープンソースの金融大規模モデルとも比較されました。もちろん、それは私たちの孟子モデル自体とも比較されます。ご覧のとおり、 1,750億のパラメータを持つ ChatGPT は、多くの状況で非常に優れたパフォーマンスを発揮します。ただし、弊社のモデルは100億レベルですが、業界モデルに特化しているため、ChatGPTよりも優れている場合もあります。

すべての大規模金融モデルのトレーニング結果は、一般的なモデルの結果よりもわずかに優れています。これは、L1 から L2 に移行することが理にかなっていることを示しています。財務シナリオ データを注入することで、レベルは確かにそれに応じて向上しました。

これらの大きなモデルに基づいて、金融業界ではどのように実装できるのでしょうか?これはいわゆる L3 問題です。多くのシナリオでこれをどのように実装するか?例えば、当社のビッグモデルは、クレジットカード業務や外国為替業務のコンサルティングサービスを提供しており、膨大なデータから重要な情報を迅速に取得して、インテリジェントな投資コンサルティングを行っています。また、レポートの概要や財務テンプレートなどの財務原稿の作成、金融商品や年金基金のマーケティングも支援しています。これらはすべてビッグモデルで作成でき、要件を明確にするだけで済みます。金融業界における中国語と外国語間の金融コンサルティングや情報交換には翻訳が必要です。現在の大規模モデルは、金融分野で16言語間の翻訳もサポートできます。

チャットを対話方法として使用しない場合、ビッグモデルはソフトウェアエンジニアリング開発パラダイムに新たな変化をもたらすこともできます。例えば、孟子のモデルに基づいた業界検索を行いたいのですが、これは昔は非常に面倒なことでした。今では大きなモデルでは簡単に、これらすべての機能がプロンプトとともに提供されます。次に、API を使用してこれらのプロンプトを呼び出すと、この機能が利用できるようになります。

最高のユーザー エクスペリエンスを提供するために、インターフェイスを明確に設計するだけです。このような検索エンジンを使用すると、金融ビデオ会議を分析し、要約を作成することができます。会議全体は2時間以上続き、ポジティブな感情とネガティブな感情について話し合いました。時系列順にどのようなトピックが取り上げられますか?閲覧できます。また、会議の参加者全体が誰であるか、どのエンティティやキーワードが表示されるかを分析し、財務会議をすばやく参照することもできます。

同様に、財務調査と分析も迅速に行うことができます。ご覧のとおり、大規模なモデルを使用して特定の業界で L3 機能を実装することは比較的簡単になります。

これは、L1、L2、および L3 開発シナリオの実装プロセスを確認するためのものです。 L1 は一般的な大規模モデル、L2 は財務的な大規模モデル、L3 はさまざまなシナリオのモデルです。先ほど説明したソフトウェア エンジニアリング開発仕様を活用し、プロンプトを使用してさまざまな機能呼び出しを記述することで、特定のシナリオ タスクをすばやく生成できます。

ビッグモデルを採用する：今始めなければ、取り残されてしまう

最後に、将来についての考えを少し話し、冒頭でお話しした企業の混乱に戻りましょう。

まず、大型模型が眩しいです。購入するか、研究に協力してくれるメーカーを探すべきでしょうか？それともオープンソースを使って自分でやるのでしょうか?

人によってニーズは異なると思います。一部の大企業は独自の能力を持っており、自分でやりたいと考えています。一部の企業は、能力が少し弱いため、それを購入するかもしれません。また、一部の企業は、能力が良くも悪くもないため、長期的な能力を養うことを望んで、いくつかの大手モデルメーカーとの協力を求めるかもしれません。

皆さんへのアドバイスとしては、一般的なタスクであれば、車輪の再発明をするのではなく、大手モデルメーカーが提供するクラウド サービスを直接使用してください。データを生成できないと思われる場合は、ローカル展開の問題について話し合うだけです。

タスクが特殊でカスタマイズが必要な場合は、大手モデルメーカーに相談して、いわゆる L3 機能のカスタマイズを手伝ってもらえるか確認するか、API 呼び出しまたはローカル展開を検討してください。独自の研究を行いたい場合は、強力なチームがあるかどうかを考慮する必要があり、十分なビッグデータと計算能力が必要です。

オープンソースを使用する場合は、オープンソースがこの機能をサポートできるかどうか、またはオープンソースが社内の商用利用をサポートできるかどうかを調査する必要があります。質問はたくさんあります。自分で調べるのが不安な場合は、大手の模型メーカーを見つけて、綿密な協力を得るのがベストです。

第二に、自社開発のものも含め、非常に多くの大規模モデルが存在する中で、どれが良いモデルでどれが悪いモデルなのかをどうやって判断すればよいのでしょうか。

これはいわゆる評価問題です。評価は難しいですが、非常に重要です。さまざまな角度から評価する公開レビューがいくつかありますが、どれも権威あるレビューではありません。さまざまな側面からの評価があるため、自分で判断する必要があります。判断を下すには、好きなことと嫌いなことを統合する必要があります。自分が重視するタスクを評価し、自社開発や外部から購入したものも含め、採用したいさまざまなモデルを評価します。良いと思ったら、深く議論することができます。

3 番目に、業界の知識は大規模なモデルでどのように機能するのでしょうか?

業界知識データをすべてトレーニング用の大規模モデルに取り込む必要があるのか​​と疑問に思う人もいます。あなた自身で判断しなければなりません。一部のデータは比較的安定しており、継続トレーニング用のいわゆる L2 モデルに入力できます。一部のデータでは、動的かつリアルタイムで変化するビジネス データであるため、外部プラグインのみを使用できます。プラグインの使い方は？現在では、LangChain、ベクター データベースなどの大規模モデル配布機能や呼び出し統合がいくつかあり、ある意味ではプラグインの実装に役立ちます。

4つ目に、大きなモデルには多くの「幻想」があります。その長所を生かし、弱点を克服するにはどうすればよいでしょうか。

意図の理解と複数ラウンドの対話というその強みだけを活用するのが最善です。 AGI 機能を軽々しく使用しないでください。基盤となる推論機能が利用できる場合、表面的な AGI 機能は利用できない可能性があります。

5番目は、プライバシー保護の問題です。

プライバシーが特に重要である場合は、ローカルに展開する必要があります。そうでない場合は、クラウドも検討できます。どちらの場合でも、データのセキュリティとプライバシーを完全に制御できます。

6番目は、建設コストの問題です。

大型モデルが普及し始めたばかりの現在、大型モデルの製造業者は莫大な費用を費やしており、大型モデルのコストは依然として高いままです。計測と課金を行う API を呼び出すか、より小さなモデルを見つけるかを検討する必要があります。100億のモデルと 1,000 億のモデルではコストの差が少なくとも 10 倍あるため、軽量モデルを推奨しています。ただし、エンタープライズ サービスの観点から見ると、100 億モデルの機能は 1,000 億モデルの機能とほぼ同じです。誰もがこの問題について慎重に考えることができます。

最後に、私たちはビッグモデルを採用しなければならないことを強調したいと思います。ためらっている、様子を見ている、待っている、独自の調査を行っているかどうかにかかわらず、まずは行動を起こさなければなりません。なぜなら、大きなモデルが業界や会社のデジタル機能を変えるからです。今始めなければ、取り残されてしまうかもしれません。 2、3年後には、競合他社があなたを追い抜いているでしょう。