「ビッグモデル＋」アプリケーションを実装した場合、ビッグモデルの微調整によって、効果、コスト、制御性のバランスをどのように取ることができるでしょうか？

10月17日、老舗テクノロジー大手の百度が「文心大モデル4.0」を発表し、すでに激動していた百機種戦争が再び白熱した。ますます多くの基本的な大規模モデルの反復速度が高速化するにつれて、「ビッグモデル+」のアプリケーションの転換点が来ています。世界市場を見ると、2030年までにAIGC市場規模は1兆元を超えると予想されており、その巨大な市場潜在力は、さまざまな分野のテクノロジー大手の注目を集め、計画を立てています。

しかし、大多数の企業にとって、本当のチャンスは、ChatGPT のような基本的な大規模モデルをゼロから作成することではなく、一般的な大規模言語モデルに基づいてターゲットを絞った再トレーニング、微調整、評価、展開を実施し、独自のビジネス シナリオに適したアプリケーションを開発することです。しかし、企業はどのように基礎となるデータ リソースを収集し、企業自体に適したモデル ベースを選択し、モデルを微調整すればよいのでしょうか。

今回は、易典天霞で本格的に導入されている「AIカスタマーサービス」を例に、大規模モデルの微調整によって、効果、コスト、制御性のバランスをどうとれるかを見ていきます。

周知のとおり、人工知能技術の急速な発展に伴い、 AIGC はコンテンツ分野に真っ先に参入しており、新たなマーケティングシナリオやマーケティングモデルを開拓する上で、想像力を働かせる余地は膨大にあります。 Yidiantianxia の最新の実践に基づいて、マーケティング分野における AIGC の実装に最適なシナリオは、コンテンツ制作とインテリジェントな質疑応答という 2 つの中核的な側面にあることがわかりました。

コンテンツ制作の面では、易典天下は今年7月に初のAIGCデジタルマーケティング制作プラットフォームKreadoAIを正式にリリースし、マーケティングチェーン全体のコスト削減、品質向上、効率向上に新たな活力と勢いを注入しました。また、インテリジェントな質疑応答の面では、「AIカスタマーサービス」の完全な社内応用を実現しただけでなく、大規模モデルの微調整における参照パスも模索しました。

EasyPointのシニアテクニカルディレクターであるInfi He氏は次のように述べています。「AI時代のインフラストラクチャとして、ビッグモデルの誕生はAIネイティブアプリケーションに前例のない機会を提供し、当社の技術チームに高い要件を突きつけました。特に特定のAIアプリケーション開発シナリオでは、ビッグモデルをうまく活用することが非常に重要です。モデルの事前トレーニングの高コストと長いサイクルと比較して、ビッグモデルの微調整は、制御可能なコストを前提として、期待される結果を迅速に達成できます。」

大規模モデルを微調整する効果には、高品質のデータが不可欠である。

大規模なモデルを微調整する場合、高品質のデータが最も重要です。高品質のデータがなければ、特に対話タスクの場合、コストが限られているという前提で、大規模モデルの SFT 教師あり微調整を行うことは費用対効果が高くありません。LoRA や P-tuning v2 などの現在普及している微調整方法でさえ、データが限られているという前提の下では、ベースモデルの一般的な理解能力が多かれ少なかれ破壊され、明らかな幻覚、対話能力の損傷、壊滅的な忘却などの問題を引き起こします。

高品質なデータを前提として、ベースモデルのパラメータ数が多いほど、微調整効果は高まります。

高いデータ品質を前提として、 Chatglm2-6B、Baichuan2-7B、Baichuan2-13B、LLama2-7B、Qwen-14Bなどの有名なオープンソースの大規模モデルの横画面テストを通じて、ベースモデルのパラメータが大きいほど、微調整効果が向上することがわかりました。ベースモデルが100B（千億）パラメータに達するほど強力になると、1Kの高品質データを使用しても、良好な微調整効果が得られます。

限られたリソースを前提として、強力な一般能力と強力な専門能力を選択する必要があります

データ、 GPU、コストなどのリソースが限られているという前提では、強力な一般機能と強力な専門知識機能を同時に実現することはできず、製品の位置付けに基づいてトレードオフを行う必要があります。モデルに特定の専門分野で強力な専門能力を持たせたい場合は、一般的な能力の一部を犠牲にする必要があるかもしれません。 AI カスタマー サービスを例にとると、企業内部での使用シナリオでは、マーケティングの問題に迅速に対応したい場合は、生活上の問題に関するフィードバックの正確さを犠牲にする必要があります。

現在、Yidiantianxia AIカスタマーサービスは、ベースモデルの強力な微調整効果に頼り、機能、人事、IT、ビジネスなどの日常的な問い合わせシナリオの80％をカバーしています。企業の従業員が問題に遭遇したときはいつでも質問でき、24時間365日AIカスタマーサービスから正確な回答を得ることができます。これにより、企業の内部作業効率が大幅に向上します。

現在、 AIGC波の継続的な発展に伴い、海外マーケティングはクリエイティブコンテンツの制作から配信戦略の自動化、パフォーマンスデータの回復、全体的なトラフィックの最適化まで、新たな世代の飛躍を遂げています。AI技術の継続的な革新により、一滴天下はより深く、より広く、より速く、よりスマートに、海外マーケティング業界全体のクリエイティブエコシステムを再構築しています。次号の「MarTech Hub」では、「データミドルプラットフォーム」というトピックに焦点を当て、DataOps プラクティスをビジネス指標管理に拡張する方法を見ていきます。