現在、私たちは大型モデル技術と産業発展の中期思考段階にあります。この段階は、広範囲かつ深い注目を集めた ChatGPT の誕生から始まりました。こうした関心は技術と産業の発展を促進する上で重要な役割を果たしてきましたが、一方で一連の問題も発生しています。これらには、コストと価値の問題だけでなく、「幻想」の問題などの根本的な欠陥も含まれます。これらの問題が存在するため、前半の経験と教訓を総括し、後半をより良くスタートするために、試合中盤の思考を行う必要があります。 1. 歴史的背景1. 急速な技術開発実際、多くの技術の発展や多くの製品の進化の背後には内部論理があり、それが時代の発展の固有の原動力となっています。 ChatGPTは昨年11月にリリースされて以来、2か月足らずでユーザー数が1億人近くを突破したが、最も人気のあるインターネット製品TikTokでは9か月近くかかった。過去 12 か月は、非常に夢のような期間だったと言えます。テクノロジーと研究開発に携わる私たちにとって、ほぼ毎日、新たな歴史的瞬間を目撃することになるかもしれません。OpenAI のあらゆる動きは、彼らのテクノロジーの多くが歴史的なブレークスルーをもたらすことが多いため、私たちの高い注目を集めるでしょう。 汎用人工知能技術の急速な発展とそのペースの大幅な加速は、古い技術が消化される前に新しい概念が出現したことを示しています。そして、過去 10 か月ほど、私たちは基本的にこの状態にあります。唯一不変なのは変化そのもののようです。テクノロジーの変化と加速は標準となっています。 2. 開発は複雑さとリスクをもたらす急速な技術変化が当たり前となり、私たちが住む世界はますます複雑になっています。車を例に挙げてみましょう。車の構造には多数の部品やコンポーネントが必要であり、スマートカーでは数億行のコードを実行する必要があり、システムの複雑さが人間の認知能力を超えていることがわかります。したがって、私たちは現在、複雑システムの時代に生きており、私たちが直面する課題はますます複雑になっています。 社会の発展における不確実性の高まりと制御喪失のリスクにより、私たちは今日の人類社会全体に共通する命題、つまり制御喪失のリスクに対処する能力について考え始めており、その鍵となるのは強力な認知能力です。 3. ビッグモデルが未来を担うしかし、人間の認知能力には限界があります。人間の知能は典型的な生物学的知能として比較的ゆっくりと発達しますが、機械の知能は極めて急速に発達します。したがって、歴史的な発展は、制御喪失のリスクの増大に対処するために、人間と機械の協調的認知を開発し、機械がこの複雑な世界を理解するのを支援できるようにする必要があることを私たちに教えています。 機械の認知能力は、計算能力とデータの増加とともに成長します。計算能力とデータのサポートにより、この世界の複雑さに対処するために、その能力は向上し続けています。大規模なモデルの出現は避けられなくなっています。 現在、さまざまな大規模モデルが登場し、その機能もさらに拡大しています。言語モデル、マルチモーダルモデル、具現化モデルなど、汎用人工知能の登場と進歩を目の当たりにしています。 汎用人工知能(AGI)はすでに新たな革命を起こしています。蒸気革命や電気革命といった過去の革命とは異なり、汎用人工知能は知能そのものを生み出し、その能力は社会全体のあらゆる毛細血管に浸透します。この革命は、必然的に広範囲に及ぶ影響を及ぼすでしょう。 4. ビッグモデルは私たちに何をもたらすのでしょうか?では、ビッグモデルは私たちに何をもたらすのでしょうか?
2. ポジショニングと認知1. 大型モデルの多様な機能大規模モデルの探索については、より明確な位置付けと理解がまだ必要です。各業界において、企業は「総合的な」ジェネラリストよりも「専門分野」のエキスパートを必要としています。そのため、総合分野のビッグモデルに注目すると同時に、垂直分野のビッグモデルも注目に値します。実際、一般的な専門的認知能力は、一般的な能力に基づいて構築されます。「一般」は「分野」を理解するための前提条件です。一般的な大規模言語モデルを「洗練」するには、一般的に言えば、トレーニングコーパスが広範で多様であるほど、一般的な大規模モデルの能力が強くなります。 さらに、1 つの例から推論を導き出す大規模モデルの能力も注目に値します。これまでのタスクトレーニングでは、モデルに特定の機能を持たせる必要がある場合、そのタイプのタスクを具体的にトレーニングする必要があり、タスクを組み合わせる機能はありませんでした。ただし、ビッグモデルでは、任意の 2 つの分野とスキルを組み合わせて革新したり、関連のない 2 つの能力を組み合わせて使用したりできます。 大規模モデルには強力な評価機能も備わっています。これまで、モデルのトレーニングでは、最終的にモデルの品質を評価するためにラベル付きデータに依存していました。しかし現在では、GPT4 などの優れた大規模モデルでも、適切なガイダンスがあれば、人間レベル、さらには専門家レベルの評価機能を備えることができます。 大規模なモデルが複雑なタスクを計画、実行、分解する能力も注目に値します。データ分析や統計的仮説検定などの複雑なタスクの場合、経験豊富な研究者でもレポートの出力に半日かかることがあります。しかし、エージェントが十分に強力であれば、大規模なモデルでも数十秒でプロセス全体を完了できます。 さらに注目すべきは、一般的なビッグモデルが学際的な知識において大きな利点を持っていることです。多くの場合、人間はある特定の業界の専門家にはなれますが、万能人になることは難しく、平均的な全般的なレベルは高くありません。ビッグモデルは、さまざまな分野における人間の一般知識レベルを大幅に向上させました。これにより、ビッグモデルは人間がシステムや分野を超えて専門的な作業を完了するのを支援し、システムの境界を越えた複雑なシステムの認識を可能にします。 2. To B市場向けビッグモデル私たちがTo B市場と呼ぶことが多いエンタープライズ市場も、ChatGPTの登場により新たな変化を迎えるでしょう。従来の自動車製造業界と同様に、To B 市場向けの大型モデルの主な意義は、インテリジェント エンジンのアップグレードにあります。 To B 製品は、インテリジェント エンジンに基づいて構築されます。従来のデータ駆動型、知識駆動型、または 2 つのインテリジェント エンジンの組み合わせは、新しい大規模モデル エンジンによって再形成されます。 しかし、前述のように、大規模なモデルは、現場の複雑な意思決定アプリケーション シナリオでは依然として明らかな欠点や欠陥があり、ドメイン エキスパートの能力にはまだ達していません。したがって、将来もビッグモデルに代表されるデータ駆動とドメイン知識グラフに代表される知識駆動を組み合わせたデュアルエンジン駆動モデルが主流になると考えています。ビッグモデルはドメインエキスパートの直感的な意思決定を可能にし、ナレッジグラフはドメインエキスパートの論理的な意思決定を可能にします。この 2 つを組み合わせることによってのみ、ドメインエキスパートの問題解決能力を再現できます。従来のオペレーティングシステムと比較すると、大きなモデルはTo B製品のコントローラーとして使用できます。この分野における一定の一般知識を備えた大規模モデルとして、エンタープライズレベルのインテリジェント システムのコントローラーとして機能し、従来の IT システム (データベース、ナレッジ ベース、CRM、ERP、BI システムなど) を調整することができます。 しかしながら、上記製品の開発においては、依然として多くの困難な問題に直面しています。
3. 大規模モデルに必要な機能何千もの業界におけるインテリジェントなアプリケーションを研究することは、本質的には複雑な認知的意思決定タスクです。実際のアプリケーション シナリオで必要なのは、マシンの複雑な意思決定能力です。複雑な意思決定はドメイン アプリケーションの基本的な特性であり、オープン チャットで解決できる問題ではありません。複雑な意思決定には、豊富なアプリケーション知識、複雑な意思決定ロジック、マクロ状況を分析して判断する能力、包括的なタスクを細分化する能力、正確で厳密な計画を立てる能力、複雑な制約の下で選択を行う能力、未知を予見する能力、不確実なシナリオを推測する能力など、多くの能力が関係します。 4. 大規模モデルの問題大規模モデルにおいて、解決すべき最も重要かつ緊急の問題は「幻覚」問題であり、これは大規模モデルが誤った事実を捏造する傾向があることを意味します。この問題はモデル自体で解決するのは困難です。ChatGPT は多くの領域で「回答を作成」できますが、ユーザーが正しい回答を求めている場合、ChatGPT は誤解を招く回答を出すこともあります。 GPT4 では幻覚の問題を完全に解決することはできず、モデルのサイズとトレーニング量を増やすことである程度までしか軽減できません。検索エンジンに接続しても、NewBing は資料に従って回答しません。これは、翻訳と要約での観察と一致しています。 最後に、大規模なモデルではドメインの「忠実度」が欠けているという問題があります。ビッグモデルは一般的な分野からトレーニングされており、与えられた業界の知識や業界のテキストに忠実であるのではなく、ベースモデルの一般的な分野から学習した知識を使用して質問に答える傾向があります。 3. シナリオとアプリケーション1. シーンを深く掘り下げるToB業界において、大きなモデルをどのように開発していくべきでしょうか?これには、シナリオとアプリケーションをさらに深く掘り下げて調査することが必要になります。 まず、大規模モデルはあらゆる人に開かれているべきです。過去には、誰もがOpenAIが一般向け大規模モデルで成功を収めるのを目撃し、その後、彼らは皆一般向け大規模モデルの軌道に押し込まれ、競争は特に熾烈でした。実際、多くの業界や分野において、大規模な垂直モデルの応用は、私たちの探求と研究にさらに値します。一般的なビッグモデルから、業界/分野のビッグモデル、シナリオのビッグモデル、科学/専門のビッグモデルまで、多くの垂直産業では、多くの専門的な科学のビッグモデルが有能である必要があります。 私が特に気になっているのは、シーンのインテリジェンスです。ビッグシーンモデルは、将来的に最初に実装される可能性が高いアプリケーションになると思います。一般的な大規模モデルは既に強力な一般知識を持っているため、一般知識に簡単な職業訓練を加えることで、人事、顧客サービス、窓口係など、最も実装しやすい仕事に就く能力を身につけることができます。これはまさに、効果的なソリューションを迅速に形成し、成果を達成できるシナリオです。標準化され、正規化され、サービス指向の作業は、機械にとって簡単に実行できます。 よく話題になる気象大型モデルや医療大型モデルに加えて、もう一つの重点分野は、プロ仕様の大型モデルです。業界には、コード、遺伝子、グラフ、表など、大規模なモデルで使用および解決できるシナリオや複雑な形式のデータが多く存在し、事前トレーニングを使用してさまざまなタイプや構造のデータを処理できます。 2. 製品形態シナリオアプリケーションの実装においては、意思決定能力を持つエージェントは避けられないトピックになります。ビッグモデルは、自律型インテリジェントエージェントの開発を推進する重要なエンジンとなっています。 LLM は優れたコンピューティング能力とさまざまな複雑な認知能力を備えているため、膨大なデータセットを処理および理解し、世界をよりよく認識および理解することができます。その結果、大規模なモデルが自律エージェントの頭脳としての役割を担うようになってきています。彼らの「脳」の性質により、テキスト、画像、音声などを含む多様な情報源を処理することができ、それによって周囲の状況をより包括的に理解できるようになります。 自律エージェントは、LLM の機能を活用して、人間の介入なしにタスクを独立して実行し、意思決定を行い、学習して改善することができます。この自律性により、特定のタスクにおいて驚くべき柔軟性と適応性を発揮することができ、さまざまなニーズにより適切に対応できるようになります。 旅行エージェントを例にとると、エージェントは、環境認識、シナリオ認識、ツールの使用、運用計画、共同協力、意図理解、制約計画、性格適応など、意思決定プロセスにおいて多くの機能を備えている必要があります。 もう一つの重要な製品形態は、統合されたインテリジェントなエンタープライズ情報ポータルです。現在、企業はERP、OA、コードベース、ナレッジマネジメントプラットフォームなど、複数の情報システムを持っていることがよくあります。将来的には、ビッグモデルは、一般的な知識、タスク分解、計画機能を使用して、従来のITシステム(データベース、ナレッジベースなど)を調整し、連携できるようになります。 最後に注目すべきはデータ要素です。データが資産となり、流通し、取引されるためには、複雑なデータガバナンスの問題が伴います。データベース内の誤りや直感に反するデータについては、人手やルールによる従来の処理方法では、膨大な量のデータを処理することができません。ビッグモデルに対する一般的かつ常識的な理解は、データガバナンス、データ評価、データ分類などのタスクを実行するのに役立ち、データの価値を実現するための重要な方法になります。 4. コストと価値1. 大型モデルのコスト過去に、コストを無視した大規模な R&D モデルは絶対に機能しないことがわかりました。大型モデルならコストを大幅に節約できます。 1 つ目は人件費です。従来の特徴エンジニアリングでは、特徴のラベル付けを専門家に依頼していましたが、現在では大規模なモデルでも簡単なプロンプトでこれを行うことができます。 しかし、大型モデルにはそれ自体のコストも莫大なものとなります。大規模モデルのコスト = トレーニング コスト + アプリケーション コストであり、これは真剣に考慮する必要があり、無視することはできません。 GPT4 規模の大規模モデルを 1 回改良するコストは 6,300 万ドル近くになり、ほとんどの企業にはこの費用を負担する余裕がありません。さらに、高頻度のアプリケーションは許容できないアプリケーション コストをもたらす可能性があります。使用需要が増加するにつれて、API 呼び出しのコストを過小評価してはなりません。 2. コスト削減方法コストを管理するには、大規模モデルと小規模モデルの連携に頼る必要があります。これは、アプリケーション コストを削減する効果的な方法です。単純な例の大部分 (80-20 ルール) では、従来の BERT モデルで解決でき、その適用コストはごくわずかです。ある程度の常識的な理解と複雑な推論を必要とするサンプルに遭遇した場合は、大きなモデルにそれを完了させる必要があります。さらに、小型モデルの役割はコスト削減だけではありません。大型モデルと小型モデルは互いに補完し合い、互いの長所を生かすこともできます。説明可能性、制御可能性、推論速度の点では、小規模モデルの方が大規模モデルよりも優れています。 コストを削減するもう 1 つの方法は、大規模なモデルとナレッジ グラフ間の相乗効果を高めることです。過去 10 年間で、多くの業界で、優れた規模と品質を備えた多数のナレッジ グラフが構築されました。ビッグモデルは、主に次の 3 つの方法でこれを活用できます。
大型モデルの小型化は、大型モデルの適用コストを削減する効果的な方法の 1 つであり、大型モデルの普及と適用における重要なトレンドの 1 つでもあります。人間の脳の機能分割理論を活用して、大規模モデルの機能集約性を研究することは重要です。小型化により、携帯電話やその他のデバイスに大規模モデルを展開できるようになります。 大規模モデルの適時性も真剣に考慮する必要があります。適時性は大規模モデルの開発における中核的な競争上の優位性の 1 つだからです。財務データなどのシナリオでは、リアルタイムのデータを取得して分析できない場合、財務上の意思決定は無意味になります。適時性を確保するための暗黙的な方法には、知識の編集と継続的な学習が含まれ、明示的な方法には、記憶の強化、検索の強化、インターネット アクセスの強化が含まれます。 V. 対策と道筋
VI. 結論大型モデル業界では、合理的なポジショニング、正しい理解、多様なシナリオを持ち、積極的に新しい軌道を開拓し、大型モデルのコストと価値を重視し、大型モデルと数千の業界との深い融合を推進する必要があります。ビッグモデルは単なる錬金術ではなく、持続可能な開発を達成するための科学にならなければなりません。ビッグモデルの背後にある「人間」の研究が鍵となります。 |
<<: MobileSAM: モバイルデバイスに高いパフォーマンスをもたらす軽量の画像セグメンテーションモデル
>>: 人工知能チュートリアル (V): Anaconda とさらなる確率理論
Anthropicは2021年10月20日にOpenAIの創設者によって設立され、チャットボットC...
ソースコードのダウンロードアドレス: https://share.weiyun.com/a0c166...
Nvidia はビデオ会議を開催しただけで訴えられたのですか? ? ?はい、きっかけはほんの数枚のコ...
1. ツリー構造1. 配列とリンクリスト配列構造配列ストレージは、要素に添字でアクセスするため、クエ...
世界中の食べ物は、まさに世界の花火のボウルに過ぎません。人工知能は、新しい技術科学として、日常生活に...
ローコードおよびノーコード プラットフォームの爆発的な成長により、個人でも組織でも、従来はコード...
同氏は、テスラは人間の介入なしの完全自動運転の実現に近づいていると述べ、完全自動運転の実用性と自動車...
近年、政府の間ではAIへの関心が高まっており、さまざまなAIベースのアプリケーションのパイロットプロ...
[[280913]] Jiwei.comニュース(文/Jimmy)によると、北京軌道交通指揮センター...
誕生から2か月も経たないうちに、アリババの物流ロボット「小曼路」が稼働を開始した。 10月30日、小...
最高人民法院研究室民事部の陳龍野部長は、一部のモバイルアプリケーション(APP)はしばらくの間、パッ...
衛星から都市計画まで、人工知能の進歩は新たな洞察をもたらしています。 [[270081]]宇宙技術と...
CB Insightsが発表した2021年第2四半期のAI(人工知能)レポートによると、疫病の刺激...