12の性能項目で1位を獲得、GPT-4に最も近い中国最大級のモデルが登場！いよいよ本格的に営業開始です！

中国はいつになったら、極めて強力な一般化能力を持つさまざまな知的存在を創造し、人類の真の助手となることができる大きなモデルを手に入れるのだろうか？

半年にわたって大手テクノロジー企業を席巻してきた生成型 AI ブームが沈静化期に入る中、これは非常に考える価値のある質問です。

多くの人は、現時点では業界のベンチマークとして知られている GPT-4 だけがこの仕事をこなすことができ、さらには「唯一のもの」という称号さえも与えられるだろうと言うでしょう。

一方、国内の状況を見ると、この半年で大手模型メーカーが上陸を急いでいるにもかかわらず、「GPT-4に追いつくには2～3年はかかる」という声もまだ多い。

しかし、つい最近、国産の学習済み大規模言語モデル「 InterLM-123B 」がこのギャップを大幅に縮めたようです。

なぜなら、トップクラスの大型モデル間の競争において、そのパフォーマンスは非常に印象的だったからです。

• 12科目で1位を獲得。
• 総合的な強さでは世界第 2 位にランクされ、GPT-4 を上回る結果もいくつか出ています。
• ほとんどのパフォーマンスは ChatGPT および LLaMa-2-70B を上回ります。

写真

この評価は、世界でよく知られている 51 の評価セット (MMLU、AGIEval、ARC、CEval、Race、GSM8K などを含む) で合計 30 万の質問をテストした結果であると理解されています。

評価内容を詳しく見ると、InternLM-123B がすべての読解力、ほとんどの推論力、常識的な質問と回答で絶対的にリードしていることに気づくのは難しくありません。

写真

では、この大型国産モデルの起源は何でしょうか?

早速ですが、これは上海AI実験室やその他の国内トップクラスの研究機関と共同でSenseTimeがリリースした最新の大規模言語モデルです。

しかし、実際には、この大規模モデルを遡ってみると、2か月前（6月）、当時のパラメータサイズが1040億であったInternLMがすでに「GPT-3.5-turboを超える総合的な機能を備えた最初のベースモデル」という成果を達成し、当時中国で初めて、複数の権威ある評価セットでChatGPTのレベルを超えたベースモデルになっていたことが分かります。

それだけでなく、センスタイムが最近公開した中間業績報告では、このような生成型AI技術の実装によってもたらされた「成果」が明らかにされた。

わずか半年で、生成 AI 関連の収益は 670.4% 急増しました。

写真

このような技術と成果を考えると、人々が次のような疑問を持つのは必然です。

GPT4レベルに到達した中国初の大型モデルとなるか？

GPT-4 を超えたい場合は、技術的にそれに到達したり、上回ったりするのは簡単なことではありません。

結局のところ、人材、資本、計算能力を備えた Google や Meta でも、そのレベルには達していないのです。

さらに、スーパーコンピューティング能力、高品質のデータ、正しいトレーニング方法などはすべて密接に関連しており、大規模モデルのパフォーマンスに直接影響します。

なぜ GPT-4 のレベルに到達しなければならないのかと疑問に思う人もいるかもしれません。 Llama 2 オープンソース モデルを使用すると便利だと思いませんか?

これは、GPT-4 が AutoGPT のようなインテリジェント エージェントを駆動し、「ツール呼び出し」の使用可能な状態を作成する場合、強力なベース モデルに依存する必要があるためです。

「ツール呼び出し」に関しては、GPT-4 のような強力なアルゴリズムでも 80% の精度しか達成できず、Llama の精度はわずか 40% です。

写真

データソース:「オープンソースの大規模言語モデルのツール操作能力について」 △△

例えば、実装方法の面では、オープンソースとクローズドソースの間で長年議論されていることも、決定の難しい点です。

したがって、技術力、実用性、戦略的なレイアウトの観点から、センスタイムが期待できる「潜在的株式」であるかどうかを検討する必要がある。

技術力の強さを見る

センスタイムの技術的アプローチを一言でまとめると、「毎日新しい大規模モデルシステム＋SenseCore大型デバイス」となります。

両者は単純に足し合わされるのではなく、深い融合が存在します。

その技術的な強さと有効性については、大規模モデルの反復速度から垣間見ることができます。

センスタイムは今年4月、すでに毎日新たなビッグモデルシステムを発表し、中国で最初にビッグモデルを発表した企業の1つとなった。国内のビッグ言語モデル戦争の最も激しい段階で、一気に「生成AI製品群」を発表した。

SenseChat、SenseMirage、SenseAvatar、SenseSpace、SenseThings。

これらは、自然言語インタラクション、AI テキスト画像、デジタル ヒューマン、3D 大規模シーンの再構築、3D 小型オブジェクトの生成という 5 つの主流の生成 AI アプリケーションに対応しています。

写真

わずか2か月後（今年6月）、SenseTimeは再び上海人工知能研究所と提携してInterLM-104Bバージョンをリリースしましたが、その時点では3つの世界的に権威のある評価ベンチマーク（MMLU、AGIEval、C-Eval）におけるパフォーマンスがChatGPTを上回っていました。

それだけでなく、大型モデルの「ゲームプレイ」の面でも、SenseTimeは国内で最初に「ツールコール」を導入したプレーヤーの1つです。

たとえば、ナレッジベースの実装により、トレーニングなしで知識生成を迅速に統合でき、エンタープライズナレッジベースと組み合わせることで、関連分野の問題を迅速に解決できます。

もう 1 つの例は、この「プレイスタイル」を使用してコード解釈機能を備えた最初のオープン ソース会話モデルとなった InternLM-Chat-7B バージョンです。

必要に応じて Python インタープリターなどの外部ツールを柔軟に呼び出すことができるため、複雑な数学計算などのタスクを解決する能力が大幅に向上します。さらに、モデルは検索エンジンを通じてリアルタイムの情報を取得し、タイムリーな回答を提供することもできます。

写真

また、大規模モデルマスタリングツールの能力に関する第三者の評価結果から判断すると、InternLM-Chat-7B も主流の「プレーヤー」よりも優れています。

写真

その後、SenseTimeの大規模言語モデルの開発は、冒頭で触れたInterLM-123Bにまで至り、GPT-4に次ぐ、総合力では世界第2位となっています。

これで、開発パス内の重要な反復時間ノードをいくつか選択できるようになりました: 4 月 → 6 月 → 7 月 → 8 月。

正直に言うと、速いです。本当に速いです。

SenseTime の共同創設者であり、大規模設備の主任科学者でもある Lin Dahua 氏とのコミュニケーションの中で、このような高速な反復速度の背後には「キラーウェポン」、つまりデータ処理があることを知りました。

ここで言及されているのはデータの総量だけではありません。SenseTime は、十分に強力で高スループットのデータクリーニング機能に重点を置いています。リンダ・フアはこう言った。

強力なパフォーマンスを備えた大規模モデルの場合、トレーニング データは規模が大きいだけでなく、高品質である必要があります。大規模モデルの価値とセキュリティもこれに依存します。

データ クリーニングのプロセスは、レシピを準備する際の実験のようなもので、絶え間ない試行錯誤、繰り返し、さらには最初からやり直すことが必要になります。このプロセスは、大規模なモデルをトレーニングするすべての企業にとって避けられないものであり、近道はありません。

OpenAIはGPT4のトレーニングに関する経験を数え切れないほど紹介してきたが、大規模モデルのトレーニングにおいては極秘であるデータクリーニングの経験についてはこれまで公表したことがない。

SenseTime は、データクリーニングのプロセスに数千の GPU の計算能力を投入し、データ式の試行錯誤を行うための体系的かつ工学的なアプローチを多数確立しました。これにより、大規模なデータベースで有効なデータを迅速に検出し、小さなパラメータ モデルで検証することができます。

SenseTimeは4月から8月にかけて、データのクリーニングに多大な労力を費やしました。その過程で、多段階の推論コーパスの補完と構築に重点を置き、モデルトレーニングのための非常に効率的なクローズドループを形成し、モデルの推論能力を大幅に向上させました。

現在、SenseTimeは毎月約2兆トークンの高品質データを生成できます。今年末までに高品質データの蓄積量は10兆トークンを超え、より強力なベースモデルのトレーニングをサポートするのに十分な量になると予想されています。

SenseTimeは、データクリーニングを通じて、業界をリードするかなり高いレベルの中国語コーパス蓄積を達成しており、知識の理解と推論において優れたパフォーマンスを発揮します。

このような高速な反復速度と高品質のデータクリーニングは、SenseTime のテクノロジー マップのもう 1 つの鍵である SenseCore 大型デバイスである大規模なコンピューティング パワーのサポートと切り離すことはできません。

センスタイムは2022年1月、総投資額56億元の人工知能コンピューティングセンター（AIDC）を納入・運用開始し、オープンと同時にアジア最大級のAIスーパーコンピューティングセンターの一つとなった。

1 年前、その計算能力は 2,500 ペタフロップスに達し、数兆個のパラメータを持つ大規模なモデルを簡単に処理できるようになりました。そして、わずか 1 年後には、この数値は 2 倍以上の 6,000 ペタフロップスに増加しました。

強力なコンピューティング能力と高品質のデータ、そして大規模なモデルを「いじくり回す」中で長年にわたって蓄積された SenseTime のノウハウにより、なぜこれほど高速な反復速度を実現できるのか理解するのは難しくありません。

次に、アプリケーションを見てみましょう

高品質な着陸速度も重要なポイントです。

これは、現在冷え込んでいる AIGC 市場において、すべての大手モデル プレーヤーが直面している困難かつ現実的な問題でもあります。

センスタイムは、生成AI関連の収益が670.4%急上昇しており、現時点では高得点の課題を提出したと言える。

このデータの公開は実のところ驚くべきことではありません。なぜなら、SenseTime は以前の活動ですでにこれを公開しているからです。

たとえば、SenseTime は Shanglian 2.0 と Miaohua 3.0 の機能を組み合わせることで、モバイル デバイス上でさまざまなインタラクティブな「ソリューション」を顧客に提供しています。

SenseTime の大規模モデルには軽量バージョンがあるため、情報取得のための質疑応答インタラクション、生活シナリオにおける知識インタラクション、言語と画像によって生成されるコンテンツインタラクションなどをモバイルデバイスに簡単に展開できます。

SenseTimeは、InternLMの軽量モデルと自社開発の推論加速アルゴリズムをベースに、大手携帯電話チップメーカーと研究開発協力関係を築き、携帯電話上で大規模言語モデルのリアルタイムコンピューティング機能を実現することに成功しました。

…

これは、センスタイムがビッグモデルを実践した一例に過ぎません。多くの事例から、センスタイムの共同創設者兼エグゼクティブディレクターである徐兵氏の観察も反映されています。

AIGC と大型モデル技術に対する市場の需要は非常に強く、業界をリードする機能に一致するベースモデルを迅速に発売できる企業が、より速く事業を展開できるようになります。

当社は、大規模モデルの実装における市場固有の断片化の問題を解決し、さまざまな断片化された要求に直面しても迅速に対応できるように、ベースモデルの一般化能力を強化するために、インフラストラクチャに多大なエネルギーを投資しています。

したがって、センスタイムの着陸速度は、ある程度、「強い技術」と「強い需要」の間の双方向の競争として見ることができます。

3番目に、戦略的なレイアウトを見てみましょう

ビッグモデルの流行以来、長年の話題となっているのは「オープンソース」と「クローズドソース」です。

それぞれの利点はますます明らかになっています。

• オープンソースのビッグモデル：技術の共有と交換を促進し、人工知能の発展を加速し、クローズドソースモデルによる技術の優位性と独占を回避し、市場における公正な競争を促進します。
• クローズドソースのビッグモデル：知的財産権を保護し、企業に経済的利益をもたらし、企業の中核競争力を向上させ、企業が市場で有利な地位を獲得するのに役立ちます。

しかし、両者の競争も本格化しており、海外の大手モデル企業も同様だ。最も典型的な例は、オープンソースのLLaMaシリーズでOpenAIの地位に挑戦しているMetaだ。

この重要な問題に関して、SenseTime の戦略的なレイアウトは彼らのものと完全に逆で、すべて複数選択の質問ではなく、すべて複数選択の質問です。

例えば、オープンソースの面では、SenseTimeは多くの科学研究機関と協力して、AIオープンソースプラットフォームの構築を支援・推進しています。InterLM-7Bの一部のトレーニングデータ、トレーニングコード、ベースモデルの重みは、学界や産業界に無料でオープンソース化されており、無料の商用利用をサポートしています。

クローズドソースに関しては、SenseTime は競争力があり使いやすい「ベースモデル」の作成を目指しています。Nvidia が「ハード ショベル」を販売しているのと同じように、SenseTime は「ソフト ショベル」を通じて業界の潜在的な大規模モデルの数万のニーズをサポートし、業界の問題点を真に解決したいと考えています。

林大華氏はこう言った。

これら 2 つは互いに補完し合い、業界にとって大きな価値をもたらします。

オープンソースにより、より多くの人がビッグモデル自体のテクノロジーにアクセスできるようになります。このプロセスでは、より多くの火花を生み出し、ビッグモデルのより良い応用を可能にし、ビッグモデルエコシステム全体の構築を促進します。オープンソースは業界全体にとって非常にプラスの貢献であると思います。

クローズドソースは、企業が市場で技術的および競争的な障壁を構築する上で重要な役割を果たします。将来、この 2 つをうまく組み合わせることができれば、大規模モデル市場の発展をより促進できるでしょう。

同時に、センスタイムはベースモデルの機能にも大きな重点を置いています。これは、ベースモデルを十分に強力にすることによってのみ、非常に細分化された市場の需要に対応できると考えているためです。

これも Xu Bing の考えと一致しています。

大規模言語モデル、テキストベースのグラフモデル、マルチモーダルモデルなど、今年の開発は同じルールに従っており、以前は断片化とカスタマイズが行われていましたが、現在は強力なベースモデル機能と強力な一般化機能の追求に転じており、顧客のシナリオに直接接続できます。優れた適応により、商業価値実現の閉ループを迅速に形成できます。

また、シナリオやプレイヤーの数が多いため、中国における大規模産業モデルの潜在的な規模は 10,000 を超える可能性があると概算しました。これらの業界の大規模モデルは、強力なベースモデル機能に基づいて作成する必要があります。特定の分野のデータに基づいて大規模な業界モデルをゼロから作成することは困難です。なぜなら、ベースモデルがもたらす一連の創発機能が欠けているからです。

…

つまり、その実力、実装、レイアウトによって、SenseTimeが「GPT-4レベルに到達した中国初の大型モデルになる」という目標を達成できるかどうかは、期待に値する。

センスタイムがリニューアル

最後に、商堂自身に戻りましょう。

今回のSenseTimeの「成績表」を一文で評価するとしたら、次のようになるでしょう。

SenseTimeがリフレッシュされました。

かつて、SenseTimeに対する大衆と市場の印象は、依然として「AIビジョンテクノロジー企業」というラベルに留まっていたかもしれません。

しかし、それはまた出発点でもあります。この時点から振り返ってみると、おそらく今非常によく言われている「運命の歯車が回り始めた」ということわざに一致しているのかもしれません。

センスタイムは、自然言語処理や画像処理など、大規模モデルに必要なマルチモーダル技術にすでに深く関わっており、大規模なコンピューティングパワーが「入手困難」となっている今、センスタイムはAIDCの構築も早期に計画し、将来の大規模設備のための強固な基盤を築いています。

さらに、ChatGPT が AIGC ブームを引き起こす前から、SenseTime はすでに大規模モデルの分野で研究開発を開始していました。

2019年、SenseTimeはシングルタスクトレーニングに数千のGPUを使用し、10億のパラメータを持つビジュアルモデルを立ち上げ、当時業界で最高のアルゴリズム結果を達成しました。

その後、2021年から2022年にかけて、SenseTimeは30億のパラメータを持つ大規模なマルチモーダルモデルであるShushengをトレーニングし、オープンソース化しました。

熱狂が静まり、市場が実装の試練に直面したとき、センスタイムは、完全な生産要素と生産手段、柔軟な「ゲームプレイ」とレイアウトを通じて、長い間準備してきた一連の結果で対応できるでしょう。

したがって、SenseTime は現在、常に今後の不確実な未来に備えている、新しいタイプのテクノロジー インフラストラクチャ プラットフォームのようなものです。

全体として、SenseTime を再評価する時期が来ています。

もう一つ

良いニュースです！ SenseTimeの大規模モデルアプリ「SenseChat」が全ユーザーに完全オープンになりました！

詳細については、以下のリンクをクリックしてください: https://chat.sensetime.com