2457億のパラメータ！世界最大のAIモデル「Source 1.0」がリリース、中国が独自のGPT-3を製作

  [[426889]]

古代の学者たちは、一杯の酒を飲みながら心の奥底にある感情を表現したり、武宇寺に行き、帰宅途中に歌を歌ったりした。 「詩を暗唱し、連句を作る」ことが彼らの標準となった。たった今、世界最大の人工知能モデル「Source 1.0」が公開されました。詩や歌詞を作ることができ、人間よりも人間らしいです。

理系の学生がより芸術的になれば、文系の学生の居場所がなくなるかもしれない。

信じられませんか？この7文字の詩を見てください。

私は月の宮殿から追放された妖精ではないが、なぜ氷の宮殿の骨まで凍るような寒さを恐れなければならないのか？

カーテンの隙間から覗くと、小さな金色の家と、ここには才能ある人々がたくさんいるのが見えます。

読んでみて、本当に素晴らしいと言わざるを得ません！芸術的な構想と意味合いは非常に優れています。

彼は詩を書くだけでなく、次のような歌詞も書くことができます。

空には涙があるのか​​な。

私のためにこっそり振りかけて下さい。

西湖の水に飛び込んで、

千マイル離れた月明かりを濡らし、

私の夢の中の雲になってください。

これが詩の書き方を全く知らない理工系の学​​生の傑作だなんて想像できますか？

それは本当だ。李白は黙り、杜甫は泣いた。

これは、Inspur が最近リリースした「Source 1.0」という世界最大の人工知能モデルです。

詩を作曲できるだけでなく、会話をしたり、連句を書いたり、ニュースを生成したり、物語を続けたりすることもできます...

2,457億のパラメータを持つこの世界最大の人工知能モデルは、2,000億語を読み取りました。

ご存知のとおり、人間が一生のうちにこれほど多くの単語を読むことは不可能です。

世界最大と言われていますが、どれくらいの大きさなのでしょうか？

世界最大の人工知能モデル！

世界最大という称号は冗談ではありません！

「Source 1.0」は、アルゴリズム、データ、計算能力の面で超大規模かつ大規模な定量化を実現しました。

アルゴリズムの面では、1750億のパラメータを持つ英語モデルGTP-3と比較すると、「Source 1.0」には合計2457億のパラメータが含まれており、これは前者の1.404倍のパラメータ数です。

そして、最も重要なのは、「Source 1.0」は、多数の小さなモデルのスタックではなく、GPT-3 のような単一のモデルであるということです。この点だけでも、「Source 1.0」は世界最大の自然言語理解モデルと言えるでしょう。

画像ソース: writeup.ai

データに関して言えば、「Source 1.0」は過去5年間で中国のインターネット全体の膨大なコンテンツのほぼすべてを「読み取った」ことになります。独自に開発したテキスト分類モデルを通じて、トレーニングデータセットの約10倍にあたる5TBの高品質中国語データセットを取得しました。

さらに、Source 1.0 は約 2,000 億語を読み取りました。これのコンセプトは何ですか?

ひと月に 10 冊、年に 100 冊、50 年間読書を続けることができたとしても、生涯で読めるのは 5,000 冊だけです。1 冊の本の単語数が 20 万語だとすると、単語数は 10 億語にしかなりません。2,000 億語を読むには 1 万年かかります。このような大規模なデータのサポートにより、「Source 1.0」データセットは当然ながら世界最大の高品質中国語データセットとなりました。

計算能力に関して言えば、「Source 1.0」は合計で約 4095PD (ペタフロップス/秒-日) を消費します。 1750億個のパラメータを取得するために3640PDの計算能力を消費するGPT-3と比較すると、計算効率が大幅に向上します。 Source 1.0 を 1 日 24 時間連続で読み続けると、過去 5 年間の中国のインターネット上のほぼすべてのコンテンツを読み終えるのに 16 日しかかかりません。

えっと？過去 5 年間で、すでにすべての中国語インターネット コンテンツを学習したことになりますか?

u1s1、「ソース 1.0」はすごいですね!

結果はどうですか?

これらの会話の各質問に対応する A と B のどちらが「ソース 1.0」によって生成されたか推測してください。 （答えは記事の最後にあります）

「チューリングテスト」を自分で体験してみるのも楽しいと思いませんか？心配しないでください。まだたくさんの質問が待っています!

それでは、「Source 1.0」の最も強力な模倣能力を見てみましょう。つまり、まったく存在しない「単語」の場合、「Source 1.0」では、この「単語」の使用方法を学習するために 1 つのユースケースのみが必要です。

こうしたおなじみの「言葉」を見ると、その味わいを感じますか？（doge）。突然、ちょっと興奮してきました。「Source 1.0」が「ピエロは実は私です」というフレーズを学習したら、どうするのでしょうか？ ふふふ。

チューリングテストについて触れたので、テスト結果を見てみましょう。

「Source 1.0」はテストで平均誤判定率最大50.84%を達成しました！

チューリング テストでは、「質問」と「回答」のモードが使用されます。つまり、観察者はタイプライターを操作して、1 人は人間、もう 1 人は機械の 2 人の被験者と会話します。観察者は、回答者が人間であるか機械であるかを判断するために、常にさまざまな質問をします。

一般的には、複数回のテストを行った後、機械が参加者の平均 30% 以上を誤判断させた場合、その機械はテストに合格し、人間レベルの知能を備えているとみなされると考えられています。

「Source 1.0」のテスト結果では、回答者の平均正答率は49.16%で、平均誤判定率は50.84%でした。ニュース生成の分野では誤判断率が57.88%にも達します。

このうち、精度率とは、機械で生成されたテキストが正しく認識できる割合を指します。正解率が 70% 未満ということは、誤判定率が 30% を超えることを意味します。

データが単調すぎるように見えますか?大丈夫！皆様が楽しみにしていた「本音質問」セッションがやってまいりました！

答えは記事の最後にあります〜

世界一になった気分はどんな感じですか？

では、世界第1位を誇るこの最大のAIモデルの実力はどれほどなのでしょうか?

取り出してポイントをいくつか実行し、ランキングを確認してみませんか?

英語モデルの評価には、GLUE と SuperGLUE が含まれます。GPT-3 などのさまざまな事前トレーニング済みモデルがそれらで評価されます。 GLUE と同様に、CLUE は中国語の最初の大規模な言語評価ベンチマークです。これには、代表的なデータセット、ベンチマーク（事前トレーニング済み）モデル、コーパス、リーダーボードが含まれます。これらのデータ セットは、さまざまなタスク、データ量、タスクの難易度などもカバーします。

ちなみに、最近リリースされた中国初のデータセントリックAI評価プラットフォーム「DataCLUE」もお勧めです。

話題に戻ると、「Source 1.0」はゼロショット学習と少数ショット学習のリストのトップにあります。

ZeroCLUEゼロショット学習リストでは、「Source 1.0」が業界最高の結果を18.3%上回る絶対優位で大きくリードしています。その中で、彼は文書分類、ニュース分類、商品分類、中国語ネイティブ推理、慣用句読解穴埋め、名詞代名詞関係の6つの課題で優勝しました。

https://www.cluebenchmarks.com/zeroclue.html

FewCLUE小サンプル学習リストでは、「Source 1.0」が文書分類、製品分類、文書抽象認識、名詞代名詞関係の4つのタスクで優勝しました。

https://www.cluebenchmarks.com/fewclue.html

ゼロショット学習とは、トレーニングされた分類器がトレーニング セット内のデータ カテゴリを認識できるだけでなく、これまでに見たことのないカテゴリからデータを区別できることを意味します。原則的には、コンピューターが人間のような推論能力と知識伝達能力を持つようにし、トレーニング データなしでもこれまで見たことのない新しいものを認識できるようにすることが目標です。

小サンプル学習とは、ディープラーニングに必要なサイズよりもはるかに小さいデータサンプルサイズを使用して、ビッグデータディープラーニングに近い、あるいはそれを超える結果を達成することです。少数のサンプルから学習し一般化する能力は、人工知能と人間の知能を明確に分ける境界線です。人間は 1 つまたは少数の例から簡単に新しい事柄の理解を深めることができるため、機械学習アルゴリズムでは通常、一般化能力を保証するために何千もの教師ありサンプルが必要です。

画像出典: Akira AI

ここまで話してきたところで、Source 1.0 の小サンプル学習とゼロショット学習の用途は何でしょうか?

これにより、大規模モデルの非常に重要な意義、つまり強力な統一された一般化能力が明らかになります。

ほとんどの小規模モデルでは、新しいタスクごとに微調整し、対応するデータセットを入力する必要があります。多くの作業を経て初めて、新しいシナリオに適用できるようになります。大規模なモデルの場合、さまざまなアプリケーション タスクに直面しても、多くの再トレーニングや再調整を行う必要はありません。

Inspur AI Research Instituteの主任研究員であるWu Shaohua氏は、「新しいアプリケーションシナリオで非常に良い結果を得るために、トレーニングのために巨大なモデルに大量のデータを入力する必要はない」と語った。

そのため、大規模モデルの適応性は非常に強く、モデルを適用する際の業界のデータ投資と微調整を大幅に削減し、業界の発展を加速させることができます。

どのように評価しますか?

大規模モデルは AI の開発トレンドになりつつあり、戦うべき優位性となっています。

3年前に戻ってみましょう...当時の事前トレーニングモデルは、ディープニューラルネットワークと大規模なラベルなしデータの自己監視機能を正常にアクティブ化しました。

特に NLP の分野では、ディープラーニング モデルとパフォーマンスのスイッチが同時にオンになります。

モデルのトレーニングの甘さを味わったビッグテックは、モデルの規模とパフォーマンスに関して激しい競争を開始しました。

驚異的な Google BERT から OpenAI の GPT-3 まで、パラメータの数は絶えず更新されており、1,750 億のパラメータを擁するその能力は明らかです。

現在、言語モデルのトレーニングは「大規模モデルの改良」段階から「大規模モデルの改良」段階に移行しており、大規模モデルも業界の注目の的となっています。

最近、フェイフェイ・リー氏と他のスタンフォード大学の研究者らは論文の中で、準大規模モデルの重要性は出現と均質性にあると説明した。論文では、この大規模なモデルに「基盤モデル」という名前を付け、基盤モデルの機会とリスクを体系的に調査しました。

出典：http://arxiv.org/pdf/2108.07258.pdf

簡単に言えば、ビッグモデルとは、単純なものから複雑なものまで、生命の進化をどのように理解するかということです。

このモデルをメタバースの生命に例えます。大規模なモデルを備えたこのような複雑な統合システムの能力が、将来のデジタル世界やインテリジェントな世界における知能のレベルを決定する可能性があります。

現在、Source 1.0 には 2,457 億のパラメータがありますが、これでは十分ではありません。人間には 100 兆を超えるシナプスがあるため、まだ道のりは長いです。

「Source 1.0」の革新性とは？ 「Source 1.0」は、協調的な最適化を通じて、スケーラビリティ、コンピューティング効率、大規模モデル アルゴリズム、大量データと超大規模分散トレーニングの精度向上における業界の課題を克服しました。

アルゴリズム的には:

1. 大規模モデルの不安定なトレーニングという業界の問題を解決し、大規模モデルの安定したトレーニングのためのアルゴリズムを提案します。
2. 大規模モデルのための新しい推論方法が提案され、モデルの一般化能力が向上し、モデルをより多くのシナリオに適用できるようになります。

データに関して：

中国語データセットを生成するための革新的な方法が提案されています。新しいテキスト分類モデルにより、ジャンクテキストを効果的に除去し、高品質の中国語データセットを生成できます。

計算能力に関して:

「Source 1.0」は、アルゴリズムと計算能力を一緒に最適化し、モデルが GPU パフォーマンスにさらに貢献できるようにして、計算効率を大幅に向上させ、業界をリードする精度を達成しながら、業界をリードするトレーニング パフォーマンスを実現します。

画像出典: Kuaxiang Chengyun

では、開発者はこの「ブラック ランド」から何を得ることができるのでしょうか?

Inspur 1.0 モデルは単なる始まりに過ぎず、広大な肥沃な土壌を提供するだけです。

将来、Inspur は大規模モデル API を公開し、Metabrain エコシステム コミュニティのすべての開発者にサービスを提供して、世界中の開発者がプラットフォーム上でさまざまな業界向けのアプリケーションを開発できるようにします。

Inspur が提供する API を通じて、さまざまなアプリケーションが大規模モデルベースの検索、会話、テキスト補完などの高度な AI 機能を実行できます。

実際、1750億のパラメータを持つ言語モデルであっても、2457億のパラメータを持つ言語モデルであっても、最も重要なのは、それが本当に私たちに使えるかどうかです。実戦投入となると、記者会見での初登場ではなく、実際の場面でその役割と価値を発揮することが本当の意味だ。

インスパー・インフォメーションの劉軍副社長は、「まず、ビッグモデルの誕生自体には別の意味がある。つまり、最先端技術の探求には、さらなるイノベーションをサポートできるビッグモデルのようなプラットフォームが必要だということだ」と語った。

「第二に、当社の業界代表者の多くが、オペレーターのインテリジェントな操作とメンテナンス、スマートオフィスシナリオでのレポートの自動生成、スマートアシスタントとの自動対話など、キラーアプリケーションシナリオを提案してきました。」

「Source 1.0」ビッグモデルの自然言語から「トピックを識別し、要約を生成する」機能により、あらゆる業界の企業の製品、顧客体験、マーケティング チームは顧客のニーズをより深く理解できるようになります。

たとえば、Future Big モデルは、アンケート、ヘルプデスク チケット、ライブ チャット ログ、レビューなどからトピックや感情を識別し、集約されたフィードバックから洞察を抽出して、数秒で概要を提供します。

「チェックアウト体験に関してお客様が不満に思うことは何ですか？」と尋ねられたら、

大規模なモデルは、次のような洞察を提供する可能性があります。「顧客は、読み込みに時間がかかりすぎるため、チェックアウトプロセスに不満を感じています。また、チェックアウト時に住所を編集し、複数の支払い方法を保存する方法も望んでいます。」

今後、Inspur 1.0 ビッグモデルは、革新的な企業や個人開発者がビッグモデルに基づいてより高度なインテリジェンスを備えたシナリオアプリケーションを構築することを奨励し、実体経済のインテリジェントなアップグレードを可能にし、高品質の経済発展を促進します。

チューリングテストの答え

対話

連句

詩