第3回北京知源大会が開幕、世界最大のインテリジェントモデル「五道2.0」が発表

6月1日、北京知源人工知能研究所（以下、知源研究所）が主催する2021年北京知源会議が北京市中関村国家自主イノベーションモデル区会議センターで無事開幕した。

北京AIカンファレンスは、AI研究所が主催する人工知能に関する毎年恒例の国際ハイエンド学術交流イベントで、「AIインサイダーのためのトップイベント」と位置付けられています。第1回カンファレンスは2019年に開催され、今年は3回目です。6月1日から3日まで、オンラインとオフラインで同時に開催されます。人工知能分野の専門家3万人以上がカンファレンスへの参加を登録しています。

会議の開会式には北京市の金偉副市長と科学技術部戦略計画局長の徐静氏が出席し、スピーチを行った。金偉副市長は演説で、近年、北京市は人工知能の加速的発展を積極的に推進し、最先端の研究、人材育成、応用実証、財政支援などにおいて一連の強力な措置を導入し、国家初の新世代人工知能革新開発パイロットゾーンの建設を加速し、智源研究所などの新しい研究開発機関の発展を継続的に推進していると指摘した。現在、人工知能関連企業は1,500社以上、人工知能研究者は4,000人を超え、産業人材は4万人を超え、論文発表数や特許出願数は全国1位であり、人工知能の人材、成果、企業が集まる強力な磁場を形成しています。

金偉副市長はまた、現在、超大規模事前トレーニングモデルは世界の人工知能技術研究開発のホットスポットと競争の焦点となっており、今後5年から10年で技術の飛躍をリードし、新たな産業モデルをもたらすと予想されると指摘した。 「ビッグモデル＋ビッグコンピューティングパワー」時代の到来を歓迎するため、北京市は人工知能研究院が主導して「超大規模人工知能モデルトレーニングプラットフォーム」を構築し、「五道」シリーズのモデルを作成することを支持している。私たちは、国内外の大学、研究機関、革新企業がビッグモデルの研究開発と応用エコロジーに積極的に参加し、このプラットフォームを基盤として、国際的にトップレベルの画期的な技術と応用成果を継続的に生み出すことを期待しています。

科学技術部戦略計画司長の徐静氏は挨拶で、中央政府の人工知能発展の展開要求を実行するため、科学技術部は現在、新世代人工知能計画の関連任務の実施を加速し、主要プロジェクトを実施し、北京を含む15か所に国家新世代人工知能イノベーション開発パイロットゾーンを構築することを支援していると指摘した。主導的な企業に依存して、自動運転、インテリジェントサプライチェーン、画像認識などの15の国家新世代人工知能オープンイノベーションプラットフォームを構築し、防疫における人工知能の広範な応用を加速し、人工知能ガバナンスを推進し、新世代人工知能ガバナンス原則を発行して実施し、政策、法規、倫理規範、技術標準を含む人工知能ガバナンスシステムを構築する。

徐静主任はまた、科学技術部は現在、北京の国際科学技術イノベーションセンターの建設を全面的に支援しており、北京と共同で行動計画を実施し、北京が世界的影響力を持つ人工知能イノベーション源の建設を加速することを支援しつつあると指摘した。北京が引き続き、独創的な科学技術研究を強化し、戦略的な科学技術力を強化し、良好なイノベーションエコロジーを形成し、人材のイノベーション活力を刺激し、オープンな協力を促進し、能力とエコロジー構築を強化し、人工知能などの重点分野で優位性を築き、国際科学技術イノベーションセンターの建設で新たな道を切り開くよう努めることを期待する。同時に、AI研究所が超大規模知能モデルの継続的な研究開発と産業エコシステムの構築を強化し、我が国の人工知能研究開発と応用のための重要なインフラをできるだけ早く構築することを期待しています。

会議の開会式では、ASCALが世界最大の超大規模知能モデル「Wudao 2.0」を公開した。 3日間の会議期間中、AI研究所はAI起業を支援する「源泉創生計画」や国内外の若手AI研究者に学術交流の場を提供する「清源会議」などの作業計画や構築成果も発表する予定だ。

1. 200名以上のトップAI専門家と29の特別フォーラムが、最も包括的かつ最先端のAIイベントを創出します。

会議には、2018年チューリング賞受賞者のヨシュア・ベンジオ氏、2017年チューリング賞受賞者のデイビッド・パターソン氏、2017年欧州ブレイン・アワード受賞者のピーター・ダヤン氏、清華大学国家金融研究所所長の朱敏博士、北京大学院士の呉維南氏、カリフォルニア大学バークレー校人工知能統計センター創設者のスチュアート・ラッセル氏、自動運転の父セバスチャン・スラン氏、計算持続可能性分野の先駆者であるカーラ・ゴメス氏、アレン人工知能研究所（AI2）CEOのオーレン・エツィオーニ氏、マイクロソフトリサーチアジア副社長の劉鉄燕氏、清華大学智能産業研究所主任科学者の馬衛英氏など、人工知能分野のトップエキスパート200名以上が国内外から出席した。会議に参加する専門家は、人工知能分野における最先端の研究の進歩と動向について詳細な議論を行います。

会議では、国際的な人工知能の学術的最前線と産業のホットスポットに焦点を当て、「事前トレーニング済みモデル」、「機械学習」、「集合知」、「人工知能の数学的基礎」、「インテリジェントシステムアーキテクチャとチップ」、「精密知能」、「インテリジェント情報検索とマイニング」、「清遠学術年次会議」、「AI起業家精神」、「AI医薬品」、「AIシステム」、「AIの開放と共有」、「テクノロジーにおけるAI女性」など、29の特別フォーラムが設けられました。トピックの範囲は非常に豊富で、基礎的な AI 研究、国境を越えた統合から産業用アプリケーションまで多岐にわたり、学者、エンジニア、技術者がアイデアを交換し、活性化するためのプラットフォームを提供します。

6月1日の開会式では、チューリング賞受賞者のヨシュア・ベンジオ氏、清華大学国家金融研究所所長の朱敏博士、北京大学の梧維南院士がそれぞれ論理分析システムSystem2、データ資産、科学とインテリジェンスについて基調講演を行った。

2. 世界最大の超大規模知能モデル「武道2.0」をリリースし、我が国の人工知能戦略インフラを構築する

独立した技術革新システムを構築し、ビッグモデル時代の知的資源を創出する

開会式では、智能科学技術研究院の張宏江理事長が「五道」モデルの開発背景を紹介した。彼は、現時点では「ビッグモデル＋ビッグコンピューティングパワー」が汎用人工知能への実現可能な道であると信じています。ビッグモデルは人工知能の発展にとって大きな意義を持っています。将来的には、ビッグモデルに基づいて電力網と同様の変革的なAI産業インフラが形成されるでしょう。大規模な AI モデルは「発電所」に相当し、データ、つまり「燃料」をインテリジェントな機能に変換して、さまざまな AI アプリケーションを駆動します。ビッグモデルとあらゆるAIアプリケーションが接続され、ユーザーに統一されたインテリジェント機能を提供すると、社会全体がインテリジェント機能の生産と使用のためのネットワーク、つまり「スマートネットワーク」を形成することになります。ビッグモデルは、次世代AIの基本プラットフォームであり、将来の AI 開発に向けた戦略的インフラストラクチャです。

現在、世界で主流の大規模モデルは主に英語コーパスに基づいて開発されています。AI研究所はAIインフラ構築の先駆者として、AI研究所学術副所長の唐潔教授が率いる「Wudao」チームと100人以上の科学研究バックボーンを設立し、中国語向けの大規模インテリジェントモデルの開発を開始しました。 「五道」モデルシステムは「ビッグモデル、ビッグプラットフォーム、ビッグエコロジー」を構築し、超大規模インテリジェントモデルの開発を継続し、大規模モデルの研究開発を中心に大規模コンピューティングパワープラットフォームを構築すると同時に、モデル機能を外部に開放し、さまざまな産業の発展を「促進」し、大規模モデルエコロジーを構築します。 ASIは今年3月20日、中国語、マルチモーダル、認知、タンパク質予測など一連のモデルを訓練した中国初の超大規模インテリジェントモデル「Wudao 1.0」を発表した。 3 か月足らずの継続的なアップデートと反復を経て、「Wudao 2.0」はより高いレベルへの飛躍を達成しました。

開会式では、中国科学院学術担当副院長の唐潔教授が「五道2.0」モデルの詳細を紹介した。同氏は、 「Wudao 」超大型知能モデルは、データと知識の両方によって駆動される認知知能を生み出し、機械が人間のように考え、チューリングテストを超える機械認知能力を実現することを目指していると述べた。 「Wudao」チームは、大規模事前トレーニングモデルの研究開発において多くの基礎作業を行い、独立した超大規模インテリジェントモデル技術革新システムを形成しました。事前トレーニングの理論技術から事前トレーニングツール、事前トレーニングモデルの構築、最終的なモデル評価まで、完全なチェーンを持ち、技術的に完全で成熟しています。一連の独創的なイノベーションと技術革新により、新たにリリースされた「Wudao 2.0」は、大規模、高精度、高効率という特徴を備えた「ビッグ＆スマート」を実現しました。

世界最大の兆レベルパラメータ、新世代のFastMoEは兆レベルモデルの最後の欠点を埋めます

「Wudao 2.0」モデルのパラメータ規模は1兆7500億に達し、GPT-3の10倍となり、これまでGoogle Switch Transformerの事前学習済みモデルが記録した1兆6000億のパラメータ記録を破った。これは現在、中国初、世界最大の兆レベルモデルとなっている。

FastMoE技術の画期的な研究開発は、海外の技術ボトルネックを打破し、「兆モデル」の礎を実現する鍵となる。これまで、Google の 1 兆ドル規模のモデルのコア技術である MoE (Mixture of Experts) は、分散トレーニング フレームワークとカスタマイズされたハードウェアに強く結びついていたため、ほとんどの人がそれを使用したり研究したりする機会がありませんでした。 Wudao チームによって研究され、オープンソース化された FastMoE は、PyTorch フレームワークをサポートする最初の MoE システムです。使いやすく、柔軟性があり、高性能で、大規模な並列トレーニングをサポートします。新世代の FastMoE は、Switch や GShard などの複雑なバランス戦略をサポートし、さまざまな専門家向けにさまざまなモデルをサポートすることで、1 兆ドル規模のモデル実装ソリューションの最後のギャップを埋め、夢を実現します。

「Wudao 2.0」モデルは、中国語と英語の両方で、4.9TB の高品質で大規模なクリーンなデータに基づいてトレーニングされています。トレーニング データには、1.2 TB の中国語テキスト データ、WuDaoCorpora からの 2.5 TB の中国語画像およびテキスト データ、および Pile データセットからの 1.2 TB の英語テキスト データが含まれています。

さらに、「Wudao 2.0」モデルは、テキストとビジョンの2つの主要なフロントを統合し、より多くのタスクをサポートし、より普遍的です。

n 9つのトップインテリジェント機能、革新的な一般精密インテリジェンス

「Wudao 2.0」は、世界的に認められた9つのベンチマークテストタスクで優れた結果を達成し、正確なインテリジェンスを実現しました。

1) ImageNetゼロショットSOTAは200のカテゴリーでOpenAI CLIPを上回りました。

2) LAMA 知識検出: AutoPrompt を上回ります。

3) LAMBADA Cloze: Microsoft Turing NLG より 1.7 倍強力。

4) SuperGLUE 少数ショット FewGLUE: GPT-3 を上回り、最良の少数ショット学習結果を達成します。

5) カリフォルニア大学マーセッド校の土地利用ゼロショットSOTA、OpenAI CLIPを上回る

6) MS COCO テキスト生成グラフ: OpenAI の DALL E を上回る

7) MS COCO 英語画像およびテキスト検索: OpenAI CLIP および Google ALIGN を上回る。

8) MS COCO 多言語画像およびテキスト検索: 現在最高の多言語マルチモーダル事前トレーニング モデル UC2 および M3P を上回ります。

9) マルチ 30K 多言語画像およびテキスト検索: 現在最高の多言語マルチモーダル事前トレーニング モデル UC2 および M3P を上回ります。

「Wudao 2.0」の高精度は、一連のコア技術革新から生まれています。例えば：

GLM2.0 : モデルアーキテクチャの革新と、より一般的な事前トレーニング済みモデルです。これまで、BERTとGPTの間の壁を初めて打ち破り、すべての主流アーキテクチャと互換性のある単一のモデルを開拓しました。新世代バージョンは、少ないリソースでより多くの成果を上げる高性能人工知能モデルです。100億のパラメータで、170億のパラメータを持つMicrosoftのTuring-NLGモデルに匹敵するのに十分であり、複数のタスクでより良い結果を達成しました。

P-tuning2.0アルゴリズム:少数ショット学習と完全教師あり学習のギャップを大幅に縮め、少数ショット学習の能力がはるかに優れています。

CogView :テキストから画像を生成する新しいフレームワーク。テキスト画像モデルにおける「オーバーフローとオーバーフロー収束」という主要な難題を克服し、 VQ-VAE と Transformer を組み合わせて、SOTA (現在のアルゴリズム パフォーマンスが最高のモデル)を実現します。 MS COCO FID インジケーターのパフォーマンスは、 DALL·E などのモデルよりも優れています。このモデルは、OpenAI CLIP モデルと同様の自己スコアリング機能を直接実装し、中国画、油絵、漫画画、輪郭線画などの多様な絵画スタイルを生成できます。

現在、「Wudao」モデルの詩作、連句の執筆、文章要約、キャラクターQ&A、絵画などの多くの応用は、チューリングテストを突破し、人間と競争する寸前です。

効率的で使いやすく、チェーン全体の効率を向上させ、業界における大規模インテリジェントモデルの普遍性を高めます。

大規模な事前トレーニング済みモデルのパラメータスケールは、通常、従来の専用 AI モデルのパラメータスケールをはるかに超えており、膨大な量のコンピューティングリソースとトレーニング時間を消費します。大規模な事前トレーニング済みモデルの業界汎用性と使いやすさを向上させるために、Wudao チームは効率的な事前トレーニング フレームワークを構築し、効率的なコーディング、効率的なモデル、効率的なトレーニング、効率的な微調整、効率的な推論のチェーン全体で独自のブレークスルーや反復的な最適化を実現し、大幅な効率向上を実現しました。

効率的なエンコーディング:珍しい文字などの問題を解決するために、最も効率的でノイズに強い中国語の事前トレーニング済み言語モデル エンコーディングを開発しました。

効率的なモデル:世界初の純粋な非ユークリッド空間モデルが構築されました。このモデルでは、近似ユークリッドモデルの効果を達成するために必要なパラメータの数が半分だけです。

効率的なトレーニング:世界初の大規模な事前トレーニングモデル融合フレームワークにより、新しい効率的なトレーニングモデルが形成され、トレーニング時間が 27.3% 短縮され、速度が 37.5% 向上します。

効率的な微調整: 世界初のマルチカテゴリプロンプト微調整。下流のタスク適応を実現するために、パラメータの 0.001% をトレーニングするだけで済みます。

効率的な推論:世界初の低リソース大規模モデル推論システム。1 台のマシンと 1 枚の GPU カードで、数千億のパラメータ規模のモデル推論を実行できます。

業界貢献、世界最大のコーパスデータベースWuDaoCorpora2.0の構築、自然言語評価の新基準「Intelligence Index」の提案

「Wudao」モデルの開発中に、中国言語文学研究院は世界最大のコーパスデータベースWuDaoCorpora2.0を構築しました。これには世界最大の中国語テキストデータセット、世界最大のマルチモーダルデータセット、世界最大の対話データセットが含まれており、業界の大規模インテリジェントモデルの開発に豊富なデータサポートを提供しています。

さらに、知源研究所は、人間の言語能力に基づいて機械言語能力を総合的かつ体系的に評価するシステムを構築するために「知源指数」を提案した。 「知能源指標」は、6つの主要な言語能力、30以上の主流タスクおよび関連データセットを含む「能力-タスク-データセット」階層に基づく機械言語評価システムと評価スキームを初めて提案しました。また、信頼性、難易度、有効性などの指標に基づいて評価された最初の高品質の評価データセットであり、ビッグモデルの「権威あるテストペーパー」を形成しています。

3. 「五道」モデル生態機構との協力協定を締結し、超大規模知能モデルに基づく産業生態の構築を加速

知源研究所は、「五道」超大規模インテリジェントモデル産業エコシステムの構築を推進し、個人開発者、中小革新企業、産業応用企業、ITリーディング企業など、さまざまな主体にモデルオープンソース、APIコール、「プロフェッショナル版」大規模モデル開発、大規模モデル開発ライセンス認可などのモデル機能サービスを提供し、AI技術の研究開発を強化します。

会議の開幕式で、知源研究院は新華社、美団、小米、快手、捜狗、360、カンブリアン、4パラダイム、TAL教育、知普華章など「五道」大型モデル産業エコシステム企業22社と戦略協力協定を締結した。締結企業には、産業応用企業、ITリーディング企業、中小革新企業などが含まれる。同時に、「五道」大型モデル技術革新エコロジカルアライアンスを結成し、より多くの企業の参加を呼びかけています。このアライアンスは、企業のニーズに基づいてモデルの研究開発を推進するためのハブとして活用され、「五道」大型モデルに基づくインテリジェントアプリケーションを共同で開発し、モデルの研究開発と応用を通じて産業集積を促進します。

また、智源研究所は「五道の頂点」モデル応用コンテストも開始し、さまざまな革新機関や技術者が「五道」大規模モデルに基づいて斬新で実用的なインテリジェントアプリケーションを開発することを奨励し、業界の発展に力を入れ、超大規模インテリジェントモデルに基づく革新的企業を継続的に発見・育成し、市の人工知能産業の持続可能な発展を促進しています。

4. 最高のAIエコシステムの開発を促進し、北京が世界的影響力を持つAIイノベーションハブの構築を加速することを支援する。

開所式では、AIインサイト研究所所長の黄鉄軍教授が、革新研究、学術エコロジー、産業発展、AIガバナンスの4つの側面からAIインサイト研究所の事業計画と建設の進捗状況を紹介しました。

革新的な研究: 3 つのインテリジェント モデル+ 1 つのインテリジェント コンピューティングプラットフォーム

黄総裁によると、ASIはインテリジェントモデルの創出を独創的なイノベーションの中核任務と定め、組織構造、リソース保証、メカニズムシステムの面で体系的な展開を図り、情報モデル、生命モデル、物理モデルの「インテリジェント三銃士」の構築に努めている。

1つ目は「五道」情報モデルです。データは知能の材料です。「ビッグデータ＋ビッグコンピューティングパワー＋強力なアルゴリズム」を通じて、超大規模情報モデルを訓練し、各階層の知能に実用的で使用可能な共通基本知能モデルを提供します。これは、現在および将来の経済社会の発展に十分な力を与える人工知能の中心的な任務です。そして、「自然進化」生命モデルがあります。生命は知能の最初の担い手です。数十億年にわたって進化してきた生物の神経系と体をシミュレートし、生​​命知能モデルを構築し、生物知能のメカニズムを探求することは、新世代の人工知能を開発するための無尽蔵の資源です。最後に、「天道」物理モデルがあります。自然は生命のゆりかごであり、地球は人類のゆりかごであり、地球環境の物理モデルを構築することは、人間のような知能と人間と機械の共存を実現するための必要条件です。宇宙物理モデルを確立し、知性が地球を超えて時空を旅することを促進します。

情報モデル、物理モデル、ライフモデルの構築に共通する要件は、計算能力です。現在、北京は、先進的なアーキテクチャ、高速相互接続、拡張性、効率性、並列動作を備えたソフトウェアおよびハードウェアシステムを構築するための超大規模インテリジェントコンピューティングプラットフォームの構築を支援しています。

n学術エコロジー：「知源学者プログラム」の実施を継続し、国内外の若手AI研究者間の学術交流のための「清源クラブ」を設立する

「知源学者プログラム」は2019年4月から実施されており、その目的は、人工知能技術の最前線にある「未踏の領域」に勇敢に踏み込み、最も基本的な問題と最も重要な問題に挑戦する最高の科学者を選抜することです。これまでに、人工知能の数学的基礎、人工知能の認知神経学的基礎、機械学習、自然言語処理、インテリジェント情報検索とマイニング、インテリジェントシステムアーキテクチャとチップなど、6つの主要な研究分野で94人の知源奨学生が選ばれており、北京大学、清華大学、中国科学院などの大学や研究所、MegviiやJD.comなどの大手企業から集まっています。

AI研究所は、AIコミュニティの構築を継続的に推進し、人工知能研究者のソーシャルネットワークの構築に努めています。今年、知源コミュニティは3,000人を超えるトップクラスの人工知能学者と緊密に連携し、10万人を超える人工知能の科学研究および技術者に波及します。

特に若手研究者のために、AI研究所は今年、AI若手科学者学術組織「清源会」を設立しました。これは、国内外の若手AI科学者と技術者のためのリラックスした活発な学術交流プラットフォームであり、学際的な研究を促進し、若手科学者が主導的な役割を果たして独創的なアイデアを提案することを支援し、新しい科学のフロンティアを開拓し、活発なAI学術技術革新エコシステムを確立します。

n産業発展：スマートヘルスケアに注力し、AI起業を支援する「源泉創出計画」を実施

AI研究所は、人工知能の徹底的な応用を加速し、革新的なAI企業を育成し、人工知能産業の発展を促進します。現在、ヘルスケアは人工知能の最もホットな研究・応用分野の一つとなっています。北京はインテリジェントヘルスケアの開発において独自の優位性を持っています。智源研究所は、独自のAI成果の医療産業への実装を促進するために、「健康医療研究センター」を設立し、医療ビッグデータや高品質のスモールデータなどの基礎データを構築し、スマート医療のコア技術のブレークスルーをサポートし、健康医療分野における人工知能の徹底的な応用を加速します。 AI研究所は清華大学知能産業研究所（AIR）と緊密な協力関係を築き、「個人」を核としたAI主導の積極的な健康管理を推進し​​ています。

AI研究所は、独自のAI成果の変革と実装を促進するために、昨年イノベーションセンターの構築を開始し、独自のAI成果の成熟とエンジニアリングを加速させています。現在、インテリジェント情報処理、認知知識グラフ、セキュア人工知能など、いくつかのイノベーションセンターを設立しています。今年、国と北京の科学技術成果の転換を促進するための最新の展開に合わせて、AI学術研究院は積極的に技術、シナリオ、人材、資金などのリソースを統合し、AI起業を支援する「源泉革新計画」を立ち上げました。大規模なモデル、データセットなどのエコリソースをAI起業チームに開放し、学術界のAI科学者起業チームと応用シナリオを結び付け、産業界の起業チームと業界をリードするAI技術を結び付け、実用化可能なAI製品の形成を加速します。さらに、ベンチャーキャピタルファンドの設立などを通じて、国際的にトップクラスの技術力を持つAIイノベーション企業の育成を加速し、北京のAI産業の持続的な発展に向けた力を確保していきます。

AIガバナンス：北京コンセンサスの実施を促進し、持続可能な開発のために人工知能を推進する

現在、AIの倫理とガバナンスは世界的なコンセンサスとなっており、国際社会は広く認められたAI倫理原則の確立と、機敏で柔軟なAIガバナンスの推進を模索しています。 AI研究所は2019年に人工知能倫理と持続可能な開発研究センターを設立し、中国におけるAI倫理と安全性の研究を主導し、国際的なAIガバナンスに積極的に参加しています。 AI倫理基準に関しては、2019年5月に中国初のAI開発・ガバナンスガイドライン「北京人工知能コンセンサス」が発表されました。昨年9月、わが国初の「子ども向け人工知能に関する北京コンセンサス」が発表されました。さらに、AI研究所はわが国初の「AIガバナンス公共サービスプラットフォーム」を構築し、人工知能技術の研究開発と応用における潜在的な倫理的問題の検出サービスを提供し、AI研究開発機関がAI倫理基準にさらに沿った技術と製品を開発するのを支援しています。

国連は2015年に、社会、経済、環境の3つの側面における開発課題を網羅した17の主要項目からなる持続可能な開発目標を正式に採択しました。 AI研究所は、持続可能な開発目標の実現に役立つAI技術を推進するために、「持続可能な開発のための人工知能のための国際協力ネットワークおよびシンクタンク」の設立を開始し、現在15か国の専門家と学者が集まっています。同時に、ASI研究所は百度、小米、Megvii、滴滴出行などの企業と共同で「持続可能な発展のための公共福祉プログラム」を立ち上げ、現在、都市ガバナンス、自動運転、労働者の雇用への影響、青少年への心理的影響などに関する最初の4つの研究テーマを発表し、研究作業を開始しています。その後、完成した研究成果は世界に公開され、人類の運命共同体の構築と実現に役立てられます。