AI研究所が超大規模知能モデル「Wudao 1.0」をリリース

3月20日、北京人工知能研究院は超大規模知能モデル「五道1.0」を発表した。 「五道1.0」は中国初の超大規模知能モデルシステムであり、清華大学人工知能研究院学術副院長の唐潔教授が主導し、北京大学、清華大学、中国人民大学、中国科学院などの100人を超えるAI科学者のチームが重要な問題に共同で取り組み、国際的に先進的なAI技術のブレークスルーを数多く達成し、超大規模知能モデルトレーニング技術システムを形成し、中国語、マルチモーダル、認知、タンパク質予測などの一連のモデルをトレーニングしています。

[[388907]]

「啓蒙」モデルは、より根本的な観点から汎用知能をさらに探求することを目指している。

会議では、AI研究所所長の黄鉄軍教授が「Wudao」モデル開発の当初の意図を紹介した。同氏によると、今回の人工知能の波の基本的な特徴は「データ＋コンピューティングパワー＋アルゴリズム＝モデル」である。モデルはトレーニングデータの内部法則を凝縮し、人工知能の応用を実現するための担い手となる。近年、人工知能の発展は「大規模モデルの改良」段階から「大規模モデルの改良」段階へと徐々に移行しており、高度なアルゴリズムを設計し、可能な限り多くのデータを統合し、大量の計算能力を集め、大規模モデルを集中的にトレーニングして、多数の企業が使用できるようにするのは避けられない傾向です。

インテリジェント モデルは、規模が大きい (主にパラメータの数に反映される) だけでなく、さまざまなアプリケーションのニーズを満たすために高い IQ も備えている必要があり、そのためには多数の技術的課題を克服する必要があります。 ASIは人工知能の源泉を革新することを使命とする新たな研究機関として、2020年10月に超大規模知能モデル「Wudao」プロジェクトを正式に開始し、幅広く奥深い超大規模トレーニングモデルを開発し、より根本的な観点から汎用人工知能をさらに探求しています。同時に、大規模なインテリジェントモデル応用エコシステムを構築し、関係機関や個人開発者がモデルに基づいてさまざまな新しいインテリジェントアプリケーションを開発し、我が国の実体経済産業のアップグレードに貢献することを奨励します。

「五道」大型模型の研究開発をより良く推進し、研究開発プロセスにおける技術的リーダーシップを維持するために、今回の発表会で、学界と産業界のトップ科学者9名で構成される「五道」大型模型技術委員会が設立されました。委員会の委員長は清華大学の唐潔教授で、委員には北京大学の梧維南院士、清華大学の陸白教授、中国人民大学人工知能情報学院の温継栄教授、清華大学コンピュータサイエンス学部の劉志遠終身准教授、清華大学コンピュータサイエンス学部の黄敏烈終身准教授、北京大学王軒コンピュータ研究所の研究員万暁軍、一流技術の創設者袁金輝、Circular Intelligenceの共同創設者楊志林が含まれます。その後、技術委員会は、大規模モデルの開発のための技術的ソリューションとルートの選択について指導と監督を行います。

「武道1.0」：わが国初の超大規模知能モデル

会議では、「五道」モデル技術委員会主任、智源研究院学術副院長の唐潔教授が「五道」モデルの戦略配置と中間結果を紹介した。 「Wudao 1.0」は当初4つの大型モデルの研究開発を開始したと報じられている。

「五道文源」は「中国語を中核とした大規模事前学習モデル」です。その目標は、中国語を中核とした世界最大の事前学習言語モデルを構築し、中国語や英語など世界の複数の主流言語で最高の処理能力を実現し、テキスト分類、感情分析、自然言語推論、読解など複数のタスクで人間の平均を上回る汎用能力を備えた自然言語理解技術を探求し、脳に着想を得た言語モデルの研究を行うことです。現在、「五道文源」モデルは26億のパラメータを持ち、認識、理解、検索、数値計算、多言語対応などの多様な機能を備えている。また、オープンドメイン回答、文法エラー修正、感情分析など、20の主流の中国語自然言語処理タスクをカバーしており、その技術的能力はGPT-3と同等であり、既存の中国語生成モデルの主導的な効果を達成している。

「Wudao Wenlan」は、画像、テキスト、ビデオの組み合わせに基づくマルチモーダルデータの事前トレーニングの理論的困難を打破し、最終的に産業グレードの中国語画像およびテキスト事前トレーニングモデルとアプリケーションを生成し、複数の評価アプリケーションで国際最高のパフォーマンスを超えることを目指す「超大規模マルチモーダル事前トレーニングモデル」です。現在、「Wudao Wenlan」モデルは10億のパラメータを持ち、公開ソースから収集された5000万の画像テキストペアでトレーニングされており、中国初の公開汎用画像テキストマルチモーダル事前トレーニングモデルです。現在、このモデルの性能は国際的にトップレベルに達しており、中国公開マルチモーダルテストセットAIC-ICCの画像生成記述タスクでは、チャンピオンチームのスコアより5％高く、画像とテキストの相互検査タスクでは、最も人気のあるUNITERモデルより20％高いスコアを記録しています。

「五道文輝」は「認知のための新しいタイプの超大規模事前訓練モデル」であり、認知の観点から汎用人工知能における一連のより本質的な問題を研究することに力を注いでおり、論理、意識、推論に基づく事前訓練モデルの認知能力のさらなる向上と発展に重点を置いています。目標は、より汎用的で国際レベルを超える性能を持つ、数千億から数兆のパラメータを持つ事前訓練モデルを開発し、事前訓練モデルシステムを構築し、認知インテリジェンスエコシステムを形成することです。現在、「五道文匯」モデルのパラメータ規模は113億に達しており、多くのタスクにおいて、「五道文匯」の性能はチューリングテストを突破する寸前まで来ています。簡単な微調整により、AI詩作、AI描画、AI動画制作、画像・テキスト生成、画像・テキスト検索、複雑な推論を実現しています。

「五道文素」は「超大規模タンパク質配列予測事前トレーニングモデル」です。最終目標は、遺伝子場の認知マップをガイドとして、10億のパラメータを持ち、超長タンパク質配列を処理できる超大規模事前トレーニングモデルを開発し、基本性能、解釈可能性、堅牢性など多くの面で世界をリードするレベルに到達することです。現在、「五道文素」は、タンパク質の面では100GBのUniParcデータベースに基づくBERTモデルのトレーニングを完了しており、遺伝子の面では5万～10万個のヒト末梢血免疫細胞（25～30個の細胞タイプ）と1万個の薬剤耐性細菌に基づくデータトレーニングを完了している。同時に、トレーニングソフトウェアフレームワークを構築し、そのスケーラビリティを検証した。

唐潔教授によると、新たにリリースされた「五道」大規模モデルのバージョン1.0は、数百億、数千億のパラメータの事前トレーニングを完了しており、複数の国際評価で世界第1位を獲得し、一部のタスクでは一定の認知能力を備えているという。今年は、後続の反復バージョンがリリースされ、業界に公開される予定です。

アプリケーションエコシステムの「3つのステップ」：「啓蒙」ビッグモデルエコシステムの開発を探る

ASCRIはモデルの開発と同時に、「Wudao」モデルのアプリケーションエコシステム構築モデルも模索しています。唐潔教授によると、今後の「五道」モデルはオープンAPI（アプリケーションプログラミングインターフェース）の形で外部にサービスを提供する。申請して認可を受けた後、ユーザーはモデルAPIに基づいてさまざまなインテリジェントアプリケーションを開発できる。さらに、モデルのコミュニティバージョンもオープンソース化され、我が国の AI 研究の発展に貢献する予定です。

唐潔教授によると、次のステップは「五道」モデル応用エコシステムの構築を3つの主要段階に分け、デモ応用、APIエコシステム、コミュニティの運用と保守に重点を置くことだ。第一段階はデモアプリケーションの構築であり、電子商取引、インテリジェントテキストサービス、垂直分野、およびいくつかの独立したもののためのデモアプリケーションを構築します。いくつかの高品質のアプリケーションデモが公開され、ユーザーがプラットフォームページで使用およびテストできるようにします。第 2 段階は、API とプラットフォーム エコシステムの構築です。複数の API を設計して、さまざまなモデル要求方法をサポートし、高い同時実行性と高速推論をサポートする API インターフェイスを構築して、エンタープライズ レベルのユーザーや個々の独立開発者からのモデルや特定の機能の要求をサポートします。第3段階はコミュニティの運営と反復であり、オンライン評価を徐々に拡大し、開発者とユーザーのコミュニティを構築し、完全な使用フィードバックメカニズムを確立し、モデル反復の参照標準として機能します。同時に、コミュニティの保守と管理を強化し、モデルの反復を加速します。

現在、AI研究所は実証アプリケーションの構築の第一段階を開始しており、快手、捜狗、360、アリババ、知普華章、宜蘭群志、循環知能、新華社などの機関とモデルの応用について交渉しており、共同でいくつかの産業グレードの実証アプリケーションを構築しています。次のステップとして、AI研究所はユーザー開発を強化し、優れたユーザーサービスを提供し、大手AI企業と共同でより多くの産業グレードのデモアプリケーションを開発します。また、APIエコシステムの構築とコミュニティ運営の反復を加速し、学術交流、技術チャレンジなどの活動を開催することで「Wudao」モデルの影響力を高め、より多くのAI企業、研究機関、個人開発者などを誘致してモデルベースのアプリケーション開発を行い、国際的にリードする超大規模インテリジェントモデルアプリケーションエコシステムの構築を推進します。