アリババ、AI研究所、清華大学が共同でAIに認知能力を与える新しいAIモデルを発表

1月12日、アリババ、AI研究所、清華大学などの共同研究チームが、新たな超大規模認知事前トレーニングモデル「Wenhui」を発表した。このモデルは、AIの理解能力を向上させるだけでなく、常識に基づいたAIの作成も実現できます。将来的には、テキスト理解、人間とコンピューターの相互作用、視覚的な質疑応答などのシナリオに適用される予定です。

従来の手動でラベル付けされたデータを必要とする AI トレーニングとは異なり、認知事前トレーニング済み言語モデルは、AI が最初に大量の言語、テキスト、画像データを自動的に学習し、情報と人間の言語表現のルールを記憶して理解し、その後専門知識をさらに学習するという新しい学習アプローチを提供します。これにより、AI は常識と専門知識の両方を習得できるようになります。

今回公開された「Wenhui」は、パラメータ規模が113億で、現在中国最大の事前トレーニングモデルです。複数の並列戦略を統合するアリババの自社開発の高性能分散フレームワークを採用し、モデル並列性、パイプライン並列性、データ並列トレーニングを使用して分散トレーニングを行います。 「文匯」はマルチモーダル理解とマルチモーダル生成という2つの大きな難関を突破し、テキストと画像情報を簡単に理解し、創造的なタスクを完了することができます。たとえば、詩のタイトル、王朝、作者を入力するだけで、Wenhui は古代の詩を自動的に生成できます。現在、「Wenhui」は認知推論に基づくさまざまな自然言語およびクロスモーダルアプリケーションタスクをすでにサポートしており、いくつかのアプリケーションはまもなくリリースされる予定です。

このモデルは、詩のタイトル、王朝、作者に基づいて詩を自動的に生成することができます。

DAMOアカデミーの2020年トップ10テクノロジートレンドでは、AIは「聞く、話す、見る」などの知覚知能分野で人間のレベルに到達または上回っているが、その論理的推論能力はまだ初期段階にあると述べられています。マルチモーダル事前トレーニングモデルは、知覚知能から認知知能への飛躍を達成するための重要な基盤です。 DAMOアカデミーのインテリジェントコンピューティング研究所の所長である周景仁氏は、「事前トレーニング済み言語モデルは、過去70年間で最も革新的な自然言語モデルの1つです。そのモデル設計の難しさは、従来のモデルよりもはるかに高いです。DAMOアカデミーの研究チームは、アルゴリズムとシステムエンジニアリングの課題を克服し続け、人工知能から認知知能への移行を加速していきます。」と述べました。

アリババは中国で最も早く認知知能研究に投資したテクノロジー企業の一つで、トップクラスの国際会議に30以上の研究成果が発表され、世界人工知能大会の最高賞であるSAIL賞を受賞し、清華大学と共同で国家科学技術進歩賞の2等賞を受賞しました。同社のグラフニューラルネットワークフレームワークGraph Learnは世界にオープンソース化されており、モデルの計算能力とストレージリソースの消費量を削減するとともに、アルゴリズムの開発とリリースサイクルを短縮することができます。