清華大学と中国人工知能学会が2019年人工知能開発報告書を発表

2019年中国人工知能産業年次大会で「2019年人工知能発展報告書」が発表されました。唐潔教授は、関係する報告書執筆部門を代表して、「2019年人工知能発展報告書」の主な内容を紹介しました。この報告書は、中国および世界における人工知能の主要分野の発展状況と動向を包括的に提示し、業界の健全な発展を支援し、国家の戦略的意思決定に役立てることを目的としています。

レポートの概要 ビデオレポートは、AMinerプラットフォームのデータリソースと技術マイニング結果を利用して、関連するデータレポートとグラフを生成しています。清華大学、同済大学などの大学の専門家を招き、コアテクノロジーの解釈や意見や提案を行っており、レポートの科学性と権威をある程度保証しています。

このレポートはAIの13のサブ分野をカバーしている

コンテンツは、機械学習、知識工学、コンピュータービジョン、自然言語処理、音声認識、コンピューターグラフィックス、マルチメディア技術、人間とコンピューターの相互作用、ロボット工学、データベース技術、視覚化、データマイニング、情報検索と推奨など、人工知能の 13 のサブフィールドをカバーしています。

報告書の基本的な枠組みは上図に示されており、分野の概念の説明、開発の歴史のレビュー、人材の概要、重要な論文の解釈、および対応する分野における最先端の進歩が含まれています。

1. この報告書は2つのハイライトを示している

唐潔教授は、「この報告書は、人工知能の各サブフィールドについて、基本概念、発展の歴史、人材プロファイル、代表論文の解釈、最先端の技術進歩など、詳細な分析を提供している。2018年の人工知能発展報告書と比較すると、2つのハイライトがある。一方では「AI技術の最近の発展」に反映されており、他方では「人材ネットワークを一挙に捉えている」ことに反映されている」と紹介した。ハイライト1：AI技術の最近の発展について、唐潔教授が「ディープラーニング」を例に挙げて詳しく説明しました。ディープラーニングは、過去 10 年間で最も急速に成長した機械学習の分野です。その重要性により、ジェフリー・ヒントン教授、ヤン・ルカン教授、ヨシュア・ベンジオ教授が 2018 年のチューリング賞を受賞しました。ディープラーニング モデルの開発は、1958 年のパーセプトロンにまで遡ります。ニューラル ネットワークの原型は 1943 年に登場しました (神経科学から生まれました)。1958 年、認知を研究していた心理学者のフランクがパーセプトロンを発明し、当時大流行しました。その後、マービン・ミンスキー（人工知能の第一人者）とシーモア・パパートがパーセプトロンの欠陥を発見しました。パーセプトロンはXORループなどの非線形問題を処理できず、当時の計算能力では大規模なニューラルネットワークを処理するには不十分だったため、ニューラルネットワークの研究全体が停滞期に入りました。ディープラーニングは過去30年間で急速な進歩を遂げました。 「2019年人工知能開発レポート」では、ディープラーニングの4つの主要なスレッドがリストされています。最上層は畳み込みネットワーク、中間層は教師なし学習スレッド、次の層はシーケンスディープモデル開発スレッド、最下層は強化学習開発スレッドです。これら 4 つのスレッドは、「ディープラーニング技術」の最近の発展を総合的に示しています。

近年のディープラーニング モデルの最初の重要な開発動向 (上図の薄紫色の領域) は、主にコンピューター ビジョンと畳み込みネットワークに基づいています。この考え方の進歩は、福島がネオコグニトロンを提唱した 1979 年にまで遡ります。この研究は畳み込みとプーリングのアイデアを与えました。 1986 年に Hinton は MLP のバックプロパゲーション トレーニングを提案しました (以前にも同様の研究がいくつかありました)。これにより、パーセプトロンが非線形学習を処理できないという問題が解決されました。 1998 年、Yann LeCun 率いる研究者たちは、手書きの数字を認識するために 7 層の畳み込みニューラル ネットワーク LeNet-5 を実装しました。ヤン・ルカンの研究は現在では畳み込みネットワークの源泉とみなされていますが、実際には、当時の SVM の急速な台頭により、これらのニューラル ネットワーク手法は広く注目されていませんでした。畳み込みニューラル ネットワークが本当に人気になったのは、2012 年に Hinton 氏のグループの AlexNet (巧みに設計された CNN) が ImageNet コンテストで圧倒的な差で優勝し、ディープラーニングの流行を引き起こしたことです。

AlexNet は従来の CNN に ReLU、Dropout などの技術を追加し、ネットワーク規模が大きくなっています。これらの技術は後に非常に有用であることが証明され、畳み込みニューラル ネットワークの標準となりました。これらは広く開発され、VGG や GoogLenet などの新しいモデルが登場しました。 2016 年、若手コンピューター ビジョン サイエンティストの He Kaiming 氏が、レイヤー間にジャンプ接続を追加し、残差ネットワーク ResNet を提案しました。 ResNet はネットワークの深さを大幅に増加させ、効果を大幅に向上させます。このアイデアをさらに発展させている方法の 1 つが、近年の CVPR Best Paper で Huang Gao 氏が提案した DenseNet です。コンピュータービジョンの分野では、特定のタスク向けにさまざまなモデルが登場しています (Mask-RCNN など)。 2017 年、ヒントン氏はバックプロパゲーションと従来のニューラル ネットワークにはまだ欠陥があると考え、Capsule Net を提案しました。このモデルは解釈可能性を高めますが、CIFAR などのデータ セットではその効果は平均的です。このアイデアにはさらなる検証と開発が必要です。 2 番目の開発スレッド (上図の薄緑色の領域) は、主に生成モデルに基づいています。従来の生成モデルは、結合確率分布 P(x, y) を予測します。生成モデルは機械学習手法において常に非常に重要な位置を占めてきましたが、ニューラル ネットワークに基づく生成モデルは広く注目されていません。 2006年、ヒントンは、制限付きボルツマンマシン（RBM、1880年代頃に提案された無向グラフモデルに基づくエネルギー物理モデル）に基づく機械学習の生成モデルを設計し、それをレイヤーごとの貪欲法またはウェイクスリープ法を使用してディープビリーフネットワークに積み重ねてトレーニングしました。当時、このモデルのパフォーマンスはそれほど良くありませんでした。しかし、ヒントン氏らがディープラーニングフレームワークの設計を始めたのは RBM モデルに基づいていたため、これがディープラーニングの始まりとも言えることは注目に値します。

オートエンコーダも1980年代にヒントンが提案したモデルであり、その後、計算能力の進歩とともに再び注目を集めるようになりました。 Bengio らは、データ内に存在する可能性のあるノイズの問題を主に解決する Denoise Auto-Encoder を提案しました。マックス・ウェリング（変分および確率的グラフィカル モデルの専門家でもある）らは、後にニューラル ネットワークを使用して、隠れた変数のレイヤーを持つグラフィカル モデルをトレーニングしました。変分推論を使用し、最終的にオート エンコーダーに少し似ていたため、変分オート エンコーダーと呼ばれました。このモデルでは、後続のデコーダー ネットワークを介して潜在変数の分布サンプリングを通じてサンプルを直接生成できます。敵対的生成ネットワーク (GAN) は、2014 年に提案された非常に人気のあるモデルです。これは、識別器と生成器の間で敵対的トレーニングを使用する生成モデルです。このアイデアは非常にユニークです。このモデルは、ニューラル ネットワーク G を直接使用して、サンプルの全体的な確率分布を暗黙的にモデル化し、各実行は分布からのサンプリングに相当します。これは後に、次のような多数のフォローアップ研究につながりました。DCGAN はかなり優れた畳み込みニューラル ネットワークの実装であり、WGAN は、元の JS ダイバージェンスをワイエルシュトラス距離に置き換えて分布間の類似性を測定し、トレーニングを安定させる研究です。

PGGAN はネットワークをレイヤーごとに増やして、リアルな顔を生成します。 3 番目の開発スレッド (上図のオレンジ黄色の領域) は、シーケンシャル モデルです。シーケンス モデルはディープラーニングによって生まれたわけではありません。むしろ、関連する研究はずっと以前から行われてきました。たとえば、有向グラフ モデルの隠れマルコフ モデル (HMM) と無向グラフ モデルの条件付きランダム フィールド モデル (CRF) は、どちらも非常に成功したシーケンス モデルです。ニューラルネットワークモデルにおいても、再帰ネットワークの考え方をニューラルネットワークに取り入れたホップフィールドネットワークが1982年に提案されました。 1997 年、ユルゲン・シュミットフーバーは、画期的な研究となる長期短期記憶モデル LSTM (Long-Short Term Memory) を発明しました。もちろん、シーケンス ニューラル ネットワーク モデルが広く注目を集めるようになったのは、2013 年にヒントン氏のグループが音声認識に RNN を使用し、従来の方法よりもはるかに優れた成果を挙げた研究によるものです。

テキスト分析の面では、別のチューリング賞受賞者であるヨシュア・ベンジオ氏が、SVM が非常に普及していた時代にニューラル ネットワークに基づく言語モデルを提案しました (もちろん、当時の機械学習は SVM と CRF が主流でした)。その後、Google が提案した word2vec (2013) にもバックプロパゲーションのアイデアがいくつか取り入れられ、最も重要なことに、非常に効率的な実装が提供され、この分野での研究の波を引き起こしました。その後、機械翻訳などのタスクでは、RNN ベースの seq2seq モデルが徐々に登場しました。エンコーダーは文の意味情報をベクトルに圧縮し、デコーダーによって変換されて出力され、文の翻訳結果が得られます。その後、この方法はアテンション メカニズムと組み合わせるように拡張され、モデルの表現能力と実際の効果が大幅に拡大しました。その後、文字ベースの CNN モデルも多くの言語タスクで優れたパフォーマンスを発揮し、消費する時間とスペースが少ないことがわかりました。セルフアテンションは、実は同じシーケンスのローカル情報とグローバル情報を同時に考慮する構造を採用しています。Google には、アテンションベースのシーケンスニューラルモデルを最高潮に引き上げた非常に有名な記事「必要なのは注意だけ」があります。もちろん、ACL 2019 ではこの研究を少し冷やす別の論文もありました。 4番目の開発スレッド（上の写真のピンク色の部分）は強化学習です。この分野で最も有名な企業はディープマインドです。写真のデビッド・シルバー博士は強化学習を研究してきた幹部です。 Q 学習は、よく知られている従来の RL アルゴリズムです。ディープ Q 学習は、元の Q 値テーブルをニューラル ネットワークに置き換え、ブリック破壊タスクを実行します。その後、多くのゲームシナリオに適用され、その結果は Nature に掲載されました。 Double Dueling は、主に Q 学習における重みの更新のタイミングに関してこのアイデアを拡張します。 DeepMind の他の研究である DDPG や A3C も非常に有名です。これらは、Policy Gradient とニューラル ネットワークの組み合わせに基づくバリエーションです。よく知られている AlphaGo は、実際には RL 手法と従来のモンテカルロ検索手法の両方を使用しています。 Deep Mind は後に、AlphaGo のフレームワークを使用しながらも、マスター学習を通じてさまざまな (ボード) ゲームをプレイできるように設計された新しいアルゴリズム、Alpha Zero を提案しました。唐潔教授は次のように述べた。「報告書では、過去1、2年のディープラーニングの発展のホットスポットも示されています。たとえば、昨年のGoogle BERTのリリースは、業界全体と学界にセンセーションを巻き起こし、ディープラーニング、さらには機械学習全体の将来に影響を与える可能性があります。報告書では、最新の研究と最も古典的な研究の両方を含むBERTの関連研究を詳細に整理し、読者が関連研究から将来を垣間見ることができるようにしています。」

AMinerを通じてトレンド分析を生成できる

ハイライト 1 は、詳細なナレッジ グラフにも反映されます。

唐潔教授は、「あらゆる分野には豊富な知識グラフアーキテクチャがあり、知識グラフは分野全体の発展状況を垣間見ることができます。同時に、このような知識グラフを通じて、トピック分析やホットトピック分析など、さらに多層的なトレンド分析、トレンドインサイトなどを行うことができます」と指摘しました。

ハイライト2：唐潔教授が人材ネットワークの簡単な分析を行いました。このレポートでは、過去 10 年間にトップの人工知能ジャーナル/カンファレンスで発表された論文と関連する学者データを詳細に調査および分析し、世界と我が国のさまざまな分野の学者の分布パターンを調査しています。

同時に、報告書は各分野の学者の男女比、h指数分布、中国の各分野における協力状況などを統計的に分析した。中外協力論文の著者の単位情報を集計し、著者を各国にマッピングし、中国と各国の協力論文の状況を統計的に分析した。

唐潔教授は、「私たちは正確な人材ポートレートと超大規模ナレッジグラフも開発しました。データマイニングを通じて、まず著者を見つけ、各著者の詳細な人材ポートレートを作成します。各学者の連絡先、役職、所属部署の情報だけでなく、役職や関心の変化なども確認できます」と紹介しました。

一方、学者の正確な人物描写を通じて、各分野の専門家の世界と国内の分布図を国内外で比較分析したり、一国の人材導入や人材流出が利益を生んでいるのか損失を生んでいるのかを分析するなど、人材損失分析まで行うことができます。

最後に、Tang Jie教授は、レポート作成のためのデータ支援プラットフォームであるAMinerを紹介しました。 AMinerシステムは2006年に開始されて以来、10年以上稼働しており、3億件以上の論文と1億人を超える科学研究員のデータを含む知識主導型の科学技術インテリジェンスマイニングプラットフォームです。専門家の発見、インテリジェントな推奨、機関評価、人材マップ、技術動向分析など、さまざまなサービスを提供できます。 AMiner プラットフォームの多くの機能は、科学技術部、教育部、北京市科学技術委員会、中国国家自然科学基金などの多くの部門で応用されています。AMiner プラットフォームが将来的にさらに多くの応用の見通しを持つことを期待しています。

2. インテリジェント産業の発展を支援するための提案を提供します。現在、我が国は科学技術の急速な発展期に入っています。人工知能は科学技術分野の新星として、国から大きな注目を集めています。多層的な戦略計画の指導の下、我が国は学術界と産業界の両方で人工知能の分野で国際的な同業他社の中で優れた実績を上げています。私の国では人工知能の開発が急速に進んでいます。この段階では、技術革新と創造的な応用を推進できる優秀な人材が、人工知能の発展において重要な役割を果たします。

今回発表された「2019年人工知能発展報告書」は、研究手法の徹底的な探究を通じて、近年のホットな話題や最先端技術を深く解釈し、最新の研究成果を提示しています。人工知能の発展の現状に焦点を当てるとともに、技術的な分析も行い、関連分野の今後の発展方向を展望し、読者に人工知能関連分野の最近の発展動向と基礎研究および応用研究の代表的な成果を理解するための情報窓口を提供しています。この報告書は、厳密さ、網羅性、専門性、先見性を兼ね備えた専門現場報告書であり、学術的価値、参考価値が極めて高いものです。これは、我が国における人工知能の研究と探究の促進に役立つだけでなく、国が人工知能の発展動向を理解し、人工知能の発展戦略を実施するための重要な参考資料としても役立ちます。