2020年に人工知能はどのように発展するでしょうか?機械学習のトップ専門家が予測するトレンド

[[311763]]

人工知能はもはや、いつか世界を変える準備をしているのではなく、すでに世界を変えているのです。新しい年と新しい10年を迎えるにあたり、VentureBeatはAI分野の最も優秀な人材に、2019年に達成された成果を振り返り、2020年に機械学習がどのように成熟していくかを予想してもらいました。

誰もが来年の予測を立てていますが、AI の権威を持つこれらの人々は、自分たちが重視する科学的追求と、その経験による信頼性をもって、今日の未来を形作っています。半教師あり学習やニューラルシンボリック法などのサブフィールドでの進歩を予測する人もいたが、MLの有力者ほぼ全員が、2019年にはTransformerベースの自然言語モデルで大きな進歩が遂げられ、顔認識などの技術では論争が続くと予想していると述べた。彼らはまた、AI の分野が正確さよりも価値のあるものに発展することを望んでいます。

ソウミス・チンタラ

PyTorchの責任者、チーフエンジニア、そしてクリエイター

どのように見ても、PyTorch は現在世界で最も人気のある機械学習フレームワークです。 2002 年に導入された Torch オープンソース フレームワークの派生である PyTorch は、2015 年に利用可能になり、拡張機能とライブラリが着実に成長してきました。

Facebook は今秋、量子化と TPU をサポートする PyTorch 1.3 と、ディープラーニング解釈ツール Captum および PyTorch Mobile をリリースしました。また、コードを共有し、ML 実践者に再現性のサポートを促すための PyRobot や PyTorch Hub などのツールもあります。

チンタラ氏は、今秋のPyTorch開発者会議でのVentureBeatとの会話の中で、2019年には機械学習におけるブレークスルーはほとんど見られなかったと語った。

「実は、画期的なものはないと思っています。基本的には、Transformer から始まりました。ConvNet が全盛期を迎えたのは 2012 年で、Transformer は 2017 年頃でした。これは私の個人的な意見です」と彼は言いました。

同氏はさらに、ディープマインドによるアルファ碁の強化学習への貢献は画期的だとしながらも、実際の現実世界のタスクに適用するのは難しいと述べた。

チンタラ氏はまた、今日の ML 実践者の間で人気のある PyTorch や Google の TensorFlow などの機械学習フレームワークの開発によって、研究者がアイデアを探求し、研究を進める方法が変わったと考えています。

「これは、従来よりも1桁か2桁速く移動できるという意味で画期的な進歩だ」と彼は語った。

今年、Google と Facebook のオープンソース フレームワークは、モデルのトレーニングを高速化するために量子化を導入しました。 Chintala 氏は、今後数年間で、PyTorch の JIT コンパイラーと、Glow のようなニューラル ネットワーク ハードウェア アクセラレーターの重要性と採用が「爆発的に」増​​加すると予想しています。

「PyTorch と TensorFlow では、フレームワークの収束が見られました。量子化やその他の低レベルの効率化が進んでいる理由は、次の戦いはフレームワークのコンパイラーだからです。XLA、TVM、PyTorch には Glow があり、多くのイノベーションが起こるのを待っています」と彼は言いました。「今後数年間で、よりスマートに量子化する方法、より適切に収束する方法、GPU をより効率的に使用する方法、新しいハードウェア用に自動的にコンパイルする方法が見られるようになるでしょう。」

他の業界リーダーの多くと同様に、チンタラ氏は、2020年までにAIコミュニティが精度だけでなくAIモデルのパフォーマンスにさらに価値を置くようになり、モデルの作成に必要な重み、出力を人間に説明する方法、AIが私たちが構築したい社会のタイプをよりよく反映する方法など、他の重要な要素に注目し始めると予測しています。

「過去 5 ～ 6 年を振り返ってみると、私たちは「Nvidia のモデルの方が正確か？ Facebook のモデルの方が正確か？」といったように、精度と生データだけに注目してきました」と同氏は語った。「実際、2020 年は [より洗練された方法で] それについて考え始める年になると思います。優れた相互運用性メカニズムがなければ [またはその他の基準を満たしていなければ]、モデルの精度が現在より 3% 高くても意味がありません。」

セレステ・キッド

カリフォルニア大学バークレー校の発達心理学者

セレステ・キッドはカリフォルニア大学バークレー校キッド研究室の所長で、彼女とチームは子供たちの学習方法を研究しています。彼らの洞察は、子供を育てるのとほぼ同じ方法でモデルを訓練しようとしているニューラルネットワークの作成者に役立つ可能性があります。

「人間の乳児に関するラベル付きデータセットはないが、非常にうまく管理されており、これがどのように起こるのかを理解することが私たちにとって重要だ」と彼女は語った。

2019年にキッド氏を驚かせたことの一つは、赤ちゃんができることができないという理由で、自分自身の研究や他の研究者の研究を軽蔑するニューラルネットワークのクリエイターの数だった。

乳児の行動を平均化すると、乳児が何かを理解しているという証拠が見られるが、乳児が完璧な学習者ではないことは確かであり、こうした話は乳児の能力について過度に楽観的な見方を描き出していると彼女は述べた。

「人間の赤ちゃんは素晴らしいですが、間違いもたくさんします。そして、人々が何気なく行っている比較の多くは、人口レベルでの乳児の行動の理想化です」と彼女は語った。「人々は、今知っていることと次に知りたいことのつながりについて、おそらくより識別力を持つようになると思います。」

人工知能の分野では、「ブラックボックス」という言葉が長年使われてきました。これはニューラルネットワークの解釈可能性の欠如を批判するために使われてきましたが、キッド氏は2020年はニューラルネットワークは解釈不可能であるという認識の終焉を意味する可能性があると考えています。

「ブラックボックス論はでたらめだ…脳もブラックボックスであり、脳の働きを理解する上で私たちは大きな進歩を遂げてきた」と彼女は語った。

ニューラル ネットワークの理解を解明するにあたって、キッド氏は、MIT-IBM Watson AI ラボのエグゼクティブ ディレクターであるオード オリヴァ氏のような人々の研究を参考にしました。

「このことについて話していて、私がこのシステムはブラックボックスだと言ったら、彼女は当然ながら私を叱責し、もちろんブラックボックスではないと言った。もちろん、それらを分解して、どのように機能するかを見て、実験することはできる。認知を理解するために私たちが行うのと同じだ」とキッド氏は語った。

先月、キッド氏は世界最大の年次AI研究会議であるNeural Information Processing Systems (NeurIPS) カンファレンスで基調講演を行いました。彼女の講演は、人間の脳が頑固な信念、注意システム、ベイズ統計をどのように保持するかに焦点を当てていました。

情報提供における「快適ゾーン」は、人のこれまでの関心や理解と、その人を驚かせるものとの間にあると彼女は言う。人々は、過度に驚きのあるコンテンツにあまり触れない傾向があります。

彼女はその後、中立的な技術プラットフォームは存在しないと述べ、コンテンツ推奨システムのメーカーがいかにして人々の信念を操作できるかということに注目した。参加を最大化するために構築されたシステムは、人々が信念や意見を形成する方法に大きな影響を与える可能性があります。

キッド氏はプレゼンテーションの中で、機械学習分野の男性の間で、女性の同僚と二人きりになるとセクハラの申し立てにつながり、男性のキャリアが終わる可能性があるという誤解があることを指摘した。彼女は、この誤解はむしろこの分野での女性のキャリアに悪影響を及ぼす可能性があると述べた。

ロチェスター大学での性的不正行為について声を上げたことにより、キッド氏は、現在「女性平等運動」と呼ばれる運動の実現に貢献した他の女性たちとともに、2017年の「今年の人」に選ばれた。キッドさんは当時、声を上げることでキャリアが終わってしまうと考えていた。

2020年には、テクノロジーツールやテクノロジーに関する決定が現実に与える影響について人々がより意識し、ツールメーカーが人々の使用法に対して無責任であるという考えを否定するようになることを期待している。

「『私は真実を判断する者ではない』と言って自分を弁護しようとする人がたくさんいると聞きます」と彼女は語った。「これは不誠実な立場だという認識をもっと持つ必要があると思います。」

「社会として、そして特にこれらのツールを使用する人々として、私たちはそれらに伴う責任を直接認識する必要があります。」

ジェフ・ディーン

Google AI ディレクター

ディーン氏は約2年間Google AIを率いてきましたが、Googleの初期の検索および分散ネットワーク アルゴリズムの設計者、およびGoogle Brainの初期メンバーとして、20年間Googleに在籍していました。

ディーン氏は先月、NeurIPSでVentureBeatのインタビューに応じ、ASIC半導体設計のための機械学習と、現代の最も重要な問題である気候変動にAIコミュニティが取り組む方法についてプレゼンテーションを行った。気候変動に関する議論の中で、ディーン氏は、AI がゼロ炭素産業の実現に向けて取り組むことができること、また AI が人間の行動を変えるのに役立つ可能性があるという考えについて議論しました。

彼は、2020 年には、トレーニングに複数のメディアを利用する AI であるマルチモーダル学習と、複数のタスクを一度に完了するように設計されたネットワークを伴うマルチタスク学習の分野で進歩が見られると予想しています。

疑いなく、2019 年の機械学習の最大のトレンドの 1 つは、近年の AI における最大のブレークスルーの 1 つと呼ばれている Chintala モデルに続く、Transformer ベースの自然言語モデルの継続的な成長と普及です。 Google は 2018 年に Transformer ベースのモデル BERT をオープンソース化しました。 GLUE リーダーボードによると、Google の XLNet、Microsoft の MT-DNN、Facebook の RoBERTa など、今年リリースされた最もパフォーマンスの高いモデルの多くは、Transformer をベースにしています。 XLNet 2は今月下旬にリリースされる予定であると同社の広報担当者はVentureBeatに語った。

ディーン氏は、これまでの進歩について次のように述べた。「…この研究全体が、機械学習モデルを実際に生み出す上で非常に実り多いものとなり、これまでよりもはるかに高度な機械学習モデルを作れるようになったと思います」。しかし、まだ成長の余地があると付け加えた。「より文脈的なモデルを作り出せるようにしたいと考えています。現状では、BERT や他のモデルは数百語のコンテキストではうまく機能しますが、10,000 語のコンテキストではうまく機能しません。それは興味深い方向性ですね。 ”

ディーン氏は、最新のテクノロジーよりも、より強力なモデルの作成に重点を置きたいと語った。

Google AIは、家庭や職場で一般的なタスクを実行できるロボットを開発するために2019年11月に開始された社内プロジェクトであるEveryday Robotなどの新しい取り組みの推進にも取り組みます。

アニマ・アナンドクマール

NVIDIA 機械学習研究ディレクター

アナンドクマール氏はAWSで主任科学者を務めた後、GPUメーカーのNvidiaに入社した。 NVIDIA では、ヘルスケアにおけるフェデレーテッド ラーニングから自動運転、スーパーコンピューティング、グラフィックスに至るまで、さまざまな分野で AI 研究が行われています。

2019 年に Nvidia と Anandkumar が注力する分野の 1 つは、人気と成熟度が高まっている強化学習のシミュレーション フレームワークです。

2019 年には、Nvidia の Drive 自動運転プラットフォームや Isaac ロボット シミュレーター、シミュレーションや生成的敵対ネットワーク (GAN) から合成データを生成するモデルが登場しました。

昨年は、コンピューターで生成された顔なのか本物の人間なのかを判別しにくくするネットワークであるStyleGANや、絵筆で風景を生成できるネットワークであるGauGANなどのAIも登場しました。 StyleGAN2は先月デビューしました。

GAN は現実と現実の境界を曖昧にする技術であり、Anandkumar 氏は、ロボットアームの把持や自動運転など、AI コミュニティが解決しようとしている大きな課題の解決に役立つと考えています。

Anandkumar 氏はまた、ラベルなしデータで自己トレーニングすることで改善できるトレーニング モデルのための反復アルゴリズム、自己監督、自己トレーニング手法を通じて、来年には進歩が見られると予想しています。

「さまざまな反復アルゴリズムが将来を担うと思います。なぜなら、フィードフォワード ネットワークだけを実行すると、堅牢性が問題になるからです」と彼女は言います。「多くの反復を実行し、必要なデータの種類や必要な精度に基づいて反復を調整すれば、それを達成できる可能性が高まります。」

Anandkumar 氏は、特定の業界に合わせたモデルを作成するためにドメインの専門家と協力する必要性など、2020 年に AI コミュニティが直面する多くの課題を考えています。政策立案者、個人、AI コミュニティは、表現の問題や、モデルのトレーニングに使用されるデータセットが多様な集団を代表するものであることを保証するという課題にも取り組む必要があります。

「[顔認識の問題]は理解しやすいと思うが、多くの[他の分野]では…人々はデータの使用にプライバシーの問題があることに気づいていない」と彼女は語った。

顔認識は個人のプライバシーを侵害する可能性があることが分かりやすいため最も注目を集めているが、2020年にAIコミュニティが直面する倫理的問題は他にもたくさんあるとアナンドクマール氏は述べた。

「データの収集方法や使用方法についての監視は今後ますます厳しくなるでしょう。ヨーロッパではそれが起こっていますが、米国でも国家運輸安全委員会や連邦交通局による正当な理由で監視がさらに強化されるでしょう」と彼女は語った。

Anandkumar 氏によると、2019 年の大きな驚きの 1 つは、テキスト生成モデルの進歩のペースでした。

「2019年は言語モデルの年でしたね。今、初めて、段落の長さでより一貫性のあるテキスト生成を実現しています。これは以前は不可能でしたが、今では非常に優れています」とアナンドクマールは言いました。

2019 年 8 月、NVIDIA は Megatron 自然言語モデルをリリースしました。 80 億のパラメータを持つ Megatron は、世界最大の Transformer ベースの AI モデルです。アナンドクマール氏は、人々がモデルを個性やキャラクターを持つものとして特徴づけ始めていることに驚いており、業界に特化したテキストモデルがもっと増えることを期待していると語った。

「インタラクティブで、自然な会話を交わせる会話を生み出す段階にはまだ達していません。ですから、2020年にはその方向でより真剣な試みがなされると思います」と彼女は語った。

たとえば、テキスト生成を制御するためのフレームワークを開発することは、人物や物体の画像を認識するためのフレームワークを開発するよりも困難です。テキスト生成モデルは、ニューラル モデルの事実の定義などの課題に直面する可能性もあります。

最後に、アナンドクマール氏は、NeurIPS でのキッド氏の講演がスタンディングオベーションを受けたことを嬉しく思うとともに、機械学習コミュニティの成熟度と包摂性が高まっている兆候に勇気づけられたと述べました。

「これは重大な転換点だと感じています」と彼女は語った。「最初は小さな変化を起こすことさえ困難でしたが、その後ダムが決壊しました。私はそれが事実であることを願っています。なぜなら、私は心の中で、この勢いを維持してより大きな構造的変化を起こし、ここにいるすべてのグループが繁栄できるようにしたいからです。」

ダリオ・ギル

IBMリサーチディレクター

ジルは、ホワイトハウスや世界中の企業に積極的にコンサルティングを行う研究者チームを率いています。彼は、2019 年の大きな飛躍には、生成モデルに関する進歩と、生成される信頼できる言語の品質の継続的な向上が含まれると考えています。

彼は、精度を下げたアーキテクチャでのより効率的なトレーニングの進歩が今後も続くと予測しています。より効率的な AI モデルの開発は NeurIPS の重点事項であり、IBM Research はここで 8 ビット精度のモデルを使用したディープラーニング技術を導入しました。

「既存のハードウェアと GPU アーキテクチャでは、ディープ ニューラル ネットワークのトレーニングが依然として非常に非効率的です」と同氏は述べた。「そのため、この問題を根本的に考え直すことが非常に重要です。」より多くのことを実現するために、AI の計算効率を高める必要があります。 ”

ギル氏は、機械学習トレーニングの需要が3か月半ごとに倍増していることを示す研究を引用したが、これはムーアの法則が予測したよりもはるかに速い成長だ。

ギル氏は、AI が科学的発見を加速させるのにどのように役立つかについても期待しているが、IBM リサーチは主に機械学習に対するニューロシンボリックアプローチに焦点を当てる予定だ。

ギル氏は、AI の実践者や研究者が、精度を超えた指標に焦点を当て、実稼働環境に導入されたモデルの価値を検討することを期待しています。正確さを優先するのではなく、信頼できるシステムの構築に向けて分野をシフトすることが、AI の継続的な導入における中心的な柱となるでしょう。

「コミュニティの中には、『心配しないで、正確さだけを提供してください。大丈夫、人々はこれが少しブラックボックスであることに慣れるでしょう』と言い続ける人もいるかもしれませんし、私たちが下す決定のいくつかについて人々が説明できないことがあると主張する人もいるでしょう。この点において、コミュニティの知的力を集中させて、より良い成果を上げることが非常に重要だと私は思います。 AI システムは、ミッションクリティカルなアプリケーションにとってブラックボックスであってはなりません。 ”

ギル氏は、データサイエンスとソフトウェアエンジニアリングのスキルを持つより多くの人が AI を採用できるようにするためには、AI は少数の機械学習の達人だけのものだという認識を払拭する必要があると考えています。

「AIを秘密の領域、つまり博士号取得者だけが研究できる領域として扱うと、AIの応用は実際には進歩しない」と彼は語った。

ギル氏は来年、ニューロシンボリック AI に特に興味を持っています。 IBM は、AI がプログラムやその決定の背後にある理由を共有できるモデルを操作する方法を学習する確率的プログラミングなどの機能を強化するために、ニューロシンボリック アプローチを追求します。

「このハイブリッドアプローチ、つまりニューラルシンボリック法を通じて学習と推論を統合し、シンボリック次元を学習手順に組み込む新しい現代的なアプローチを採用することで、必要なデータのほんの一部で学習できることを示しました」と彼は語った。「手順を学習すると、解釈可能なものが得られ、解釈可能なものが得られると、より信頼できるものが得られます。」

公平性、データの完全性、データセットの選択といった問題は、生体認証に関するあらゆる問題と同様に、今後も幅広い注目を集め続けるだろう、と彼は述べた。顔認識は大きな注目を集めていますが、それはまだ始まったばかりです。音声データは、他の生体認証形式と同様、ますます機密性が増すでしょう。彼はさらに、ニューロテクノロジーを研究し、視覚皮質の神経パターンを抽出する方法を研究しているコロンビア大学の教授、ラファエル・ユステ氏の言葉を引用した。

「私はこれを、アイデンティティ、人の生体認証、そしてAIが分析にもたらす進歩に関連するあらゆるものが、今後も最前線に留まることを示す例として挙げています」とギル氏は語った。

ギル氏は2020年に、ニューラルシンボリック推論と常識推論（MIT-IBMワトソンラボの主力イニシアチブ）に加えて、IBMリサーチでは、精度を低下させたアーキテクチャだけでなく、AI量子コンピューティングやAIシミュレーションハードウェアも研究していくと述べた。

要約する

機械学習はビジネスと社会を形成し続けています。VentureBeat の研究者や専門家が、今後のトレンドについて話を聞きました。

2019 年は自然言語モデルの進歩が主な話題となり、Transformer が大きな飛躍を牽引しました。 2020 年には、BERT および Transformer ベースのモデルのさらなるバリエーションが登場する予定です。

AI業界は、モデル出力の精度を評価する方法を模索する必要があります。

半教師あり学習、機械学習へのニューロシンボリックアプローチ、マルチタスク学習やマルチモーダル学習などのサブフィールドなどの手法が来年登場する可能性があります。

音声録音などの生体認証データに関連する倫理的な課題は、今後も議論が続くと思われます。

コンパイラや量子化などの方法は、モデルのパフォーマンスを最適化する方法として、PyTorch や TensorFlow などの機械学習フレームワークで普及する可能性があります。