ディープラーニングの成果は収穫されようとしているのでしょうか? 11人の専門家がAIの現在（2018年）と未来（2019年）について語る

KDnuggets は、学界と産業界のさまざまな分野の機械学習と AI の専門家 11 名に相談し、今年の業界の進歩をまとめ、来年の主要なトレンドを予測しました。

KDnuggets は、Anima Anandkumar、Andriy Burkov、Pedro Domingos、Ajit Jaokar、Nikita Johnson、Zachary Chase Lipton、Matthew Mayo、Brandon Rohrer、Elena Sharova、Rachel Thomas、Daniel Tunkelang から回答を受け取りました。

これらの専門家が選んだキーワードには、ディープラーニングの進歩、転移学習、機械学習の限界、自然言語処理の変化する状況などが含まれます。

1. Anima Anandkumar: NVIDIA の ML 研究ディレクター、Caltech の Bren 教授。

（１）2018年の機械学習と人工知能の主な進歩は何でしたか？

「ディープラーニングの成果はほとんど収穫されてしまった。」

ディープラーニングの焦点は、標準的な教師あり学習から、半教師あり学習、ドメイン適応、能動学習、生成モデルなどのより困難な機械学習の問題へと移り始めています。 GAN は、フォトリアリスティック画像生成 (BigGAN) やビデオ間の合成など、より困難なタスクを実験している研究者の間で人気が高まり続けています。半教師あり学習を支援するために、生成と予測を単一のネットワークで組み合わせる代替生成モデル (ニューラル レンダリング モデルなど) が開発されています。研究者たちは、地震予測、材料科学、タンパク質工学、高エネルギー物理学、制御システムなど、多くの科学分野にディープラーニングの応用を拡大してきました。このような場合、ドメイン知識と制約が学習と組み合わされます。たとえば、ドローンの自律着陸を改善するために、地面効果モデルを学習してベースコントローラーを修正し、制御システムで重要な学習の安定性を確保することができます。

（２）予測：

「AIはシミュレーションと現実を橋渡しし、より安全で物理的にリアルなものにします。」

シミュレーションから現実世界へ知識をシームレスに転送するための新しいドメイン適応技術が開発されるでしょう。シミュレーションを使用すると、データ不足を克服し、新しい領域や問題での学習を加速できます。 AI をシミュレーションから実際のデータ (Sim2real) に移行することで、ロボット工学、自動運転、医療画像、地震予測などに大きな影響を与えます。シミュレーションは、自動運転などの安全性が重要となるアプリケーションで起こり得るすべてのシナリオを考慮するのに最適な方法です。高度なシミュレーターに組み込まれた知識は、AI の物理的な認識力を高め、AI をより強力にし、新しいシナリオに一般化できるようにする新しい方法で使用されるでしょう。

2. Andriy Burkov: Gartner の機械学習チームの責任者。

これは実務家としての私の意見であり、調査に基づくガートナーの公式声明ではありません。

（１）2018年の機械学習と人工知能の主な進展は何でしたか？

学術界では TensorFlow は PyTorch に負けました。 MapReduce とそれに続く Hadoop の流行がそうであったように、Google の巨大な影響力と能力が市場を最適とは言えない方向に歪めてしまうこともあります。

ディープフェイク（および同様の音声変換モデル）は、最も信頼できる情報源であるビデオクリップを破壊します。私たちは数十年前に印刷された言葉を信用しなくなりましたが、最近までビデオは揺るぎない信頼性を持っていました。

強化学習がディープラーニングという形で復活したのは、とても予想外でクールです!

レストランに電話をかけ、（うまく）本物の人間のふりをする Google のシステムは画期的なものだ。しかし、倫理と人工知能に関して多くの疑問が生じます。

パーソナルアシスタントとチャットボットは急速に限界に達しつつあります。これまで以上にうまく機能していますが、昨年誰もが期待したほどではありません。

（２）2019年の主なトレンドは何だと思いますか？

• 今年の AutoML の進歩には誰もが興奮すると思います。しかし、私はそれが失敗するとも予想しています (画像認識、機械翻訳、テキスト分類など、手作業で作成された機能が不要または標準的ではなく、生のデータが機械が入力として期待するものに近く、データが豊富な、非常に特殊で明確に定義されたユースケースを除く)。
• マーケティング自動化: 成熟した生成的敵対的ネットワークと変分オートエンコーダーを使用すると、表情や感情にわずかな違いがある同じ人物や画像の何千枚もの写真を生成できます。消費者がこれらの画像にどのように反応するかに基づいて、最も効果的な広告キャンペーンを作成できます。
• モバイル デバイスでのリアルタイム音声生成は、実際の人間と区別がつきません。
• 自動運転タクシーはテスト/PoC段階のままとなります。

3. ペドロ・ドミンゴス：ワシントン大学のコンピューターサイエンスおよびエンジニアリングの教授。

数年にわたる誇大宣伝の後、2018年は人工知能に対する過度の恐怖の年となった。メディアや研究者の話を聞くと、機械学習アルゴリズムは偏見や差別のゴミ箱であり、ロボットが私たちの仕事を、そして私たちの生活を奪っていると思うかもしれません…これは単なる話ではありません。ヨーロッパとカリフォルニアは厳しいプライバシー法を可決し、国連はスマート兵器の禁止を議論しています。 AIに対する世論はますます否定的になってきており、これは危険であり不公平でもあります。 2019年には正気を取り戻すことを願っています。

4. Ajit Jaokar: オックスフォード大学の主任データサイエンティスト兼 IoT 向けデータサイエンスの創設者

2018 年には、いくつかのトレンドが広がり始めました。 AutoML もその 1 つであり、強化学習もその 1 つです。これら 2 つの新たなトレンドは 2019 年に大幅に拡大するでしょう。オックスフォード大学で教える中で、私はモノのインターネットが自動運転車、ロボット、スマートシティなどの大規模なエコシステムにますます絡み合っていると考えています。 Dobot での業務を通じて、私は 2019 年の主要なトレンドである協働ロボット (コボット) という新しいタイプのロボット技術を目の当たりにしました。これまでの組立ラインロボットとは異なり、新しいロボットは自律的で感情を理解します。 ***、ここで議論の余地がある点があります。2019 年には、私たちが知っているデータ サイエンティストの役割は、研究から製品開発へと移行する傾向があります。 AIは次世代のデータ製品の作成と密接に関係していると思います。データサイエンティストの役割もそれに応じて変化します。

5. ニキータ・ジョンソン：RE.WORK の創設者。

2018 年に私たちが目撃した進展の 1 つは、オープンソース ツールの数が増加し、参入障壁が下がり、誰もが AI を適用して組織間のコラボレーションを強化しやすくなったことです。これらのコミュニティは、社会とビジネスのあらゆる分野に AI を普及させるために不可欠です。

同様に、2019 年には、Google が最近発表した AI for Social Good イニシアチブや Microsoft の AI for Good イニシアチブを基に、「人工知能」に重点を置く企業の数が増加するでしょう。社会が企業に高い社会的目的を求めるにつれて、AI へのこの前向きな変化は勢いを増しています。

6. ザカリー・チェイス・リプトン：カーネギーメロン大学機械学習助教授、ほぼ正しいブログの創設者

まず、機械学習と人工知能に関する一般の会話の大部分を占めるディープラーニングの分野から始めましょう。一部の人には迷惑かもしれませんが、2018 年を合理的に解釈すると、どこにも行かないのが最善の方法だと思います。もちろんこれは単純化しすぎですが、詳しく説明させてください。 *** の開発の大部分は、「パラメータの調整」と質的な新しいアイデアとの本質的な違いにあります。 BigGAN は GAN ですが、さらに大きいものです。 GAN の段階的な開発によって非常に興味深い結果が得られ、ある意味では大きな前進でしたが、方法論的にはカリキュラム学習トリックを備えた GAN に過ぎませんでした。 NLP において、今年の最も重要な進歩は、ELMO と BERT のコンテキスト化された埋め込みです。しかし、少なくとも2015～2016年にアンドリュー・ダイとクオック・ルが小規模な実験を行って以来、私たちは言語モデルの事前トレーニングと下流の分類タスクでの微調整を行ってきました。したがって、もっと皮肉な言い方をすれば、今年は急進的な新しいアイデアが主流となった年ではなかったと言えるでしょう。一方、肯定的な見方をすれば、既存のテクノロジーの能力はまだ十分に発揮されておらず、ハードウェア、システム、ツールの急速な進歩が今後発揮され、3～4年前のアイデアから得られる利益がすべて引き出される可能性がある、ということかもしれません。

現在生まれつつある多くの新しいアイデアは、ディープラーニングの新たな理論から生まれていると思います。 Sanjeev Arora、Tengyu Ma、Daniel Soudry、Nati Srebro など、非常に興味深い研究を行っている研究者は数多くいます。これまで、厳密ではあるものの実践を軽視することが多い理論的な ML と、実際には科学を実践しているもののリーダーボードの追跡につながる「実験的な」 ML がありました。理論と実験がより密接に統合された新しい調査モードが現在出現しています。実験からヒントを得た理論論文、実験を行う理論論文が見られるようになります。

2019年以降。応用機械学習の分野では、反省の兆しがあると思います。私たちは問題を「解決する」と主張するこれらすべての実用的な分野に突入していますが、これまでのところ、私たちのツールボックスにある唯一の信頼できるハンマーは教師あり学習であり、私たちが実行できる唯一の制約はパターンマッチングによるものです。教師ありモデルは関連性を見つけることができますが、その正当性は提供しません。どの情報が安全で、どの情報が脆弱であるかはわかりません (時間の経過とともに変化する可能性があるため)。これらのモデルは介入の効果については教えてくれません。人間との対話システムに教師あり学習に基づく自動化システムを導入する場合、インセンティブが歪められ、環境が変化して依存するパターンが破壊されることは予想されません。来年は、これらの制限のために ML プロジェクトが放棄されたり、苦戦したりするケースが増えると思います。コミュニティのより創造的なメンバーの間では、関数フィッティングのリーダーボードに重点を置くのではなく、表現学習と因果推論のギャップを埋めることに関連する問題に重点を置くようにシフトしていくでしょう。

7. マシュー・メイヨー：KDnuggets編集者

私にとって、2018 年は機械学習にとって良い年でした。たとえば、転移学習は、テキスト分類のためのユニバーサル言語モデルの微調整 (ULMFiT) やトランスフォーマーからの双方向エンコーダー表現 (BERT) などの技術のおかげで、特に自然言語処理において幅広い応用が可能です。また、モデルが実行するすべてのタスクに大幅な改善をもたらす、深くコンテキスト化された単語表現モデルである Embeddings from Language Models (ELMo) も注目に値します。今年のその他のブレークスルーは、BigGAN などの既存の技術の改善に重点を置いているようです。さらに、機械学習におけるインクルージョンと多様性に関する非技術的な議論が主流になってきました。

2019 年には、これらの分野での潜在的な応用がますます実現されるにつれて、研究の注目は教師あり学習から強化学習や半教師あり学習などの分野に移ると考えています。たとえば、現在、画像認識と生成の問題は「解決」された段階にあり、その過程で学んだことは、研究者がより複雑な機械学習アプリケーションを追求するのに役立ちます。

アマチュア AutoML (自動機械学習) の伝道師として、開発中の実行可能な方法によるアルゴリズムの選択とハイパーパラメータの最適化により、一般的な教師あり学習タスクを効率的に実行できるようになるまで、AutoML は引き続き漸進的に進歩していくと考えています。 AutoML に対する一般的な認識は変化していくと思います。 AutoML は、機械学習ツールボックスの代替としてではなく、その中の別のツールとして見られるようになるでしょう。実務者が日常のシナリオでこれらのツールを定期的に使用することは当然のこととなると思います。

8. ブランドン・ローラー – Facebook のデータ サイエンティスト

2018 年の重要なトレンドの 1 つは、データ サイエンスの教育機会の増加と成熟でした。オンライン コースは、データ サイエンス教育の元祖です。あらゆるレベルで人気があり、毎年学習者やテーマが増え、教育形式のバリエーションも増えています。

学術界では、新しいデータサイエンス修士課程が年間約 12 のペースで増加しています。当校では、企業や学生からの要望に応えて、データ関連分野の専門プログラムを提供しています。

非公式レベルでは、チュートリアルやブログ投稿が至る所にあります。これらは、読者と著者の間でデータ サイエンスの総合的な理解を深めるのに大きく貢献します。

2019 年以降、データ サイエンスの学術プログラムは、データ サイエンスの職に必要な基礎スキルを習得するためのより一般的な方法になるでしょう。これは良いことだ。認定を受けた機関は長年のギャップを埋めることになるだろう。これまで、データ サイエンスの資格は、主に過去の職務経験を通じて証明されてきました。新しいデータ サイエンティストは、データ サイエンスの分野で働いたことがないため、自分の資格を証明することができません。逆に、データ サイエンスの職に就けないため、自分の資格を証明することができません。教育機関からの資格は、この悪循環を断ち切る一つの方法です。

ただし、オンラインコースはどこでも利用できるわけではありません。大学教育に必要な時間と費用を負担できない人はたくさんいます。プロジェクト作業、関連する経験、オンライントレーニングを実証することで、新しいデータ サイエンティストは学位がなくてもスキルを実証できます。オンライン コースとチュートリアルは、今後もさらに一般的になり、より洗練され、データ サイエンス教育にとってさらに重要になるでしょう。実際、いくつかの著名なデータサイエンスや機械学習のプログラムでは、コースをオンラインで提供し、非正規の学生にも入学オプションを提供しています。データサイエンスの大学の学位とオンライントレーニングコースの境界線は、今後も曖昧になっていくと予想しています。私の意見では、これが「データサイエンスの民主化」の真の形です。

9. エレナ・シャロバ: ITV シニアデータサイエンティスト

（１）2018年の機械学習と人工知能の主な進展は何でしたか？

私の意見では、2018 年に AI および ML コミュニティで発生した注目すべき出来事は 3 つあります。

• まず、個人データの使用における公平性と透明性を高めることを目的とした EU グローバルデータ保護規則 (GDPR) の実施です。この規制は、個人の個人データを管理し、その使用に関する情報を取得する権利を明確にしているが、法律の解釈に関して混乱も生じている。これまでのところ、多くの企業は準拠していると信じており、データストレージと処理インフラストラクチャを再設計するという根本的な必要性を無視して、データ処理に表面的な変更を加えています。
• 2 つ目は、データ サイエンス コミュニティ全体に暗い影を落とした Cambridge Analytica スキャンダルです。これまでの議論は主に AI および ML 製品における公平性の確保に関するものでしたが、今回のスキャンダルはより深い倫理的問題を提起しています。 Facebook の参加に関する最新の調査は、それがすぐになくなることはないことを意味している。データサイエンスの分野が成熟するにつれて、このような発展は多くの業界で起こるでしょう。例えば、アリゾナ州の Uber 自動運転車の事件では、このような事件が起きると世間の強い反応が起こります。テクノロジーは力であり、力には責任が伴います。ノーム・チョムスキーはこう言いました。「民話やおとぎ話の中でのみ、悪を滅ぼすために力が使われる。しかし現実の世界は私たちに全く異なる教訓を教えてくれる。私たちが故意に、または無知でない限り、それを無視することはできない。」
• ***、もっと前向きな見方をすると、Amazon 独自のサーバー プロセッサ チップの最新の開発により、クラウド コンピューティングが普及してコストが問題ではなくなる時点に近づいている可能性があります。

（２）2019年にはどのような大きなトレンドが予測されますか？

データ サイエンティストの役割と責任は、正確な予測を行うモデルの構築を超えて拡大しています。 2019 年、ML、AI、DS 実践者の主な傾向は、確立されたソフトウェア開発プラクティス、特にテストとメンテナンスへの重点が増すことになるでしょう。データ サイエンスの最終製品は、企業のテクノロジー スタックの残りの部分と共存する必要があります。独自ソフトウェアを効率的に運用および保守するための要件は、当社が構築するモデルとソリューションに適用されます。これは、最良のソフトウェア開発プラクティスによって、従う必要のある機械学習のルールが強化されることを意味します。

10. レイチェル・トーマス: fast.ai の共同創設者、サンフランシスコ大学助教授。

2018 年の AI における 2 つの大きな進歩は次のとおりです。

• NLPにおける転移学習の成功例
• AIのディストピア的な悪用（ヘイトグループや独裁者による監視や操作を含む）に対する懸念が高まっている

転移学習とは、事前にトレーニングされたモデルを新しいデータセットに適用することを指します。転移学習は、コンピューター ビジョンの急速な発展における重要な要素です。 2018 年に NLP における転移学習の成功したアプリケーションとしては、fast.ai の ULMFiT、Allen Institute の ELMo、OpenAI transformer、Google の BERT などがあります。

2018年になってようやく、Facebookが「ミャンマー虐殺」事件で果たした決定的な役割、YouTubeによる陰謀論（その多くは白人至上主義を助長するもの）の不適切な推奨、政府や法執行機関による監視のための人工知能の利用など、いくつかの根強い問題が主流メディアの注目を集めるようになった。 AI のこうした悪用は深刻で恐ろしいものですが、問題を認識して抵抗する人が増えています。

この傾向は 2019 年も続くと予想しており、NLP は急速に進歩し (Sebastian Ruder 氏がこの夏に述べたように、NLP の ImageNet の時代が到来しました)、テクノロジーはディストピア的な発展を遂げるでしょう。

11. Daniel Tunkelang: 検索、発見、ML/AI を専門とする独立コンサルタント。

2018 年には、自然言語処理と理解のための単語埋め込みにおいて 2 つの大きな進歩がありました。

• まず、3月に、アレン人工知能研究所とワシントン大学の研究者が「Deep contextualized word representations」と題する論文を発表し、word2vecやGloVeなどの文脈自由埋め込みを改良したオープンソースのdeep contextualized word representationsであるELMo (Embeddings from Language Models)を紹介しました。著者らは、既存の NLP システムを ELMo 事前トレーニング済みモデルのベクトルに置き換えるだけで改善できることを示しています。
• 2 つ目は、11 月に Google が BERT (Bidirectional Encoder Representations from Transformers) をオープンソース化したことです。これは、Wikipedia で事前トレーニングされた双方向の教師なし言語表現です。論文「BERT: 言語理解のためのディープ双方向トランスフォーマーの事前トレーニング」では、著者らは、ELMo に関連するものも含め、さまざまな NLP ベンチマークで大きな改善を達成したことを実証しています。

スマート音声アシスタントの急速な導入（2018 年末までにユーザー数が 1 億人に達する）から携帯電話のデジタル アシスタントの普及まで、自然言語理解の進歩は研究室から製品へと急速に進んでいます。これらの結果は、NLP の実践と研究の両方にとって興味深いものです。

しかし、まだ道のりは長いです。

また今年、アレン人工知能研究所の研究者らは、常識的な理解を必要とする文章完成タスク用のデータセット「Swag: 根拠のある常識的推論のための大規模敵対データセット」を公開した。彼らの実験は、現在の最先端の NLP モデルが依然として人間のパフォーマンスよりはるかに劣っていることを示しています。

しかし、2019 年には NLP でさらなる進歩が見られる可能性があります。非常に才能のあるコンピューターサイエンスの人々が多数この取り組みに取り組んでおり、業界は準備が整っているからです。

オリジナルリンク: https://www.kdnuggets.com/2018/12/predictions-machine-learning-ai-2019.html

[この記事は51CTOコラムBig Data Digest、WeChatパブリックアカウント「Big Data Digest（id: BigDataDigest）」のオリジナル翻訳です]

この著者の他の記事を読むにはここをクリックしてください