今年の AI における最大の進歩は進歩なし？ 2019年はAutoMLとGANがリードする

11 日間、11 人、11 人の見込み客。

2018 年が終わるまで残り 11 日となりました。有名なデータ サイエンスの Web サイト KDnuggets は、11 人の海外の機械学習および AI の専門家を招待し、2018 年の機械学習と人工知能の主な進歩を振り返り、2019 年に出現する主要なトレンドを予測しました。

[[254881]]

この11人の中にはアンドリュー・ン氏やフェイフェイ・リー氏のようなトップ人物はいないものの、NVIDIAの機械学習研究ディレクター、ガートナーの機械学習チーム責任者、ワシントン大学のコンピューターサイエンスとエンジニアリングの教授など、産業界、学界、テクノロジーの第一線で活躍する人材ばかり。AIの過去と未来をさまざまな視点から見ることができる。

11人の意見は次のとおりです。

ディープラーニング：「簡単に収穫できる果実はすでに収穫されている」

Nvidia の機械学習研究責任者、Anima Anandkumar 氏:

[[254882]]

アニマ・アナンドクマール

2018 年を振り返ると、焦点は標準的な教師あり学習から、半教師あり学習、ドメイン適応、能動学習、生成モデルなどのより困難な機械学習の問題に移り始めました。 GAN は引き続き非常に人気があり、研究者は bigGAN やビデオ間の合成など、より困難なタスクの実験を行っています。ニューラル レンダリング モデルなどの代替生成モデルは、半教師あり学習を支援するために、単一のネットワークで生成と予測を組み合わせるために開発されました。

研究者たちは、地震予測、材料科学、タンパク質工学、高エネルギー物理学、制御システムなど、多くの科学分野にディープラーニングの応用を拡大してきました。このような場合、ドメイン知識と制約が学習と組み合わされます。

2019 年の予測: 「AI はシミュレーションと現実を橋渡しし、より安全でより物理的に認識できるようになります」

シミュレーションから現実世界へ知識をシームレスに転送するための新しいドメイン適応技術が開発されるでしょう。シミュレーションを使用すると、データ不足を克服し、新しい領域や問題での学習を加速できます。 AI をシミュレーションから実際のデータ (Sim2real) に移行することで、ロボット工学、自動運転、医療画像、地震予測などに大きな影響を与えます。シミュレーションは、自動運転などの安全性が重要となるアプリケーションで起こり得るすべてのシナリオを考慮するのに最適な方法です。高度なシミュレーターに組み込まれた知識は、AI をより物理的に認識し、より強力にし、新しい未知のシナリオに一般化できるようにするための斬新な方法で使用されるでしょう。

2019年：モバイルデバイスでのリアルタイム音声生成は実際の人間と区別がつかない

ガートナーの機械学習チームの責任者、アンドリー・ブルコフ氏：

[[254883]]

アンドリー・ブルコフ

これは実務家としての私の意見であり、調査に基づくガートナーの公式声明ではありません。私の考えは次のとおりです。

2018 年を振り返る: TensorFlow は学術界で PyTorch に負けました。 MapReduce とそれに続く Hadoop の流行で起こったように、Google の巨大な影響力によって市場が最適ではない方向に動かされることもあります。

ディープフェイク（および同様のオーディオ技術）は、最も信頼できる情報源であるビデオを破壊します。もう誰もそのようなことを言うべきではありません。私はその人がそのようなことを言っているビデオを見ました。私たちは数十年前に印刷された言葉を信用しなくなりましたが、今でもビデオは揺るぎない存在です。

強化学習がディープラーニングという形で復活したのは、とても予想外でクールです!

人間に代わってレストランに電話をかけ、本物の人間であるかのように（うまく）装う Google のシステムは画期的なものだ。しかし、倫理と人工知能に関して多くの疑問が生じます。

パーソナルアシスタントとチャットボットは急速に限界に達しつつあります。これまで以上に良くなっていますが、昨年期待したほどではありません。

2019年に向けて:

1) 今年は AutoML の可能性に皆さんがワクワクして欲しいです。また、失敗するとも予想しています (画像認識、機械翻訳、テキスト分類など、何も手作業で作成されておらず、生のデータが機械が入力として期待するものに近く、データが豊富な、非常に特殊で明確に定義されたケースを除く)。

2) マーケティング自動化: 成熟した生成的敵対的ネットワークと変分オートエンコーダーを使用すると、表情や感情にわずかな違いがある同じ人物や画像の何千枚もの写真を生成できます。消費者がこれらの画像にどのように反応するかに基づいて、最適な広告キャンペーンを作成できます。

3) モバイルデバイス上でのリアルタイムの音声生成は、実際の人間と区別がつきません。

4) 自動運転タクシーはテスト/PoC段階に留まります。

2018年はAIに対する過度の恐怖の年となった

ワシントン大学のコンピュータサイエンスとエンジニアリングの教授、ペドロ・ドミンゴス氏：

[[254884]]

ペドロ・ドミンゴス

数年にわたる誇大宣伝の後、2018年はAIに対する過度の恐怖の年となりました。

一部のメディアや研究者によると、2016年の選挙でのトランプ氏の勝利はすべてケンブリッジ・アナリティカのおかげであり、機械学習アルゴリズムは偏見と差別に満ちたゴミであり、ロボットが私たちの仕事を奪い、すぐに私たちの生活を支配するだろう、などと思われるかもしれません。こうした議論は単なる口先だけのものではない。欧州やカリフォルニア州はすでにより厳しいプライバシー法を可決しており、国連はAI兵器の禁止などの問題について激しい議論を行っている。 AIに対する一般の人々の見方がますます暗くなっているのは、危険であると同時に不公平でもある。

2019年は人々が合理性を取り戻せることを願っています。

データサイエンティストの役割は研究から製品開発へと移行する傾向にある

オックスフォード大学の主任データサイエンティストであり、モノのインターネットコースの創設者である Ajit Jaokar 氏:

[[254885]]

アジット・ジャオカル

2018 年には、いくつかのトレンドが急速に人気を集め始めました。 1つは自動化された機械学習であり、もう1つは強化学習です。これら 2 つの新たなトレンドは 2019 年にさらに発展するでしょう。オックスフォード大学で担当している「モノのインターネットのためのデータサイエンス」のコースでは、モノのインターネットが自動運転車、ロボット、スマートシティなどのより大規模なエコシステムにますます統合されていくと主張しています。

2019 年には、新しいロボット技術である協働ロボット (コボット) が重要なトレンドになるでしょう。これまでの生産ラインロボットとは異なり、新しいロボットは自律的に動き、感情を理解することができます（私のコースでは、この分野の研究を行っている感情研究ラボとも協力しています）。

最後に少し議論の余地があるかもしれませんが、2019 年には、データ サイエンティストの役割は研究から製品開発へと移行する傾向にあるでしょう。人工知能は次世代のデータ製品の誕生と密接に関係していると思います。データサイエンティストの役割もそれに応じて変化します。

今年はオープンソースツールの数が増え、AIが誰でも利用できるようになった。

RE.WORK 創設者、ニキータ・ジョンソン:

[[254886]]

ニキータ・ジョンソン

2018 年に私たちが目撃した変化の 1 つは、AI への参入の技術的障壁を下げ、AI を誰もが利用しやすくし、さまざまな組織間のコラボレーションを強化するオープンソース ツールの数が増加したことです。これらのオープンソース コミュニティは、社会とビジネスのあらゆる分野に AI を普及させるために不可欠です。

同様に、2019 年には AI に重点を置く企業が増え、Google と Microsoft の両社は最近、「AI を社会の利益のために活用する」ことを目的としたプロジェクトを立ち上げました。社会全体が企業に社会的目標の達成を求めるようになるにつれ、AI技術を社会にプラスの影響を与えるものに変えていこうというこの傾向は、ますます支持と勢いを増しています。

2018 年の最大の進歩は進歩がないことです。

カーネギーメロン大学機械学習助教授、ザカリー・チェイス・リプトン氏：

[[254887]]

ザカリー・チェイス・リプトン

まずディープラーニングについてお話しします。ディープラーニングは、機械学習と人工知能に関する公開討論の中で最も大きな割合を占めています。

まず最初に、私の意見は一部の人々を苛立たせるかもしれないが、2018 年の妥当な解釈であると思うことを述べさせてください。最大の進歩は進歩がないことである!

なぜそう言うのでしょうか? なぜなら、これらの進歩の大部分は、新しい概念の本質を改善し、定義することだからです。

BigGAN は、より大きな GAN です。 GANS は徐々に成長し、非常に興味深い結果を生み出しており、ある意味では大きな前進です。

しかし、方法論的には、よりスマートなカリキュラム学習テクニックを備えた単なる GAN にすぎません。

NLP についてお話しましょう。今年最も重要な話題は、ELMO と BERT のコンテキスト埋め込みです。これらは本当に驚くべき進歩です。

しかし、少なくともアンドリュー・ダイとクオック・レは、2015年か2016年から、言語モデルの事前トレーニングと下流の分類タスクの微調整を開始していましたが、当時は規模が小さかったです。なので、今年は「大きなアイデア」がなかったような気がします。

大きなアイデアはないものの、今年は良い面もあります。既存の技術の潜在能力を十分活用できていないのかもしれません。ハードウェア、システム、ツールの急速な発展により、第二の飛躍がもたらされる可能性があります。

現在生まれつつある多くの新しいアイデアは、ディープラーニングの新たな理論から生まれていると思います。 Sanjeev Arora、Tengyu Ma、Daniel Soudry、Nati Srebro をはじめとする多くの研究者が非常に興味深い研究を行っています。

長い間、私たちは第一原理理論を持っていましたが、それは厳密ではあるものの、実践が軽視されることが多かったのです。

それから、過度に「学術的」な機械学習があります。これは確かに非常に科学的ですが、チャートのトップに立つプロセスに組み込まれており、抜け出すことができません。

理論と実験がより密接に統合された新しい調査モードが現在出現しています。実験からヒントを得た理論論文、実験を行う理論論文が見られるようになります。

私は最近、理論的な論文から、これまで発見されたことのない自然現象を垣間見ることができるのではないかという発想を得るという感動的な経験をしました。

2019 年以降、応用機械学習は大きく成長し、問題を「解決する」と主張するあらゆる実用的な分野に私たちは突入すると思います。しかし、これまでのところ、私たちが頼れるのは教師あり学習だけです。

パターン マッチングは現在、いくつかの困難によって制限されています。教師ありモデルは関連性を見つけることはできますが、原因を見つけることはできません。情報は時間の経過とともに変化する可能性があるため、どの情報が安全に信頼できるかはわかりません。これらのモデルでは、介入の影響がどうなるかはわかりません。

来年は、ブラックボックスの性質上、機械学習プロジェクトが放棄されたり、単に問題に遭遇したりするケースが増えると思います。

コミュニティの最も創造的なメンバーが何らかの変更を加えるのを見ることになるでしょう。盲目的にチャートのトップを追求するのではなく、代表的学習と因果推論の間のギャップを埋めることに重点が置かれます。

AutoMLが臨界質量に到達

KDnuggets 編集者、マシュー・メイヨー氏:

[[254888]]

マシュー・メイヨー

私にとって、2018 年の機械学習は改良が中心でした。たとえば、テキスト分類のためのユニバーサル言語モデルの微調整 (ULMFiT) やトランスフォーマーからの双方向エンコーダー表現 (BERT) などの技術のおかげで、転移学習は、特に自然言語処理において、より幅広い用途と関心を集めています。

過去 1 年間の NLP の進歩はこれだけではありません。また、モデルが実行できるすべてのタスクに大幅な改善をもたらした、深く文脈化された単語表現モデルである Embeddings from Language Models (ELMo) も注目に値します。

今年のその他のブレークスルーは、BigGAN のような既存の技術の改良に集中しているようです。さらに、機械学習におけるインクルージョンと多様性に関する非技術的な議論は、多くの擁護コミュニティのメンバーの声のおかげで主流になりました (NeurIPS はその一例です)。

2019 年には、これらの分野での潜在的な応用がますます実現されるにつれて、研究の注目は教師あり学習から強化学習や半教師あり学習などの分野に移ると考えています。たとえば、画像認識と生成は「解決」された段階にあり、そこから学んだことは研究者が機械学習のより複雑な応用を追求するのに役立ちます。

アマチュアの自動機械学習 (AutoML) エバンジェリストとして、AutoML は徐々に改善され、利用可能な方法、またはまだ完全には開発されていない方法を使用して、アルゴリズムの選択とハイパーパラメータの最適化により、一般的な教師あり学習タスクを自信を持って実行できるようになると信じています。

自動化された機械学習に関する一般的な見方は、開発者の置き換えから拡張へと変わりつつある（あるいはすでに転換点に達している）と思います。 AutoML は、機械学習ツールボックスの代替としてではなく、そこに含まれる別のツールとして見られるようになるでしょう。むしろ、開発者がこれらのツールを日常的に使用し、その使い方を知っていることは当然のこととなると思います。

データサイエンス修士課程の新規開設が大幅に増加

Facebook のデータ サイエンティスト、Brandon Rohrer 氏:

[[254889]]

ブランドン・ローラー

2018 年の重要なトレンドの 1 つは、データ サイエンスの教育機会の増加と継続的な成熟でした。オンライン コースはデータ サイエンス教育の最初の場となり、これらのコースはあらゆるレベルで人気があり、毎年受講者、開発、新しいトピックが増えています。

学術界では、データサイエンスの修士課程が年間約 12 のペースで新たに追加されています。当校では、企業や学生からの要望に応えて、データ関連分野の専門プログラムを提供しています。

一方、チュートリアルのブログ投稿はどこにでもあります。これらは、読者のデータサイエンスの理解に大きく貢献します。

2019 年以降、データ サイエンスの学術プログラムはより一般的になり、データ サイエンスの職に就くために必要な基礎スキルを習得するのに役立つようになります。これは良いことであり、認定を受けた機関はこの分野における長年のギャップを埋めることになるだろう。

これまで、データサイエンスの資格は主に過去の職務経験を証明するために使用されてきました。これにより、ジレンマが生じます。新しいデータ サイエンティストは、データ サイエンスの業務経験がないため、自分が適格であることを証明できません。また、自分が適格であることを証明できないため、関連する仕事に就くことができないという悪循環に陥ります。そして、教育機関からの証明書は、この悪循環を断ち切るための重要な手段です。

しかし、オンラインコースはなくなることはありません。なぜなら、多くの人は大学教育に必要な時間と金銭的負担を負うことができないからです。

これらのコースが利用可能になったことで、データ サイエンス教育は常に実践的なアプローチをとるようになりました。プロジェクトでの関連経験やオンライン トレーニングを通じて、新しいデータ サイエンティストは学位がなくてもスキルを発揮する機会を得ることができます。オンライン コースとチュートリアルは、今後もさらに一般的になり、より洗練され、データ サイエンス教育にとってさらに重要になるでしょう。

実際、いくつかの著名なデータサイエンスや機械学習のプログラムはすでにコースをオンラインで提供しており、非正規の学生にも入学オプションを提供しています。データサイエンスの大学の学位とオンライントレーニングコースの境界線はさらに曖昧になると予想しています。

2018年を記憶に残るものにした3つの大きな出来事

ITV のシニア データ サイエンティスト、エレナ シャロバ氏:

[[254890]]

エレナ・シャロヴァ

2018年を振り返って:

2018 年は AI と ML コミュニティにおける 3 つの大きな出来事で記憶に残る年になると思います。

1 つ目は、個人データの使用における公平性と透明性を高めることを目的とした欧州連合のグローバル データ保護規則 (GDPR) の開始です。この規制は個人に個人データを管理し、それがどのように使用されるかを理解する権利を与えているが、法律の解釈に関して混乱も生じている。これまでの GDPR の最終的な結果は、多くの企業がデータ処理に表面的な変更を加え、準拠していると考え、データの保存と処理のためのインフラストラクチャを再設計するという根本的な必要性を見落としているというものでした。

2 つ目は、データ サイエンス コミュニティ全体に暗い影を落とした Cambridge Analytica スキャンダルです。これまでの議論は主に AI および ML 製品における公平性の確保に関するものでしたが、今回のスキャンダルはより深い倫理的問題を提起しています。 Facebook の事件への関与に関する最新の調査は、これらの問題がすぐには解決しないことを意味している。データサイエンスの分野が成熟するにつれて、政治だけでなく多くの業界でこの現象が起こるでしょう。アリゾナ州のUber自動運転車事件のように、より悲劇的な事件もあり、世間の強い反応を引き起こすだろう。テクノロジーは力であり、力には責任が伴います。

最後に、より前向きな見方をすると、Amazon が自社開発した最新のサーバー プロセッサ チップにより、クラウド コンピューティングは一般の人々にとってコストの問題ではなくなるでしょう。

2019年に向けて:

データ サイエンティストの役割と責任は、正確な予測を実現するためのモデルの構築だけにとどまりません。

ML、AI、データ サイエンスの実践者にとって、2019 年の主な傾向は、特にテストとメンテナンスの面で、確立されたソフトウェア開発プラクティスに従う責任が増大することです。データ サイエンスの最終成果物は、企業のテクノロジー スタックの残りの部分と共存する必要があります。独自ソフトウェアを効果的に運用および保守するための要件は、当社が構築するモデルとソリューションに適用されます。これは、最良のソフトウェア開発プラクティスが、私たちが従う必要のある機械学習の分野をサポートすることを意味します。

転移学習をNLPにうまく適用

fast.ai の創設者でありサンフランシスコ大学の准教授であるレイチェル・トーマス氏は次のように述べています。

[[254891]]

レイチェル・トーマス

2018年を振り返って:

• 転移学習をNLPにうまく適用
• ヘイトグループや権威主義者による監視や操作など、AIのディストピア的な悪用は、ますます懸念されている。

転移学習とは、事前にトレーニングされたモデルを新しいデータセットに適用する手法です。転移学習はコンピュータービジョンの爆発的な進歩の重要な要素であり、2018 年には fast.ai と Sebastian Ruder の ULMFiT、Allen Institute の ELMo、OpenAI transformer、Google の BERT などの NLP 作業にうまく適用されました。こうした進歩は喜ばしいと同時に心配なことでもある。

ミャンマーの大量虐殺におけるFacebookの決定的な役割、YouTubeによる陰謀論の過剰な推奨（その多くは白人至上主義を助長するもの）、政府や法執行機関の監視におけるAIの使用などの進行中の問題は、2018年に主流メディアの注目を集めるようになりました。 AI の悪用は恐ろしいものですが、それについて認識し、反撃する人が増えているのは良いことです。

2019年に向けて:

これらの傾向は 2019 年も続くと予想しており、NLP が急速に進歩し (Sebastian Ruder 氏が「NLP の ImageNet 時代が到来」と書いているように)、監視、暴力の扇動、政治運動の危険な操作にテクノロジーがどのように使用されるかというディストピア的な展開がさらに進むと予想しています。

NLP単語埋め込みは2つの重要な進歩を遂げた

検索、発見、ML/AI を専門とする独立コンサルタント、Daniel Tunkelang 氏:

[[254892]]

ダニエル・トゥンケラン

2018年を振り返って:

2018 年には、自然言語処理と理解のための単語埋め込みの高度化において 2 つの重要な進歩がありました。

一度目は3月でした。アレン人工知能研究所とワシントン大学の研究者らは、「Deep contextualized word representations」と題する論文を発表し、word2vec や GloVe などのコンテキストに依存しない埋め込みを改良したオープンソースの deep contextualized word representations である ELMo (Embeddings from Language Models) を提案しました。著者らは、ELMo 事前トレーニング済みモデルのベクトルを単純に置き換えることで、既存の NLP システムよりも改善されたことを実証しました。

2回目は11月でした。 Google は、Wikipedia コーパスで事前トレーニングされた双方向の教師なし言語表現である BERT (Bidirectional Encoder Representations from Transformers) をオープンソース化しました。著者らが「BERT: 言語理解のためのディープ双方向トランスフォーマーの事前トレーニング」で示しているように、著者らはさまざまな NLP ベンチマークで大幅な改善を達成し、ELMo を上回るパフォーマンスを達成しています。

スマートスピーカーの急速な普及（2018 年末までに 1 億台に達する見込み）から携帯電話のデジタルアシスタントの普及まで、自然言語理解の進歩は研究室から現実世界へと急速に進んでいます。今は、NLP の研究と実践にとって刺激的な時期です。

2019年に向けて:

しかし、まだ道のりは長いです。

また今年、アレン研究所の研究者らは、常識的な理解を必要とする文章完成タスク用のデータセット「Swag: A Large-Scale Adversarial Dataset for Grounded Commonsense Reasoning」をリリースした。彼らの実験は、最先端の NLP が依然として人間のパフォーマンスに大きく遅れをとっていることを示しています。

しかし、2019 年には NLP のさらなる進歩が見られることを期待しています。コンピュータサイエンスの最も優れた人材の多くがこれに取り組んでおり、業界は彼らの成果を応用することに熱心です。