中国 NeurIPS の著者の 54% が米国へ：ケンブリッジ AI パノラマ レポートが発表

NeurIPSに受理された論文のうち、著者の29%は中国の大学で学士号を取得していますが、そのうち54%は卒業後に大学院や博士課程に進むために米国に渡り、90%は仕事のために米国に留まることを選択しています。ケンブリッジ大学の「AI パノラマレポート」2020年版では、AI 分野におけるどのような新たな観察結果が注目に値するのでしょうか?

[[344858]]

報告者：マシンハート、著者：ゼナン、ダンジャン、シャオチョウ

人工知能は基礎科学と工学の実践を組み合わせた技術分野であり、近年では他の分野もますます統合されつつあります。デジタル化が徐々に進むにつれて、AI が技術の進歩を推進します。

先日、ケンブリッジ大学の「AIパノラマレポート」2020年版がついに公開されました。これは年次レポートの3回目の発行となります。前年と同様に、このレポートでは著名なテクノロジー企業や研究グループのデータを引用しています。新しい AI パノラマ レポートでは、研究、人材、業界、ポリシー、将来の見通しなど、さまざまな側面から、最近の人工知能分野の発展傾向を紹介しています。

この調査の主執筆者であるネイサン・ベナイチ氏とイアン・ホガース氏は、ともにケンブリッジ大学の出身である。

[[344859]]

レポートアドレス: https://www.stateof.ai/

1. 人工知能研究の進歩

人工知能分野の発展にはオープンソース フレームワークと活発なコミュニティが伴っていますが、今年のレポートの冒頭では、まだデータに基づいて語る必要があります。まず、1 つ明確にしておきたいのは、AI 研究のオープン性は私たちが考えているほど高くないということです。

ディープラーニングのフレームワークに関しては、最近経験したように、さまざまなトップ AI カンファレンスの論文では、研究者が TensorFlow の本来の地位をほとんど引き継いだ PyTorch を広く使用しています。

GitHub では、PyTorch の方が TensorFlow よりも多くの新しい研究実装があります。統計によると、実装の約 47% が現在 PyTorch に基づいており、TensorFlow は約 18% です。

一方、大規模モデルはNLP分野の技術進歩を牽引しています。OpenAIのGPT-3などの新たな研究により、ディープラーニングモデルのパラメータ数は数千億に達しています。現在のクラウド サービスのコンピューティング パワーの価格に基づくと、1,000 個のパラメータを持つモデルをトレーニングするには平均 1 ドルかかります。1,750 億個のパラメータを持つ GPT-3 には、数百万ドルかかる可能性があります。一部の専門家は、この数字は 1,000 万ドルを超えると考えています。研修のコストが高いため、研究者が新しい方向性を模索することが困難になっています。

AI モデルのトレーニングにはますます多くの計算能力が必要となり、従来のコンピューター アーキテクチャは徐々にムーアの法則の終焉に近づいています。 MIT や他の大学の研究によると、科学者が ImageNet データセットの画像分類タスクのエラー率を 11.5% から 1% に減らしたい場合、数百億ドルの投資が必要になる可能性があるとのことです。

しかし、モデルの効率性を向上させる方法も研究されている。OpenAIの統計によると、2012年以降、ImageNet画像分類用のディープラーニングニューラルネットワークを一定のレベルまでトレーニングするために必要な計算能力は、16か月ごとに半減している。

GPT-3 や BERT などのモデルが NLP 分野の研究を新たな段階に導いたことは間違いありません。プログラミング言語を自動的に翻訳する、教師なしの機械翻訳ツールも存在します。 GitHub で C++ 関数を 90% の精度で Java に変換します。

技術の急速な発展は、人工知能分野における研究の集中度の高さによるものです。統計によると、世界中の AI 手法 (ディープラーニング、NLP、コンピューター ビジョン、強化学習など) に関する論文数は、2017 年以降、毎年 50% 増加しています。2020 年には、AI 分野で 21,000 件を超える新しい論文が発表される可能性があります。

しかし、現在の機械学習アプリケーションのほとんどは統計を通じて機能を実装しており、人間が知識を学習するための重要な方法である因果推論が無視されています。患者の治療オプションを見つけるなどのタスクでは、因果推論の方がより適切なアプローチです。ジューディア・パール氏やヨシュア・ベンジオ氏などの人工知能の先駆者たちは、因果推論は機械学習システムの一般化を向上させ、より強力で堅牢にし、意思決定に大きく貢献できる新しい方向性であると考えています。

2. AI人材：米国が優勢

近年、人工知能分野の研究者の分布にはいくつかの新たな傾向が見られます。

人材の流動性

まず、学界は頭脳流出に直面しており、多くのアメリカ人研究者教授が大学を離れ、テクノロジー企業に勤めている。 2004年から2018年にかけて、Google、DeepMind、Amazon、Microsoftはアメリカの大学から52人の終身在職権を持つ教授を採用した。カーネギーメロン大学、ワシントン大学、バークレー大学では同時期に38人の教授が退職した。注目すべきは、2018年だけで41人のAI教授が退職したことだ。

トップレベルのAIカンファレンスの観点から見ると、近年、中国の教育経験を持つ研究者はAI分野の研究に顕著な貢献を果たしています。世界最高峰の人工知能カンファレンスであるNeurIPS 2019を例にとると、採択された論文の著者の29%が中国で学士号を取得しています。

しかし、国内の大学を卒業後、NeurIPSで論文を発表した卒業生の54%は米国に渡りました。

人工知能の分野では、米国は依然として国際的な研究の中心地であり、米国で卒業した博士課程の学生の90％が米国に留まり、研究を続けることになります。

アメリカ以外の国の AI 博士号取得者は、卒業後に大手テクノロジー企業に勤務する可能性が高いのに対し、アメリカの博士号取得者は、スタートアップ企業に勤務したり、学術研究に参加したりする傾向があります。

同時に、AI分野の多くのアメリカ人博士号取得者は、卒業後に仕事のためにイギリスや中国に渡っています。

次に、研究機関の観点からAI分野の概要を分析してみましょう。

NeurIPS 2019を例にとると、論文発表数ではGoogle、スタンフォード大学、カーネギーメロン大学、MIT、Microsoftが上位5位にランクインしました。

人材が不足している

現在最も注目されている研究分野の一つとして、AI分野の人材の需要が高まっています。多くのトップ大学も AI 専攻の入学者数を拡大しています。スタンフォード大学を例に挙げると、近年、スタンフォード大学のAI分野の学生数は1999～2004年に比べて10倍に増加し、AI分野の学生数も2012～2014年に比べて2倍に増加しています。それでも、Indeed のデータによれば、求人広告の数は求職者の約 3 倍あることがわかります。

しかし、2020年の人工知能分野の人材市場が新型コロナウイルスの流行によって大きな影響を受けたのは避けられません。 LinkedInが発表したデータによると、2020年の機械学習関連の仕事は当初は好調な成長傾向にあったが、2月に打撃を受け、減少し始めた。

3. 業界の急速な発展

人工知能によって設計された医薬品が日本で第1相臨床試験を開始した。人工知能医療の分野では、多くのスタートアップ企業が巨額の資金を集めて「プラットフォーム戦略」を展開している。

COVID-19パンデミックの間、多くのテクノロジー企業がAI医療画像認識技術をいち早く実用化しました。最近、米国のメディケア・メディケイドサービスセンターは、ディープラーニングに基づく医療画像製品の料金基準を提案しました。 AIシステムは、胸部X線などのさまざまな医療画像を素早くスキャンし、スクリーニング結果を人間の専門家に送信して、敏感でない要素を除外することができます。

人工知能といえば、自動運転が最も人気があります。 2018年以降、カリフォルニア州で自動運転車のテスト許可を得た66社のうち、安全運転手なしでテストを許可されているのは、Waymo（Google）、Nuro、AutoXの3社のみです。

政策が最もオープンなカリフォルニア州でさえ、これまでの自動運転車の走行距離は人間と比べるとごくわずかだ。自動運転車メーカーは2019年の自動運転走行距離を2018年に比べて42％増加させた。しかし、これは2019年にカリフォルニア州の免許を持ったドライバーが運転した距離のわずか0.000737%に過ぎません。

人間が介入する前の自動運転車の走行距離を基準として使用することは、必ずしも最も客観的なことではありません。一部の州では、運転者がハンドルから完全に手を離した状態で走行した走行距離は記録されません。

しかし最近、このデータに新たな変化が見られました。百度の自動運転は、人間が介入しなくても18,050マイル走行し、ウェイモ（グーグル）の13,219マイルを上回った。 AIへの投資を増やし続けている百度にとって、最近の投資は成果を上げ始めている。

自動運転分野の企業には強力な財政支援が必要です。アマゾンに13億ドルで買収されたZooxは、2015年以降9億5500万ドル以上の資金を調達している。Zooxの最新の評価額は約32億ドルである。取引文書によれば、Zooxは2020年初頭に毎月3,000万ドルを消耗していた。

国内旅行会社Didiも最近、自動運転事業を分社化し、ソフトバンク・ビジョン・ファンドなどの機関から5億ドルを調達した。滴滴出行は今年7月、上海で自動運転車サービスを開始した。

現在、自動運転システムの機械学習アルゴリズムのほとんどは、車両の周囲の状況のみに焦点を当てており、膨大な量の手書きのルールに基づいています。研究者たちは、大量の人間の運転経験から学習して訓練される、AlphaGoに似た新しいアルゴリズムを開発している。最近、Waymo、Uber、Lyft はいずれも模倣学習と逆強化学習の新しい手法を実証しました。

自動運転などの分野の発展にも、大量の計算能力が必要です。GraphcoreやNvidiaなどの企業が今年発売した新世代のチップは人々の希望となっています。

政策の変更

AI研究の方向性に加えて、人工知能アプリケーションの急速な実装により、プライバシーと倫理についても人々の懸念が生じています。

顔認識技術は前例のない論争に直面している

現在、世界の50%の国で顔認識技術の使用が許可されており、この技術を部分的に禁止し、特定の状況でのみ使用を許可しているのは3カ国（ベルギー、ルクセンブルク、モロッコ）のみです。

大手テクノロジー企業も顔認識技術の使用に対してより慎重になっている。

マイクロソフトは、現在利用可能な最大のデータベースである1,000万の顔のデータベースを削除しました。データベース内の顔は関係者の許可を得ずにインターネットから取得されたものである。

アマゾンは、議会に適切な規制を制定する時間を与えるため、警察による顔認識ツール「Rekognition」の使用を1年間停止すると発表した。

IBMは顔認識製品と技術を放棄すると発表した。

ニューヨーク都市圏交通局（MTA）は、新型コロナウイルスの感染拡大を防ぐため、乗客がマスクを着用した状態でFaceIDを有効化できるようにするようアップルに要請した。

過去1年間、顔認識技術はかつてないほど多くの論争に直面してきました。

米国は軍事AIシステムに多額の投資を続けている

機械学習技術がますます一般的になるにつれ、軍隊はそれをますます研究するようになっているが、この傾向が現実世界にどの程度の影響を及ぼすかはまだ明らかではない。

米国一般調達局と米国国防総省の合同人工知能センターは、ブーズ・アレン・ハミルトンに総額 8 億ドルを超える 5 年間の発注を授与しました。コンテンツの説明には、「データ ラベリング、データ管理、人工知能製品開発」などのキーワードが含まれています。

防衛レベルでは、より多くの AI 関連企業が有利な政府契約やベンチャーキャピタルを獲得しています。デルの子会社であるピボタル・ソフトウェアは、米国防総省から1億2100万ドルの契約を獲得した。ドローン、高解像度衛星地図、情報管理などの事業を手掛けるアンドゥリル、リベリオン、スカイディオなどの企業も、多額のベンチャーキャピタルの資金提供を受けている。

米国国防総省の国防高等研究計画局 (DARPA) は、多数の AI システムが互いに競い合う仮想空中戦闘競技会を開催しました。最終的な優勝者は、Heron Systems 社が開発したトップ AI で、スコア 5 対 0 で人間のパイロットを破りました。

AlphaGo、AlphaStar、AlphaDogfight など、深層強化学習技術の助けを借りて、人工知能はより多くの分野でトップクラスの人間プレイヤーに勝利しています。これは、ゲームの戦闘環境で訓練された勝利のテクニックが軍事環境にすぐに移転できることも十分に実証しています。 「戦闘機パイロットとしての我々の標準的な運用方法はもはや機能していない」と敗北したパイロットは語った。

マーク・T・エスパー米国防長官は、シミュレーションされた戦闘環境で訓練されたアルゴリズムが、2024年までに実物大の戦術航空機を含む現実世界の戦争に配備されるだろうと述べた。機械学習は将来の世界大戦に構造的な影響を及ぼすだろう、と同氏は述べた。「最新の技術を最初に活用した者が、将来の戦場で決定的な優位性を得ることになるだろう。」

2つの主要なAI会議が新たな倫理基準を採用

NeurIPS と ICLR はどちらも新しい倫理規定を提案しましたが、コードとデータの共有を義務付けていませんでした。人工知能分野のトップカンファレンスである NeurIPS を例に挙げてみましょう。

• NeurIPS は、機械学習と倫理の交差点における専門家で構成される専用のサブグループを作成します。
• NeurIPSは現在、著者に対し、「倫理的側面や将来の社会的影響など、研究が持つ可能性のあるより広範な影響」の分析を提出するよう求めている。
• FacebookやGoogleなどの企業のNeurIPSにおける影響力が高まっていることを考えると、「著者は資金源と競合する利益を明確に開示する必要がある」。
• NeurIPS はデータとモデルの共有を「強く推奨」していますが、必須要件はありません。
• この点では、機械学習の分野は生命科学に遅れをとっています。たとえば、Nature 誌に論文を掲載するための条件の 1 つは、著者が「資料、データ、コード、および関連プロトコルを適時に読者に提供すること」です。

ファーウェイのスマートフォン市場での優位性が高まり、機械学習に多額の投資を行っている

アップルとサムスン以外の企業が市場をリードしたのは9年ぶりのことだったが、2020年9月中旬までにファーウェイは米国の制裁によりチップ供給に困難に直面していた。

米国の半導体製造設備を使用する外国企業は、特定の半導体をファーウェイに供給するために米国政府の許可を得る必要がある。ファーウェイのコンシューマー事業最高経営責任者（CEO）リチャード・ユー氏は、2020年中国情報技術百人サミットで「当社の携帯電話事業は現在、厳しい状況にある。チップの供給が難しく、チップが不足している」と述べた。

HuaweiのKirin AIチップはTSMCによって製造されています。米国の制裁政策の影響を受け、TSMCが最後に受注したのは2020年5月15日でした。現在、ファーウェイはチップ製造においてSemiconductor Manufacturing International Corporation（SMIC）からの支援を求めようとしている。

しかし、研究開発費と半導体製造の面では、TSMC が依然として業界を支配しています。 TSMC の研究開発費は SMIC の収益に匹敵します。TSMC は現在、商用 5nm 製造プロセス (N5) を持つ唯一のメーカーであり、現在は 7nm よりも電力効率が 2 倍、パフォーマンスが 33% 高い 3nm 製造プロセスに取り組んでいます。 SMICはつい最近、2020年の設備投資を67億ドル（当初の目標31億ドルを上回る）に増やすとも発表した。

将来の見通し: 8つのトレンド

最後の部分では、ケンブリッジの 2020 AI パノラマ レポートが、今後 12 か月間の 8 つのトレンド予測を示しています。

1. より大きな言語モデルを構築するための競争は継続し、最初の 10 兆パラメータ モデルの誕生を目撃することになるでしょう。

2. 注意ベースのニューラル ネットワークは、新しい SOTA を実現するために、NLP 分野から CV 分野に移行します。

3. 親会社が戦略を調整する中、大企業の AI ラボは閉鎖されようとしています。

4. 米国国防総省の活動と米軍AIスタートアップへの資金提供に応えて、中国とヨーロッパの防衛AI企業の多くが今後12か月で1億ドル以上の資金を調達するだろう。

5. 大手 AI 創薬スタートアップ企業 (Recursion、Exscientia など) が株式を公開するか、10 億ドル以上で買収される。

6. DeepMind は構造生物学と新薬発見において大きな進歩を遂げるでしょう。

7. Facebook は 3D コンピューター ビジョン テクノロジーにより AR と VR で大きな進歩を遂げます。

8. NVIDIA は最終的に Arm の買収を完了しない。