年末コレクション！アンドリュー・ンが2020年に最も注目されたAIイベントをレビュー

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

昨日、クリスマスの日に、アンドリュー・ン氏は、COVID-19パンデミックへのAIの対応、データセットにおける人種的偏見、誤った情報に対抗するアルゴリズム、タンパク質の3次元構造のAlphaFoldによる予測、1,750億のパラメータを持つGPT-3の出現など、2020年のAIの主要な進展について振り返りました。

Andrew Ng からのメッセージ:

親愛なる友人の皆様、私は過去 10 年間、毎年 12 月 22 日の母の誕生日を祝うためにシンガポールか香港へ飛んできました。今年はZoomを使ってオンラインで誕生日を祝いました。 距離は離れていたものの、アメリカ、シンガポール、香港、ニュージーランドから家族がオンラインで集まり、音程がいまいちだったが「ハッピーバースデートゥーユー」を歌えたことは嬉しかった。

この Zoom 通話で皆さんと一緒に、楽しい休日と幸せな新年をお祈りしたいです!

[[360132]]

休暇中は、大切な人のことを考え、彼らが私や他の人のためにしてくれたことを振り返り、静かに感謝の気持ちを表すことがよくあります。 彼らとのつながりがさらに深まったように感じました。

社会的に距離を置く休暇中に、次のことを考えてみるのは価値があると思います。あなたの人生で最も重要な人は誰ですか、そして、彼らに感謝する理由は何でしょう?

直接会ってもオンラインでも、このホリデーシーズンに最も大切な人々との関係を育むための自分なりの方法を見つけられることを願っています。

学び続けましょう！

2020年レビュー

過去はすべて序章に過ぎない

過去1年間、感染力の強いコロナウイルスの突然の発生は人々の日常生活を混乱させ、それが引き起こした社会的亀裂は私たちの共通の利益をも脅かしました。

この1年間、多数の機械学習エンジニアが関わり、新型コロナウイルス感染症の診断や治療のためのツールの設計、ヘイトスピーチや虚偽情報を識別するモデルの構築、AIコミュニティ全体における偏見の存在の指摘や啓発などを行った。

しかし、明るい面もありました。1 回のクリックでパジャマからスーツに変身できる在宅勤務ツール、GPT-3 言語モデル、AI 支援のアートとパフォーマンスに関する魅力的な実験が見られた 1 年でした。

次に、この一年間の私たちの苦難と栄光について話し合いましょう。

COVID-19への対応

AIは科学者によるコロナウイルスワクチンの探索を加速させており、世界中の機械学習研究者はコロナウイルスと戦うためにAI技術を利用しようと急いでいる。例えば：

1. パリ市とカンヌ市は、コンピューター ビジョンを使用して、バス停、バス、市場における規制の遵守状況を評価しています。

2. トーゴ政府は、衛星画像で貧困地域を特定し、最も必要としている人々に救援資金を正確に分配できるよう AI モデルを訓練しました。

3. チャットボットは、ロックダウン中の人々にチャットや交流ができる人工の仮想の友達を提供します。

4. ビデオ会議会社は、オンラインオフィスワーク用の AI モデルを提供して、背景のノイズを除去し、パジャマを仮想ビジネススーツに変える。

5. 中国の研究機関は協力し、CTスキャンで90％以上の精度で新型コロナウイルスを検出できるAIモデルを開発した。 このモデルは 7 か国で導入され、コードのダウンロード数は 300 万回を超えています。

6. アメリカのバイオテクノロジー企業であるモデルナは、12月に米国食品医薬品局によってワクチンの承認を受けましたが、機械学習を使用してmRNA配列を最適化し、テスト可能な分子に変換しています。

さらに、AIはCOVID-19の治療においても重要な役割を果たします。たとえば、ある非営利団体は半教師ありディープラーニング プラットフォームを使用して 14,000 種類の抗ウイルス薬候補をスクリーニングし、動物実験で有望な 4 つの化合物を検証しました。

私の立場：AIは万能薬ではありませんが、この新しい非常に感染力の高いコロナウイルスの出現は、感染症と戦うためにAIを使用する人類の能力を試す強力な試金石となりました。

ディープフェイクは「すべて」を偽造する

生成的敵対ネットワークが文化、社会、科学に浸透するにつれ、底なしの合成画像が静かにウェブに溢れかえっています。

これまで見てきたように、ディープフェイクは主流のエンターテインメント、コマーシャル、政治イベント、さらにはドキュメンタリーにも登場し、関係者の実際の顔を置き換えてプライバシーを保護するために使用されています。

[[360136]]

当初、オンライン フロントエンドでの画像ジェネレーターの普及は、2019 年に「この人物は存在しません」というリアルな合成肖像画がインターネット上で話題になるまで、人々の注目を集めませんでした。ユーモアのセンスのあるプログラマーは、生成的敵対的ネットワーク (GAN) を使用して、次のように現実世界の詳細を模倣することを思いつきました。

1. Google Earth は、「This City Does Not Exist」の大小の集落の鳥瞰図を作成するようにトレーニングできます。

2. 「This Horse Does Not Exist」は、さまざまな姿勢、品種、形の馬を生成できます。

3. 「このピザは存在しません」本物のピザと比べると、チーズやソースの光沢のある食感が少し欠けているかもしれません。

4. 生成された存在しない中国の風景画は多くの芸術愛好家を欺いた。

論文リンク: https://arxiv.org/pdf/2011.05552.pdf

詳細情報: GAN 特別号では、ディープフェイク検出、Andrew Ng による GAN 発明者の Ian Goodfellow 氏への独占インタビューなどを取り上げています。

https://blog.deeplearning.ai/blog/the-batch-gan-special-issue-ian-goodfellow-for-real-detecting-fakes-including-minorities-synthesizing-training-data-applying-virtual-make-up

データセットは人種的に偏っている

ディープラーニングの基本データセットが広く注目を集め始めています。

データ セットのコンパイル、ラベル付け、および使用方法の違いにより、モデルのトレーニング中に社会の疎外されたグループに対する偏見が生じる可能性があります。研究者の精査により、AI の改革が促進されるとともに、AI に内在する社会的偏見に対する認識も深まりました。今年の典型的な事例は次のとおりです。

1. 有名なコンピューター ビジョン データセット ImageNet が棚から撤去されました。 ImageNet の作成者 Fei-Fei Li 氏とその同僚はデータセットを再編成し、WordNet 語彙データベースから人種差別的、性差別的、その他の侮辱的なラベルを削除しました。

2. ある研究では、ラベル付けされていない ImageNet データを使用してトレーニングした場合でも、データの多様性が不十分なためにモデルにバイアスが生じる可能性があることがわかりました。

3. マサチューセッツ工科大学のコンピューターサイエンスおよび人工知能研究所は、外部の研究者がデータベースに性的なほのめかしや人種差別などの否定的なラベルが満載であることを発見したため、Tiny Images データセットを撤回しました。

4. StyleGAN のトレーニングに使用されるデータセット FlickrFaces-HQ (FFHQ) にも十分な多様性が欠けています。 StyleGAN モデルでトレーニングされた PULSE アルゴリズムは、黒人の米国大統領バラク・オバマ氏の肖像画を白人の肖像画に変えました。

（PULSEは低解像度の写真を高解像度の画像に強化します）

PULSE事件後、Facebookの主任科学者ヤン・ルカン氏と当時GoogleのAI倫理責任者だったティムニット・ゲブル氏の間で論争が勃発した。論争の焦点は、機械学習における社会的偏見はAIデータセットから来るのか、それともAIシステムから来るのか、という点だった。

[[360140]]

LeCun 氏の立場は、「偏ったデータセット」でトレーニングする前はモデルに偏りがない、つまりモデル自体に偏りがなく、偏ったデータセットを変更できるというものです。ゲブル氏は次のように述べた。「私たちが書簡で述べたように、この偏見は社会的な違いという文脈で生じるものであり、AIシステムにおける偏見を排除するためには、分野全体の違いに対処しなければなりません。」その後、偏見に関するさらなる意見の相違により、ゲブル氏とグーグルは袂を分かった。

私の立場: タスクの開始時にデータセットの偏りを確実に除去するという重要な作業は、まだ始まったばかりです。

詳細情報: テクノロジーにおける偏見の軽減に関する過去 1 年間の調査。

https://blog.deeplearning.ai/blog/the-batch-ais-progress-problem-recognizing-masked-faces-mapping-underwater-ecosystems-augmenting-feature

偽情報アルゴリズムとの戦い

世界的なCOVID-19パンデミックと物議を醸した米国大統領選挙により、偽情報の嵐が巻き起こり、大手AIテクノロジー企業に影響を及ぼしている。

煽動的な嘘をやめるよう求める世論の圧力が高まる中、フェイスブック、グーグルのユーチューブ部門、ツイッターは、レコメンデーションエンジンの更新に急いで取り組んでいる。ドキュメンタリー番組ネットフリックスが彼らを厳しく批判し、米国議会議員が彼らに対する調査を開始し、世論調査では彼らが大半の米国民の信頼を失っていることが示されたと理解されている。

これらの企業は、次のようなさまざまなアルゴリズムと戦略を通じて、虚偽情報の問題に対処しようとしています。

1. Facebook は、AI によって生成された偽のアバターを含む数百のユーザー プロフィールを発見した後、誤解を招くと判断された操作されたメディアを取り締まり、ディープフェイク動画を全面的に禁止しました。同社は、ヘイトスピーチ、偏見を助長するミーム、そして新型コロナウイルスに関する誤情報を検出するためのディープラーニングツールの開発を続けている。

2. YouTube は、ヘイトスピーチ、陰謀論、医学的誤報、その他の悪意のある動画などの違法コンテンツを識別するための分類システムを開発しました。

3. Facebook と Twitter は、国家のプロパガンダを妨害していると考えられるアカウントを閉鎖しました。

4. 3社とも、米国選挙に関する誤解を招く情報を含むコンテンツに免責事項を追加しました。ツイッター社はこれまでで最も厳しいポリシーを採用し、ドナルド・トランプ大統領の虚偽のツイートを直接報告した。

しかし、彼らは明らかに収益に影響するような改革を行っておらず、一部の政策が緩和されたり逆効果をもたらしたことから、改革は長く続かないかもしれない。例えば：

• ウォール・ストリート・ジャーナルは6月、フェイスブックの幹部の一部が規制ツールの使用を中止したと報じた。同社はその後、選挙中に使用していた修正アルゴリズムを元に戻したが、これは特定のニュースソースの重要性を高めたためである。 Facebookの中途半端なアプローチにより、すでに何人かの従業員が辞職している。

• YouTube が使用するアルゴリズムにより、虚偽の情報コンテンツを作成する人のトラフィックが削減されました。しかし、フォーブス・ニュースなど、同じ疑わしい情報を頻繁に広める特定の大手組織へのアクセスも増加した。

私の立場：この猫とネズミのゲームで噂を流す人や虚偽のコンテンツを広める人に勝つための明確な方法は今のところありませんが、猫はゲームで先手を打たなければなりません。そうしないと、国民の信頼を失ったり、規制当局の調査を受けたりすることになるでしょう。

AlphaFoldはタンパク質の3D構造を予測する

医療における AI に対する制度的障壁の低減により、医療機器や治療におけるディープラーニングの広範な使用の基盤が築かれました。

つい最近、DeepMind の AlphaFold モデルはわずか数時間でタンパク質の 3 次元構造を決定し、新薬の開発と生物学への洞察への取り組みが急速に人々の注目を集めました。医療機関は、こうした技術を主流の医療現場に取り入れる措置を講じているとみられる。

次のような制度的変化により、医療 AI の認知度と受容性が高まりました。

1. 米国最大の健康保険会社は、機械学習デバイスを使用する特定の医師に補償金を支払うことに同意した。

2. 米国食品医薬品局（FDA）は、心臓超音波システムなど、AI ベースの新しい治療法やデバイスをいくつか承認しました。

3. 国際的な医療専門家の学際的なグループが、AI ベースの臨床試験がベストプラクティスに従っていることを保証し、外部の審査員が試験結果を検証して報告できるように設計された 2 つのプロトコル、Spirit と Consort を導入しました。

私の立場：医療における AI の応用には、医師や病院がワークフローを再編成する必要があり、それが AI 応用の進歩をある程度遅らせています。 FDA とメディケアの規制がより明確になれば、臨床医は規制に対応するために変更を加える意欲がさらに高まります。

詳細情報: Deeplearning AI Medical 特別号には、診断、予防、治療におけるディープラーニングの応用や、AI 医療のゴッドファーザーである Eric Topol 氏との独占インタビューが掲載されています。

https://blog.deeplearning.ai/blog/the-batch-ai-for-medicine-special-eric-topols-planetary-health-system-discovering-drugs-diagnosing-heart-disease-predicting-infections-alexa-for-doctors より

GPT-3は新しい書き方を解き放つ

自然言語処理のためのニューラル ネットワークは、より大規模かつ強力になり、より興味深いものになっています。たとえば、GPT-3 は文章を書いたり、絵を描いたり、コードを入力したり、ゲームをしたりするのに使用でき、ネットユーザーたちは 50 を超える新しい用途を考案しています。

GPT-3 は、OpenAI の 1,750 億パラメータのテキスト ジェネレーターであり、自然言語処理の継続的な進歩を示しています。同時に、これは機械学習の分野における幅広い傾向を反映しています。モデルパラメータは指数関数的に増加しており、教師なし学習が主流になり、ますます一般的になりつつあります。

1. GPT-3 の書き込み能力は、その前身である GPT-2 よりもはるかに強力であり、ブログ投稿や Reddit のコメントを書く際に使用したときに、多くの人間の読者を騙すことに成功しました。さらに、哲学的な記事を書いたり、歴史上の人物と会話をしたりするなど、さまざまな方法で GPT-3 の創造性を発揮する人がたくさんいます。

図1: AIが生成した哲学記事

2. 言語モデルは、Apple の自動修正機能が異なる言語を区別するのを支援したり、Amazon の音声アシスタント Alexa が会話の内容に応じて切り替えられるようにしたり、ロボット弁護士を更新してアメリカ国民に違法に電話をかけるテレマーケティング業者に対して訴訟を起こすなど、ビジネス ツールの開発を促進します。

3. OpenAI の GPT-2 は Pixel データをトレーニングして iGPT を生成します。iGPT は部分的にぼやけたコンテンツを埋めることで奇妙な画像を生成します。

私の立場: 言語モデルは大きいほど優れているのは明らかですが、それだけではありません。 iGPT は、画像だけでなく単語でもトレーニングされたモデルを予見しており、少なくとも OpenAI の研究では、2020 年の巨大な言語モデルよりも賢く、奇妙なものになる可能性があります。

詳細情報: NLP 特別号には、偏見を排除する方法に関する情報と、NLP の先駆者である Noam Shazeer 氏との独占インタビューが掲載されています。

https://blog.deeplearning.ai/blog/the-batch-nlp-special-issue-powerful-techniques-from-amazon-apple-facebook-google-microsoft-salesforce