2020年の人工知能における最大のイノベーション

2020 年は例年とは異なる年となり、コミュニティ全体が数多くの課題に直面しました。しかし、2020 年のこれらの課題にもかかわらず、AI は急速に進歩し続けています。 OpenAI がリリースした GPT-3 モデルはおそらく今年最もよく知られているブレークスルーですが、今年は他にも多くの注目すべき研究が達成されました。

[[373255]]

言語モデルはほとんど学習されない（GPT-3）：

GPT-3 は、いくつかの最先端モデルを破り、多くの NLP ベンチマークでトップの座を獲得し、すべての期待を上回りました。 1,750 億の大規模なパラメータ モデルは、大規模なコーパスでトレーニングされ、多くの問題に対するタスクに依存しないソリューションを生成します。ワンショット学習、ワンショット学習、ゼロショット学習による評価では、GPT-3 が有望な結果を達成し、多くの場合、微調整されたモデルよりも優れていることが示されています。 GPT-3 のアーキテクチャは GPT-2 とほぼ同じですが、トランスフォーマー層に交互に密なアテンション パターンとローカル バンド スパース アテンション パターンが追加されています。

EfficientDet: スケーラブルで効率的なオブジェクト検出

Google Research チームは今年、従来のオブジェクト検出器よりも 3 ～ 8 倍高速な EfficientDet モデルを発表しました。これは、モデル内のパラメータを削減しながらも実現できます。このモデルでは、重み付けされた双方向の特徴ピラミッド ネットワークと新しい複合スケーリング メソッドが導入されています。このモデルに関する研究論文は、最近発表された論文の中でも最も評価の高い論文の一つとされており、このモデルに対する関心は高いです。この記事のコード実装。

EfficientDet は、ロボット工学や自動運転車などの実際のアプリケーションで使用される可能性があり、検出器の精度と効率は高いです。

AdaBelief オプティマイザー: 観測された勾配の確信に基づいてステップ サイズを調整します

[[373256]]

Adam と確率的勾配降下法は、ディープラーニング コミュニティで最も一般的に使用されている最適化手法ですが、この 2 つから選択するのは難しいことがよくあります。 AdaBelief オプティマイザーは、両方の長所を 1 つのオプティマイザーに組み合わせます。Adam オプティマイザーの収束速度と SGD の一般化機能の両方を兼ね備えています。 AdaBelief の直感は、現在の方向の勾配にどれだけ依存できるかに基づいてステップ サイズを調整することです。予想される傾斜が予測された傾斜と大幅に異なる場合は、傾斜に対する信頼度を下げ、より小さなステップを踏みます。観測された傾きが予測と一致する場合、信頼性は高くなり、より大きなステップが実行されます。

画像値 16×16 ワード: 大規模画像認識のためのトランスフォーマー

[[373257]]

NLP Transformer はこの分野における革新的なブレークスルーであり、最先端の NLP モデルのほとんどは Transformer から派生した手法を採用しています。著者らは、画像分類タスクのために、元のトランスフォーマーと同様のモデルを本論文の画像に適用します。彼らは、大規模なデータセットで事前トレーニングされ、NLP トランスフォーマーなどの下流のタスクに合わせて微調整された、いわゆる Vision Transformers を使用しました。このモデルのトレーニングに必要な計算量が大幅に削減され、このモデルはベースラインの ResNet ベースのアーキテクチャに匹敵するか、それを上回るパフォーマンスを発揮します。この論文はAIの世界では非常に人気があります。

人間のようなオープンドメインチャットボットを目指して

Google Research は、ほぼ何でもできる Meena というチャットボットを発表しました。これは、400 億語のコーパスでトレーニングされた、会話を生成するための 26 億のパラメータ モデルです。このモデルは Evolved Transformers 上に構築され、マルチターンの会話でトレーニングされます。入力シーケンスにはコンテキストのすべてのターンが含まれ、出力シーケンスは応答です。

感度と感度平均 (SSA) と呼ばれる新しい人間評価指標も導入されており、チャットボットの応答が具体的かつ有意義であるかどうかを測定しします。

AI 2020 で行われた新しいモデルと研究のほんの一部を取り上げました。また、2020 年には既存の AI テクノロジーの応用、特に主流の世界におけるディープラーニングの採用が飛躍的に増加しました。

オリジナルリンク:

https://medium.com/dataseries/biggest-innovations-in-artificial-intelligence-in-2020-e2cc6b805464