2018 年後半のディープラーニングプロジェクトをお見逃しなく!

[[252582]]

ビッグデータダイジェスト制作

翻訳者：fuma、Ni Ni、Jiang Baoshang

ディープラーニングは現在非常に注目されている分野であり、その急速な成長を追跡するのは困難です。

今年初め、私、ロス・テイラーは、ディープラーニングの分野における進歩を記録するための第一歩として、Papers With Code を作成しました。このサイトは、ディープラーニングの研究論文とその実装コードを結び付けるコミュニティです。

コード付き論文: www.paperswithcode.com

このウェブサイトは、著者にディープラーニングの分野についての包括的な理解も提供します。これを踏まえて、この記事を通じて、AI の研究動向、コミュニティが採用しているフレームワーク、そして支持を集めているテクノロジーが何であるかがわかります。

*** リリース: BERT、vid2vid、graph_nets

Google AI の BERT 論文は 10 月にディープラーニングコミュニティの注目を集めました。本稿では、スタンフォード質問応答 (SQUAD) データセットを含む 11 の NLP タスクで最先端のパフォーマンスを実現するディープ双方向エンコーダーモデルを提案します。 Google AI は論文のコードをオープンソース化しました。これはディープラーニングライブラリカテゴリで最も多くの「スター」を獲得したオープンソースコードです。

論文をダウンロード: https://arxiv.org/abs/1810.04805
論文コード: https://github.com/google-research/bert

NVIDIA のビデオ間合成に関する論文は、ここ数年でディープラーニングの最も人気のある分野の 1 つである生成モデリングにおける、またしても驚くべき成果です。時間的不整合の問題を修正し、パフォーマンスを向上させるために、フォアグラウンドおよびバックグラウンドの事前確率などの他の多くの設計機能とともに、新しいシーケンシャルジェネレーターアーキテクチャを活用します。 NVIDIA はコードをオープンソース化し、人気度で第 2 位にランクされました。

論文ダウンロードアドレス: https://arxiv.org/abs/1808.06601/
コードアドレス: https://github.com/NVIDIA/vid2vid/

Google DeepMindのグラフネットワークに関する論文は、今年半ばに大きな注目を集めました。グラフネットワークは、ディープラーニングが実験し始めている新しいタイプの構造化データです (ほとんどのディープラーニングアプリケーションはベクトルとシーケンスに基づいています)。このオープンソースライブラリは人気度で第 3 位です。

論文ダウンロードアドレス: https://arxiv.org/abs/1806.01261v3
コード: https://github.com/deepmind/graph_nets/

*** コミュニティ: DeOldify、BERT、Fast R-CNN

[[252583]]

1. 古いものを取り除く

DeOldify は、2 つの時間スケールで更新ルールを適用する PG-GAN にヒントを得たアーキテクチャである SA-GAN を使用します。

DeOldify プロジェクトは魅力的です。著者の Jason Antic は、自己注意型 GAN、漸進的に成長する GAN、2 つの時間スケールの更新ルールなど、生成モデリングの分野で多くの論文を再現しています。執筆時点で、このプロジェクトのコードは GitHub で 4,000 を超えるスターを獲得しています。

古いファイルを削除する: https://github.com/jantic/DeOldify

2. バート

PyTorch フレームワークをベースに実装された BERT も非常に人気があります。ディープラーニングコミュニティで登場し続けるコードは、多くの場合、Tensorflow または PyTorch に基づいています。両方のフレームワークを同時に使用したいという需要が高まっており、ディープラーニングコミュニティ全体で使用しやすくなります。これは作家キム・ジュンソンの作品に明確に示されています。現在、このプロジェクトのコードは GitHub で 1,500 を超えるスターを獲得しています。

BERT: https://github.com/codertimo/bert-pytorch

3.マスクR-CNN

***、Waleed Abdulla の Keras/TensorFlow に基づく Mask R-CNN 実装は、GitHub で 3 番目にスターが多いコードです。アーキテクチャ的には、実装では Feature Pyramid Network と ResNet101 ベースネットワークが使用され、ライブラリは 3D 建物の再構築、自動運転車のオブジェクト検出、マップ内の建物タイプの検出など、多くのアプリケーションに使用できます。このライブラリは GitHub で 8,000 を超えるスターを獲得しています。

論文ダウンロードアドレス: https://arxiv.org/abs/1703.06870
コード: https://github.com/matterport/Mask_RCNN

最も人気のあるアプリケーション: NLP と GAN

実装されている人気アプリケーションのトップ 50 の中で、生成モデルと自然言語処理 (NLP) は最も人気のある 2 つの分野です。生成モデルの場合、GitHub での一般的な実装には、vid2vid、DeOldify、CycleGAN、faceswaps などがあります。 NLP では、人気のある GitHub リポジトリとして、BERT、HanLP、jieba、AllenNLP、fastText などがあります。

7つの新しい論文のうち1つにコードがある

研究にコードが含まれていなければ、コミュニティではあまり注目されません。ルールはそれほど単純です。以下は、著者が自身のプラットフォーム上で紙のコードを再現した分析です。

分析のベースは、過去 5 年間の 60,000 件を超える機械学習論文です。60,000 件の論文のうち、約 12% にコード実装があります。過去 6 か月間に、新たに公開された論文の約 15% (つまり 7 分の 1) で実装コードが公開されています。

20分ごとに新しい機械学習論文が発表される

7 月以降、機械学習論文の成長率は月あたり約 3.5% で、年間では約 50% になります。これは、1 か月あたり約 2,200 件の機械学習論文に相当し、今後 1 年間で合計約 30,000 件の新しい機械学習論文が発表されると予想されます。

過去 3 年間、著者の Web サイトに掲載される機械学習の論文の数はムーアの法則よりも速いペースで増加しているようです。これは、これが将来のコンピューティングテクノロジーの価値の源泉になると人々が信じていることを感じさせます。

フレームワークの独占: TensorFlow と PyTorch

PyTorch もそれほど遅れてはいませんが、Web サイト上の実装のほとんどは TensorFlow に基づいているようです。他のフレームワーク (MXNet、Torch、Caffe2) は、エコシステム内での存在感がはるかに小さくなります。両方のフレームワークで起こっている変化を考慮すると、TensorFlow は即時実行と Keras に触発された新しい API に向かっており、PyTorch はモデルの製品化を容易にしたいと考えています。