2020年のディープラーニング開発のレビュー

近年の傾向に倣い、ディープラーニングは 2020 年も最も急速に成長している分野の 1 つであり続け、仕事の未来へとまっすぐ向かっていくでしょう。その発展は多面的かつ多面的です。以下は、今年の開発のハイライトの一部の概要と一覧です。

[[374257]]

2020年1月

OpenAIがPyTorchを標準のディープラーニングフレームワークとして発表

AI研究組織OpenAIは、新たな標準ディープラーニングフレームワークとしてPyTorchを発表しました。 PyTorch は GPU 上の大規模な研究の生産性を向上させます。 OpenAI は PyTorch を活用して、生成モデリングの反復時間を数週間から数日に短縮しました。

2020年3月

（１）オープンソースディープラーニングAIフレームワークMegvii

中国の新興企業Megvii Technologyは、自社のディープラーニングフレームワークをオープンソース化すると発表した。 MegEngine は、Megvii 独自の AI プラットフォーム Brain++ の一部です。これにより、コンピューター ビジョンのトレーニングを広範囲に行うことが可能になり、世界中の開発者が商業および産業用の AI ソリューションを構築できるようになります。

（2）Keras 2.4.0がリリースされました

新しいバージョンでは、tf.keras とスタンドアロンの Keras パッケージ間の非互換性と相違点に関する混乱が解消されます。これで、単一の Keras モデル (tf.keras) が使用できるようになりました。

（３）ファーウェイ・テクノロジーズ株式会社が「MindSpore」をオープンソース化

Huawei Technologies は、モバイル、エッジ、クラウド シナリオ向けのディープラーニング トレーニング フレームワークである MindSpore をオープンソース化しました。このフレームワークは軽量であり、TensorFlow や PyTorch に強力な競争を仕掛けています。

デバイス間で拡張可能で、自然言語処理 (NLP) などの機能で使用するコードが 20% 削減されます。また、並列トレーニングもサポートしており、異なるハードウェアでのトレーニング時間を節約し、機密データの維持と保存も行えます。

MindSpore 自体はデータを処理せず、モデルの堅牢性を維持するために前処理されたモデルと勾配情報のみを取り込みま す。

2020年4月

IBMのCogMolがCOVID-19の治療法開発を加速

IBM のディープラーニング フレームワーク CogMol は、研究者が COVID-19 などの感染症の治療を加速するのに役立つでしょう。新しいフレームワークは、「新しいペプチド、タンパク質、薬物候補、材料を作成するための生成 AI モデル」における現在の課題に対処します。

2020年6月

（１）ABBYYがディープラーニングとアルゴリズムのフレームワークNeoMLをオープンソース化

ABBYY は NeoML のリリースを発表しました。これは、ML モデルの構築、トレーニング、デプロイのためのオープンソース ライブラリです。 NeoML はクロスプラットフォーム フレームワークです。クラウド、デスクトップ、モバイル デバイス上で実行されるアプリケーション向けに最適化されており、ディープラーニングと機械学習のアルゴリズムをサポートしています。

ABBYY のエンジニアは、コンピューター ビジョンと NLP タスクにこれを使用します。これらのタスクには、画像の前処理、分類、OCR、ドキュメント レイアウト分析、構造化または非構造化ドキュメントからのデータ抽出が含まれます。

「NeoML は、あらゆるデバイスで実行される事前トレーニング済みの画像処理モデルに 15 ～ 20% のパフォーマンスを提供します。」このライブラリは、マルチフォーマット データ (ビデオ、画像など) を処理および分析するための包括的なツールとして設計されています。

（２）FINDERリリース

ネットワーク科学者たちは何年もの間、重要な問題に取り組んできました。彼らは、ネットワークの機能に最も影響を与える主要なプレーヤーまたは最適なノード セットを特定しようとしてきました。

今年6月、中国の国立国防科学技術大学、カリフォルニア大学ロサンゼルス校（UCLA）、ハーバード大学医学大学院（HMS）の研究者らが、FINDER（Finding key players in Networks through Deep Reinforcement learning）と呼ばれる深層強化学習（DRL）フレームワークを発表しました。少数の合成ネットワークでトレーニングされ、その後、実際のシナリオに適用されます。このフレームワークは、複雑なネットワーク内の主要なアクターを特定できます。これはNature Machine Intelligence誌の論文に掲載されました。

2020年8月

（1）scikit-learnバージョン0.23をリリース

新しいバージョンにはいくつかの新しい主要な機能が含まれており、以前のバージョンのバグが修正されています。主な機能には、一般化線形モデル、勾配ブースティングによるポアソン損失、推定量の豊富な視覚的表現、KMeans のスケーラビリティと安定性の向上、ヒストグラムベースの勾配ブースティング推定量の向上、Lasso および ElasticNet のサンプル重みサポートなどがあります。

2020年9月

Amazon が「Dive into Deep Learning」という本を出版

Amazon チームは、主要なプログラミング フレームワークをこの本に含めました。この本「Dive into Deep Learning」は、数学、テキスト、実行可能なコードを統合した Jupyter ノートブックを使用して作成されました。これは、HTML、PDF、ノートブックのバージョンの更新をトリガーする、完全にオープン ソースのライブ ドキュメントです。

この本はもともと MXNeT 向けに書かれましたが、著者は PyTorch と TensorFlow についても取り上げています。

Amazon のこの本は、ディープラーニングに興味のある学生、開発者、科学者にとって素晴らしいオープンソース リソースです。

2020年10月

（１）ネイチャー・マシン・インテリジェンスは画期的なモデルを発表した

今年10月、ウィーン工科大学（TU Wien）、オーストリアIST、米国マサチューセッツ工科大学（MIT）の国際研究チームが新たな人工知能システムを発表した。線虫のような小さな動物の脳をベースに構築されたこの新しい時代の AI システムでは、わずか数個の人工ニューロンを使用して車両を制御できます。

以前のディープラーニングモデルと比較して、この方式には大きな利点があります。悪名高い「ブラック ボックス」とは程遠く、ノイズの多い入力も処理でき、理解しやすいです。このモデルはNature Machine Intelligenceに掲載されました。

（２）MIScnnリリース

MIScnn は、畳み込みニューラル ネットワークとディープラーニングを使用した医療画像セグメンテーション用のオープン ソース Python フレームワークです。

直感的な API を備えており、わずか数行のコードで医療画像セグメンテーション パイプラインをすばやくセットアップできます。 MIScnn には、データ I/O、前処理、パッチごとの分析、データ拡張、メトリック、最先端のディープラーニング モデルとモデル利用を備えたライブラリ、自動評価などの機能も備わっています。

（3）TensorFlow 2.3がリリースされました

tf.data は入力パイプラインのボトルネックを解決し、リソースの使用率を向上させます。上級ユーザー向けに、トレーニング速度が向上しました。 tf.data を使用すると、ユーザーはさまざまなトレーニング実行にわたって出力を再利用でき、追加の CPU 時間を解放できます。

TF Profiler は、モデルのメモリ使用量を視覚化するメモリ プロファイラーと、モデル内の Python 関数呼び出しをトレースする Python トレーサーを追加します。また、新しい Keras 前処理レイヤー API の実験的なサポートも提供します。

（4）PyTorch 1.7.0がリリースされました

これには、「NumPy 互換の FFT 操作、プロファイリング ツールのサポート、分散データ並列処理 (DDP) とリモート プロシージャ コール (RPC) ベースの分散トレーニングへのメジャー アップデート」を含む、多くの新しい API が含まれています。

11月以降

2020 年も最終段階に突入し、さらに印象的な新たな展開が生まれることを期待しています。

マーク・キューバンはかつてこう言いました。 「AI、ディープラーニング、機械学習、何をするにしても、理解していないなら今すぐ学んでください。そうしないと、3年後には知識が時代遅れになってしまうからです。」

ディープラーニングのさらなる研究を応援します！