AutoML が大幅に高速化、Google が最適な ML モデルを自動検索する新しいプラットフォームをオープン ソース化

研究者が最適な機械学習モデルを自動的かつ効率的に開発できるようにするために、Google は特定の分野を対象としない AutoML プラットフォームをオープンソース化しました。 TensorFlow をベースに構築されたこのプラットフォームは、プログラミング時間とコンピューティング リソースを最小限に抑えながら、特定のデータセットと問題に最適なアーキテクチャを見つけるのに十分な柔軟性を備えています。

ニューラル ネットワークの成功は、多くの場合、さまざまなタスクにおける一般化パフォーマンスに依存します。しかし、そのようなニューラル ネットワークを設計するのは困難です。なぜなら、研究コミュニティはニューラル ネットワークがどのように一般化されるか、つまり、特定の問題にはどのようなニューラル ネットワークが適しているかについてまだ十分に理解していないからです。深さはどれくらいですか？どのレイヤーを使用すればよいですか? LSTM レイヤーで十分ですか、それとも Transformer の方が優れていますか?それともその2つを組み合わせたのでしょうか?アンサンブルまたは蒸留によってモデルのパフォーマンスは向上しますか?

近年登場した AutoML アルゴリズムは、研究者が手動で実験することなく適切なニューラル ネットワークを自動的に見つけるのに役立ちます。ニューラル アーキテクチャ検索 (NAS) などの技術では、強化学習、進化アルゴリズム、組み合わせ検索などのアルゴリズムを使用して、指定された検索空間に基づいてニューラル ネットワークを構築します。適切な設定であれば、これらの技術により、手動で設計されたものよりも優れたニューラル ネットワーク アーキテクチャを見つけることができます。ただし、これらのアルゴリズムは計算量が多く、収束するまでに何千ものモデルをトレーニングする必要があります。さらに、彼らが探索する検索空間はドメイン固有であり、大量の人間の事前知識が含まれており、ドメイン間の転送をうまく実現できません。たとえば、画像分類の分野では、従来の NAS 技術は 2 つの適切な構成要素 (畳み込みとダウンサンプリング) を探し、その後、規則に従って完全なネットワークを作成します。

これらの欠点を克服し、AutoML ソリューションをより幅広い研究コミュニティに拡大するために、Google は最近、最適な ML モデルを自動的かつ効率的に構築するためのプラットフォームである Model Search をオープンソース化しました。このプラットフォームはドメイン固有ではないため、プログラミング時間とコンピューティング リソースを最小限に抑えながら、特定のデータセットと問題に最適なアーキテクチャを見つけるのに十分な柔軟性があります。このプラットフォームは TensorFlow フレームワーク上に構築されており、単一のマシンでも分散マシンのセットアップでも実行できます。

GitHub アドレス: https://github.com/google/model_search

モデル検索プラットフォームの概要

モデル検索システムは、複数のトレーナー、検索アルゴリズム、転移学習アルゴリズム、および複数の評価モデルを格納するデータベースで構成されています。このシステムは、複数の機械学習モデル（異なるアーキテクチャとトレーニング方法を持つ）のトレーニングと評価の実験を、適応的かつ非同期的に実行できます。各トレーナーは個別にトレーニングを実行しますが、実験から得られた知識はすべてのトレーナーで共有されます。

各ラウンドの開始時に、検索アルゴリズムは完了したすべての試行を検索し、ビーム検索を使用して次に試行する試行を決定します。次に、検索アルゴリズムは、これまでに見つかった最良のアーキテクチャの 1 つに対して突然変異を呼び出し、結果のモデルをトレーナーに配布します。

分散検索および統合プロセスを示すモデル検索図。

システムは、事前定義されたブロックのセットを使用してニューラル ネットワーク モデルを構築します。各ブロックは、LSTM、ResNet、Transformer レイヤーなどの既知のマイクロアーキテクチャを表します。これらの既存のアーキテクチャ コンポーネントを使用することで、Model Search はクロスドメイン NAS 研究における既存のベスト プラクティスを活用できます。このアプローチは、より基本的で詳細なコンポーネントではなく構造を探索し、検索空間のサイズを縮小するため、より効率的です。

ResNet ブロックなど、さまざまなニューラル ネットワーク マイクロアーキテクチャ ブロックが適切に機能します。

さらに、モデル検索フレームワークは TensorFlow 上に構築されているため、各ブロックはテンソルを入力として受け取る任意の関数を実装できます。たとえば、一連のマイクロアーキテクチャ上に構築された新しい検索スペースを提案する場合、モデル検索フレームワークは新しく定義されたブロックを吸収し、検索プロセスに組み込むことで、提供されたコンポーネントに基づいてアルゴリズムが最適なニューラル ネットワークを構築できるようにします。ここでの構成要素は、特定の問題を解決できる完全に定義されたニューラル ネットワークにすることもできます。この文脈では、モデル検索は強力な統合マシンとして機能します。

モデル検索で実装されている検索アルゴリズムは、適応型、貪欲型、増分型であるため、強化学習アルゴリズムよりも速く収束します。ただし、これらのアルゴリズムは、最初に別の検索を実行して適切な候補を見つけ (探索ステップ)、次に発見された候補を統合して精度を向上させる (活用ステップ) ことで、強化学習アルゴリズムの「探索と活用」機能もシミュレートします。

アーキテクチャまたはトレーニング方法にランダムな変更を加えた後 (アーキテクチャの深さを増やすなど)、メインの検索アルゴリズムは適応的に変更され、k 個の最良の実験 (k はユーザーが指定) の 1 つを実行します。

複数の実験にわたるネットワークの進化を示す動的な図。

効率性と精度をさらに向上させるために、異なる内部実験間で転移学習を使用することもできます。モデル検索は、知識蒸留と重み共有という2 つの方法で転移学習を実装します。知識蒸留は、効率的なモデルの予測に一致する損失項を追加することで候補の精度を向上させます。重み共有は、以前にトレーニングされたモデルから適切な重みをコピーし、残りをランダムに初期化することで、以前にトレーニングされた候補（突然変異後）からいくつかのパラメータをブートストラップします。このアプローチは、トレーニング プロセスを高速化するだけでなく、より多くの優れたアーキテクチャを発見することも可能になります。

実験結果

モデル検索は、最小限の反復回数で生産モデルを改善します。最近の論文「大規模なニューラル アーキテクチャ検索によるキーワード スポッティングと言語識別の改善」で、Google の研究者は、キーワード検出と言語認識モデルを発見できる音声領域でのモデル検索のパフォーマンスを実証しました。 Model Search は、200 回未満の反復で、約 130,000 個少ないトレーニング パラメータ (184,000 パラメータ対 315,000 パラメータ) で、専門家が設計した社内の SOTA 実稼働モデルよりも優れたパフォーマンスを発揮しました。

モデル検索は、指定された回数の反復後のモデルの精度を、以前のキーワード検出生成モデルのパフォーマンスと比較します。

Google の研究者は、モデル検索を使用して、CIFAR-10 画像データセットに適した画像分類アーキテクチャも見つけました。既知の畳み込みブロックのセット (畳み込み、resnet モジュール、NAS-A ユニット、完全接続層などを含む) を使用して、モデル検索は 209 回の試行 (つまり、209 個のモデルのみが探索された) 後に 91.83 のベースライン精度を迅速に達成することができました。以前のトップアーキテクチャでは、同じ精度を達成するにははるかに多くの試行が必要でした。たとえば、NASNet アルゴリズムでは 5807 回の試行が必要で、PNAS では 1160 回の試行が必要でした。

現在、Model Search のコードはオープンソース化されており、研究者はこの柔軟でドメインに依存しないフレームワークを使用して ML モデルを発見できます。