Google が破壊的な研究を発表: AI はトレーニングやパラメータの調整なしでスーパー ネットワークを自動的に構築

[[267941]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

機械学習はパラメータ調整に完全に依存しているのでしょうか?この考えは時代遅れです。

Google Brain チームは新たな研究を発表しました。

ニューラル ネットワーク アーキテクチャによって検索されたネットワークは、トレーニングやパラメータの調整を行わずにタスクを直接実行できます。

このようなネットワークは、 WANN (重みに依存しないニューラル ネットワーク) と呼ばれます。

トレーニングや重み調整なしで MNIST 数字分類タスクで 92% の精度を達成し、これはトレーニング済みの線形分類器のパフォーマンスに匹敵します。

教師あり学習に加えて、WANN は多くの強化学習タスクも実行できます。

チームメンバーの一人であるデイビッド・ハ氏は、その結果をTwitterに投稿し、1,300件以上のいいねを獲得した。

それでは、まずはその効果を見てみましょう。

効果

Google Brain は、WANN を使用して 3 つの強化学習タスクを処理しました。

(ニューロンの各グループに同じ重みを与えます。)

最初の課題は、カートポールスイングアップです。

これは、スライド、カート、カート上のポールを使った古典的なコントロールタスクです。

台車はスライドレールの範囲内で走行し、ポールが倒れないように自然に垂れ下がった状態から揺り起こして直立状態を保つ必要があります。

（このタスクは単純なCart-Poleよりも難しいです：

カートポールの初期位置は直立しています。カートで持ち上げる必要はなく、そのままにしておくだけです。 ）

難しいのは、線形コントローラを使用して解決する方法がないことです。各タイムステップの報酬は、車からスライドの一端までの距離とポールのスイングの角度に基づいて決まります。

WANN のチャンピオン ネットワークは次のようになります。

トレーニングなしでも優れたパフォーマンスを発揮します。

最も優れたパフォーマンスを発揮した共有ウェイトにより、チームは非常に満足のいく結果を得ました。わずか数回のスイングで平衡状態に到達したのです。

2番目のタスク、 Bipedal Waker-v2 。

二本足の「生き物」は、でこぼこや穴を越えながら、ランダムに生成された道路を前進しなければなりません。報酬の額は、乗車の開始から終了までの移動距離と、モーター トルクのコスト(効率的な移動を促進するため) によって決まります。

各脚の動きは股関節と膝関節によって制御されます。動きを導く入力は 24 個あり、その中には「LIDAR」によって検出された前方の地形データ、固有受容感覚によって感知された関節の動きの速度などが含まれます。

最初のタスクの低次元入力と比較すると、ここでの可能なネットワーク接続はより多様です。

したがって、WANN では入力から出力までの配線方法についていくつかの選択を行う必要があります。

WANN もこの高次元のタスクを高品質で完了しました。

ご覧のとおり、これは検索された最良のアーキテクチャであり、現在の低次元タスクよりもはるかに複雑です。

重みは -1.5 で実行され、次のようになります。

3番目のタスク、 CarRacing-v0 。

これはピクセル環境でのトップダウン レース ゲームです。

車は、アクセル、ステアリング、ブレーキという 3 つの連続したコマンドによって制御されます。制限時間内にできるだけ多くのレンガを通過することが目標です。トラックはランダムに生成されます。

研究者らは、各ピクセルを解釈するタスクを、ピクセル表現を 16 の潜在的な次元に圧縮できる、事前トレーニング済みの変分オートエンコーダ (VAE) に割り当てました。

これら 16 次元はネットワーク入力の次元です。学習された特徴は、異なる入力間の明示的な幾何学的関係をエンコードするのではなく、抽象的な関連性を学習する WANN の能力をテストするために使用されます。

これは、-1.4 の共有重みでの、最高の WANN ネットワーク、未トレーニングのレース結果です。

道は少し曲がりくねっていますが、線路から外れることはほとんどありません。

トレーニングなしで最適なネットワークを微調整すると、よりスムーズになります。

要約すると、2 番目と 3 番目のタスクは、シンプルさとモジュール性の点で良好なパフォーマンスを示し、二足歩行コントローラーは、多くの LIDAR センサーと膝関節の速度を無視して、可能な 25 の入力のうち 17 のみを使用しました。

WANN アーキテクチャは、単一の重みをトレーニングせずにタスクを完了するだけでなく、現在の最先端モデルで使用される 2804 の接続よりも 1 桁少ない210 のネットワーク接続のみを使用します。

強化学習を完了した後、チームはMNISTをターゲットとし、WANNを教師あり学習の分類タスクに拡張しました。

ランダムに初期化されたパラメータを持つ通常のネットワークの場合、MNIST の精度はわずか10%程度になる可能性があります。

新しい方法で発見されたネットワーク アーキテクチャ WANN は、ランダムな重みで実行した場合の精度率が80%を超えています。

先ほど述べたように複数の重みの組み合わせを入力すると、精度は91.6%に達します。

比較すると、微調整された重みは 91.9% の精度をもたらし、トレーニングされた重みは 94.2% の精度をもたらします。

これを何千もの重みを持つ線形分類器と比較してみましょう。

これは、トレーニングや微調整を行わず、ランダムな重みだけを適用した WANN の精度にのみ匹敵します。

この論文では、MINST 手書き数字分類は高次元の分類タスクであることを強調しています。 WANNのパフォーマンスは非常に良好でした。

また、どの重みも他の重みよりも優れているようには見えず、すべてが非常に均等に機能します。そのため、ランダムな重みが実現可能です。

ただし、異なる重みによって形成された各ネットワークには独自の特徴が多数あるため、複数の重みを持つ WANN は自己完結型のアンサンブルとして使用できます。

実施原則

WANN はどのようにして重みパラメータをトレーニングせずに非常に高い精度を達成するのでしょうか?

ニューラル ネットワークには重みバイアスなどのパラメーターがあるだけでなく、ネットワークのトポロジーと活性化関数の選択も最終結果に影響します。

Google Brain の研究者は論文の冒頭で、「ニューラル ネットワークの重みパラメータは、そのアーキテクチャと比較してどの程度重要なのか」という疑問を提起しました。ニューラル ネットワーク アーキテクチャは、重みパラメータを学習せずに、特定のタスクの解決にどの程度影響を与えることができますか。

この目的のために、研究者らは、強化学習タスクを実行する最小のニューラル ネットワーク アーキテクチャを見つけるためにトレーニング重みを必要としないニューラル ネットワーク アーキテクチャ検索方法を提案しました。

Google の研究者たちは、この方法を教師あり学習にも適用し、ランダムな重みのみを使用して MNIST でランダムに推測するよりもはるかに高い精度を達成することができました。

この論文は、アーキテクチャ検索、ベイズニューラルネットワーク、アルゴリズム情報理論、ネットワークプルーニング、神経科学などの理論からインスピレーションを得ています。

WANN を生成するには、ネットワークに対する重みの影響を最小限に抑える必要があります。重みをランダムにサンプリングすることで、最終的なネットワークがアーキテクチャの最適化の産物であることを保証できますが、高次元空間での重みのランダム サンプリングは非常に困難です。

研究者らは「ブルートフォース」アプローチを採用し、すべての重みを強制的に共有（重み共有）して、重み値の数を 1 つに減らしました。この効率的な近似により、より優れたアーキテクチャの探索を推進できます。

手順

重みの初期化の問題を解決した後、次の問題は、重みに依存しないニューラル ネットワークをどのように検索するかです。それは4つのステップに分かれています:

1. 初期の最小ニューラル ネットワーク トポロジ グループを作成します。

2. 複数のロールアウトを通じて各ネットワークを評価し、各ロールアウトに異なる共有重み値を割り当てます。

3. パフォーマンスと複雑さによってネットワークを並べ替えます。

4. 最高ランクのネットワーク トポロジに基づいて新しいグループを作成し、競争結果に基づいて確率的な選択を行います。

次に、アルゴリズムはステップ 2 から繰り返し、連続する反復で複雑さが増す重みに依存しないトポロジを生成します。

トポロジー検索

ニューラル ネットワーク トポロジーを検索するために使用される操作は、Neuroevolution Algorithm (NEAT) にヒントを得ています。 NEAT では、トポロジーと重みの値が同時に最適化され、研究者は重みを無視してトポロジー検索操作のみを実行します。

上の図は、ネットワーク トポロジ空間検索の具体的な操作を示しています。

最初、ネットワークは左側に最小限のトポロジがあり、いくつかの入力と出力のみが接続されています。

ネットワークは次の 3 つの方法で変更されます。

1.ノードの挿入: 既存の接続を分割し、新しいノードを挿入します。

2.接続の追加: 以前に接続されていなかった 2 つのノードを接続し、新しい接続を追加します。

3.活性化関数の変更: 隠しノードの活性化関数を再割り当てします。

図の右端には、線形関数、ステップ関数、正弦余弦関数、ReLUなど、範囲[2,2]の重みを持つ可能な活性化関数が表示されています。

体重は依然として重要

WANN は、従来の固定トポロジ ネットワークと比較して、単一のランダム共有重みを使用してより良い結果を達成できます。

WANN は複数のタスクで最先端の結果を達成しますが、重み値から完全に独立しているわけではなく、単一の重み値がランダムに割り当てられると失敗することがあります。

WANN は入力と出力の関係をエンコードすることによって機能します。重みのサイズは重要ではありませんが、その一貫性、特に符号の一貫性が重要です。

重みをランダムに共有するもう 1 つの利点は、個々のパラメータを調整することの影響がわずかになり、勾配ベースの方法を使用する必要がなくなることです。

強化学習タスクの結果から、著者らは WANN アプローチの適用範囲を一般化することを検討するようになりました。また、基本的な画像分類タスクMNISTでWANNのパフォーマンスをテストしたところ、重みが0に近い場合には効果が低いことがわかりました。

一部のRedditユーザーはWANNの結果に疑問を呈しています。ランダムウェイトが0に近い場合、ネットワークのパフォーマンスは良くありません。強化学習実験での具体的な兆候は、車が制限範囲から外れてしまうことです。

この点に関して、著者は、重みが 0 に近づくと、ネットワークの出力も 0 に近づくため、その後の最適化によってより良いパフォーマンスを達成することは難しいと説明しています。

ポータル

オリジナルリンク:

https://weightagnostic.github.io/

ソースコード:

https://github.com/weightagnostic/weightagnostic.github.io