MorphNetは、ニューラルネットワークをより高速、小型、効率的にするモデル最適化技術です。

特定のタスクを実行するためにニューラルネットワークを調整したいですか?この問題は想像したほど単純ではありません。

ディープニューラルネットワーク (DNN) は優れたブロックですが、その移動には計算リソースと時間の面で非常にコストがかかる可能性があります。

現在、Google AI は MorphNet をリリースしました。人気の画像分類ニューラルネットワーク Inception V2 でテストしたところ、精度を犠牲にすることなく、ニューラルネットワークが高速化および小型化され、計算電力の消費が削減されることが分かりました。

MorphNetとは

MorphNet は、既存のアーキテクチャを使用して特定のタスクを最適化するニューラルネットワークモデルの最適化 (改良) テクノロジです。

言い換えれば、これは転移学習の問題です。転移学習の難しさは、不変量を見つけることにあります。モデルは、以前にトレーニングされたタスクの目的と似ているものの、まったく同じではない多くのタスクを処理する必要があり、これによりモデルのパフォーマンスが大幅に低下したり、クラッシュしたりすることがあります。

MorphNet の成功は、同様の問題向けに構築されたニューラルネットワークを入力として使用する限り、より小型で高速で、新しいタスクに適した新しいアーキテクチャを作成できるという点にあります。

MorphNet は、ループの収縮と拡張という 2 つの段階を通じてニューラルネットワークを最適化します。

収縮期

縮小フェーズでは、MorphNet は非効率的なニューロンを識別し、スパース正則化を適用してそれらを削減します。

MorphNet は、ターゲットリソースを考慮しながらニューロンの損失を計算することに注意してください。そのため、トレーニングプロセス中に、オプティマイザーはリソースの損失を認識し、どのニューロンが効率的で、どのニューロンを削除できるかを認識できます。

わからない？ MorphNet がニューラルネットワークの計算コスト (FLOP、つまり 1 秒あたりの浮動小数点演算など) をどのように計算するかを確認するには、次の例をご覧ください。

2 つの入力 (Xn)、6 つの重み (a、b、…、f)、および 3 つの出力 (Yn、ニューロン) を持つ行列乗算として表されるニューラルネットワーク層を考えます。つまり、このレイヤーを評価するには 6 回の乗算が必要になります。

MorphNet では、乗算回数を入力数と出力数の積として扱います。左側の例では、2 つの重みが 0 であっても、評価時にすべての乗算を実行する必要があります。しかし、中央の例では構造のスパース性を示しており、MorphNet は出力数が 2 であることを認識でき、このレイヤーの乗算回数は 6 から 4 に削減されます。この考え方に従って、MorphNet はネットワーク内の各ニューロンの増分コストを決定し、右側のようなより効率的なモデルを生成できます。

拡大フェーズ

拡張フェーズでは、MorphNet は幅乗数を使用してすべてのレイヤーのサイズを均一に拡張します。

たとえば、拡張が 50% の場合、非効率なレイヤーではニューロンが 100 から 10 に縮小し、その後 15 にのみ再度拡張されます。一方、重要なレイヤーではニューロンが 100 から 80 にのみ縮小し、再拡張後に 120 に達し、より多くの使い捨てリソースを取得する可能性があります。

つまり、MorphNet の最終的な効果は、ネットワークの非効率的な部分から効率的な部分にコンピューティングリソースを再割り当てすることです。

MorphNetはAIモデルを最適化します

効果はどうですか

Google AI チームは、MorphNet を使用して Inception V2 ネットワークモデルをトレーニングしました。

△写真はMorphNet論文より

ベースライン方式では、幅乗数を使用して各畳み込みの出力数を均一に減らすことで、精度と計算能力のバランスをとります (赤)。

MorphNet アプローチは計算電力消費を直接ターゲットにし、モデルを縮小するときにより優れたトレードオフ曲線 (青) を生成します。

同じ精度で、MorphNet メソッドは計算電力消費を 11% ～ 15% 削減します。

MorphNet は Inception V2 の最適化に優れており、他のネットワークモデルにも役立ちます。