アダムはまた「引退」するのでしょうか？イェール大学のチームがAdaBeliefを提案

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

Adam の立場に異議を唱えるオプティマイザーがもう 1 つあります。

最近、NeurIPS 2020 に掲載された論文で提案されたオプティマイザーがディープラーニング コミュニティの注目を集め、幅広い議論を巻き起こしました。

これはイェール大学のチームが提案したAdaBeliefです。研究チームは論文の中で、このオプティマイザーは Adam の高速収束特性と SGD の優れた一般化特性を兼ね備えていると述べています。

いわゆる AdaBelief は、勾配方向の「信念」に応じてトレーニング ステップ サイズを調整することを指します。アルゴリズムの点では、Adam とそれほど違いはありません。

両者の違いは、次のアルゴリズムの実装で簡単に確認できます。

Adam と比較すると、AdaBelief では他の新しいパラメータは導入されていませんが、上の図で青でマークされている最後の更新ステップに違いがあります。

アダムの更新の方向性は

AdaBeliefの更新方向は

vtとstの違いは、後者は

指数移動平均（EMA）。

mtはgtの予測値とみなすことができます。実際の値が予測値とあまり変わらない場合、分母

値が小さいほどステップサイズが大きくなり、重みを大胆に更新できます。

実際の値が予測値と大きく異なる場合、AdaBelief は現在の勾配を「信じない」傾向があります。このとき、分母は大きくなり、更新ステップは短くなります。

AdaBeliefが優れている理由

最後のステップでレビューなしで行われた小さな変更が、なぜこれほど大きな影響を与えるのでしょうか?

これは主に、AdaBelief が 2 つの点を考慮しているためです。

1. 損失関数の曲率問題

理想的なオプティマイザーは、勾配が大きい場合に単純に大きなステップを取るのではなく、損失関数の曲線を考慮する必要があります。

「勾配が大きく、曲率が小さい」場合（図の領域 3）では、|gt-gt-1| と |st| が小さいため、オプティマイザーはステップ サイズを大きくする必要があります。

2. 分母の勾配記号

上の図では、損失関数は

の場合、青いベクトルは勾配を表し、十字は最適解を表します。

Adam オプティマイザーは y 方向に振動し、x 方向に前進し続けます。これは、

分散が低い場合、Adam の更新方向は「符号降下」に近くなります。

AdaBeliefでは、

したがって、AdaBelief は振動を防ぐために、x 方向に大きなステップを実行し、y 方向には小さなステップのみを実行します。

実験結果

いくつかの単純な 3D 損失関数サーフェスでは、AdamBelief は優れたパフォーマンスを示します。

画像分類

CIFAR-10 および CIFAR-100 データセットでは、AdaBelief は、VGG11、ResNet34、DenseNet121 の 3 つのネットワークでトレーニングした場合に、より優れた収束結果を示しました。

さらに、ImageNet データでは、AdaBelief は Top-1 精度において SGD に次ぐ 2 位です。

時系列モデリング

Penn TreeBank データセットでの LSTM の実験では、AdaBelief が最も低い困惑度を達成しました。

ガン

WGAN と WGAN-GP の実験では、AdaBelief でトレーニングされた結果が最も低い FID を達成することが示されています。

ネットユーザーが疑問視

AdaBelief は複数のタスクで良好な結果を達成しましたが、この方法は多くのネットユーザーから疑問視されています。

なぜなら、長年にわたり、Adam に代わると主張するオプティマイザーは数え切れないほど存在してきましたが、最終的に時の試練に合格したのはほんのわずかだからです。

ネットユーザーが最初に疑問に思ったのは、実験のベースラインの選択だった。

CIFAR では、2020 年の SOTA モデルの精度が 96% 未満であるとは信じがたいと考える人もいるため、AdaBelief の論文ではベースラインを選択する際に、それほど良くない結果と比較することを選択した可能性があります。

ImageNet テストの表 2 で、より標準的な ResNet50 ではなく ResNet18 が使用されているのはなぜですか?さらに、AdaBelief は最適な結果ではないのに太字でマークされているため、誤解を招きやすい可能性があります。提案された方法のスコアを太字にするのは良い方法です。

さらに、著者がテストしなかった NLP タスクで実験を行った人もいましたが、AdaBelief はすぐに「崩壊」しましたが、SGD はうまく収束することができました。

AdaBelief は、Adam に代わる最後の最適化ツールではありません。その一般化能力は、さらに多くの研究者によってさらにテストされる必要があります。

プロジェクトアドレス:
https://juntang-zhuang.github.io/adabelief/

論文の宛先:
https://arxiv.org/abs/2010.07468

コードアドレス:
https://github.com/juntang-zhuang/Adabelief-Optimizer