MNISTとCIFAR 10を100%の精度で「解いた」と主張する人もいる

MNIST 認識の精度は 100% に達しましたか?最近、プレプリントプラットフォームarXivに掲載された「Learning with Signatures」という論文が注目を集めています。

この研究では、著者らは学習環境における署名変換の使用を調査します。この論文では、非常に少ないラベルを使用し、クレジットの割り当てなしで、オーバーフィッティングをほとんど行わずに最先端の分類精度を提供する教師ありフレームワークを提案します。著者らは、シグネチャと対数シグネチャを使用して調和解析ツールを活用し、それらを RMSE と MAE シグネチャおよび対数シグネチャのスコアリング関数として使用しました。

研究者たちは、閉じた形式の方程式を使用して、可能な限り最良のスケーリング係数を計算しました。結果として得られる分類結果は、他の方法よりも CPU 上で数桁高速に実行されます。著者らは、AFHQ データセット、Four Shapes、MNIST、CIFAR10 ですべてのタスクで 100% の精度を達成したという結果を報告しています。

MNIST は機械学習の Hello World と考えられています。これは、誰もが始めるときに使用するデータセットです。手書きの数字の画像が 70,000 枚含まれており、そのうち 60,000 枚はトレーニングに、10,000 枚はテストに使用されます。 MNIST の画像はグレースケールで、解像度は 28×28 ピクセルのみです。問題は「単純」ですが、100% の認識精度を達成するアルゴリズムは常に信頼できないと感じられます。論文に何が書かれているか見てみましょう。

• 論文リンク: https://arxiv.org/abs/2204.07953v1
• コード: https://github.com/decurtoydiaz/learning_with_signatures

Signatureを使用すると、少量のラベル付きサンプルでディープラーニングと同じ効果が得られます。

前世紀において、コンピュータに学習能力を与えることは重要な研究方向でした。近年、ディープラーニングを活用した教師あり学習と教師なし学習がSOTAソリューションの代表的なものとなっています。モデルベースのソリューションが主流だった分野は、前例のない成功を収めながら、データ駆動型フレームワークに急速に移行しました。しかし、そのようなモデルのハイパーパラメータの数が多く、解釈が難しく、その堅牢性に対する収束理論的な保証が欠如していることから、一部の分野では進歩が停滞しています。

近年、Signature Transform を学習フレームワークに統合する取り組みは、主に ML パラダイムの特徴抽出器として、またはディープ ネットワーク内のプーリング レイヤーとして大きな進歩を遂げています。 Signature の優れた理論的特性により、多くの研究者が学習問題を構築する方法としてこれを使用しています。しかし、学習メカニズムを導くための適切に定義されたスコアリング関数が存在しないことが主な理由で、署名の一般的なフレームワークはまだ確立されていません。

我々は、不規則にサンプリングされたデータ ストリームのコンパクトで豊富な記述を提供する最近開発された調和解析ツールである Signature Transform を使用して、新しい学習メカニズムを研究することを提案します。研究者たちは、データをコンパクトでありながら完全な領域に変換することで、非常に少数のラベル付きサンプルを使用してディープラーニングと同じ経験的利益を達成できるという考えを探求しました。

さらに、Signature の普遍的な非線形特性は時間的な再パラメータ化の影響を受けないため、コンピューター推論に適した知識の代替表現の理想的な候補となります。結局のところ、人間は単純な概念を学ぶのに何千もの例を必要とせず、素早く正しく推測するためには厳選された少数の例だけが必要なのです。署名によりこれが可能になり、情報の表現が理解しやすく、豊富で、完全であるため、コンピューターが情報を迅速に推測できるようになります。ただし、損失とクレジットの割り当てによって、従来の学習フレームワークに最適化を適切なソリューションに導く機能が提供されるのと同様に、これにはスコアリング機能も必要です。

この研究では、RMSE、MAE Signature、および log-signature を使用して、画像分布間の視覚的な類似性を評価し、GAN の収束を判定しました。別の観点から見ると、RMSE、MAE シグネチャ、対数シグネチャは、分類やクラスタリングなどのタスクに使用できる、正しく定義されたスコア関数です。この仮定の下、本研究では、いくつかのタスクにおけるこの学習フレームワークの動作、特性、一般化能力をさらに調査することを目的としています。

署名の場合、この研究では署名変換に基づく類似度測定を使用することを提案します。このフレームワークは、CPU 上のディープラーニング手法よりも桁違いに高速に動作し、GPU 上で高い計算コストと環境コストをかけて実行される数百万のハイパーパラメータの面倒なクレジット割り当てを回避します。これらのメトリックは詳細な視覚的な手がかりをキャプチャすることができ、非常に小さなメモリフットプリント、高速な実行速度、および高い精度で分類タスクに使用できます。

バックプロパゲーションなどのクレジット割り当ては、現代の自動学習技術の基礎となっています。理論的には、データから後続のすべての情報を 1 回のパス (つまり、1 つのエポックを使用) で抽出することが可能です。しかし、実際には、学習メカニズムの制限により、多くの方法ではトレーニング データを複数回使用しており、これらの特性がその利点に結びつくわけではありません。適切なスコアリング関数が与えられれば、シグネチャは、バックプロパゲーションを使用せずにコンピュータがきめ細かい情報を推測するために使用できるコンパクトな表現を提供し、それによって何百万ものハイパーパラメータを最適化することを回避します。

署名を使用した学習を使用すると、ラベル付けされた例の数を大幅に削減でき、トレーニングが要素ごとの平均に置き換えられるため、他のトレーニング メカニズムに比べて計算上の利点があり、これにより、良好な一般化に必要な統計的堅牢性が付与されます。

一連の署名を順番に与えると

要素平均は次のように定義されます。

RMSE と MAE 署名は次のように定義できます。

シグネチャを使用した少数ショット分類

著者らは、シグネチャと定義されたスコア関数を使用してテストサンプルを比較することで（オプションの拡張と要素ごとの平均化の後）、少数ショットのサンプル分類を実現できると主張しています。非常に高い分類精度を達成するために必要なシグネチャの数は、タスクの複雑さによって異なります。一部のカテゴリでは 1 つのシグネチャのみが必要な場合がありますが、変動の大きいカテゴリでは数十から数千のトレーニング サンプルが必要になる場合があります。

同じテストインスタンスの複数の変換バージョンを平均化することによって導入される多重性の影響をさらに調査するために、著者らはランダムコントラストなどの特定の拡張手法を使用した視覚化を提示します。

) 図 1: AFHQ の 300 枚の画像に署名を加えた PCA 適応型 t-SNE。カテゴリ: 猫 (赤)、犬 (緑)、野生 (青)。

図 2: 特定の AFQH サンプルの特性変換スペクトルと、それに対応するランダム コントラストの変換の比較 (a) ～ (d)。

多くの場合、トレーニング セットで 100% の精度を達成することは、データ漏洩の問題であるに違いないと考えられています。ソーシャルネットワーク上では、この研究に対して多くの疑問が投げかけられています。

Reddit では、あるネットユーザーが次のようにコメントしています。「MNIST データ セットには、人間の分類がラベルと異なる画像がいくつかあります。100% テスト セットの精度は、ネットワークが実際にはエラー率が 99.7% のネットワークよりも劣っていることを示しています。したがって、他の人が言っているように、100% の精度という数字は非常に疑わしいものです。」