話題の論文「14行のコードがBERTを打ち負かす」に逆転の兆し！バグを修正すると、パフォーマンスは数秒で最悪になります

50 年前の kNN アルゴリズムは、わずか 14 行のコードで、BERT などの人気の Transformer をテキスト分類で上回りました。

ACL Finding のこの結果は発表されるとすぐに学界で人気となり、今日の機械学習タスクに古い方法がどれだけ使用できるかについて人々に再考を促しました。

写真

その独創性は同会議の論文の95％を上回ると称賛する声もあったが、受賞できなかったのは本当に不可解だ。

写真

たった 14 行のコードが、全員の思考を完全に広げました。

しかし、数日以内に、誰かが次のことを発見しました。

それはすべて誤解だったようです。

BERT は負けていません。コードにバグがあり、結果に問題があります。

写真

これは逆転ですか？ ? ?

再テスト後、パフォーマンスはSOTAから最悪に変化しました

この論文の主な背景とアイデアを簡単に見てみましょう。

写真

精度が高いため、現在テキスト分類によく使用されているディープ ニューラル ネットワーク モデル(DNN)について説明します。計算集約型の性質上、有効性を確保するには数百万のパラメーターと大量のラベル付きデータが必要であり、使用や最適化、分布外データへの転送にコストがかかります。

ここで、ウォータールー大学の研究者と私の知る限り当局は、「気まぐれ」で、パラメータを必要としない代替案を提案した。

これは、gzip などの単純な圧縮アルゴリズムと k 最近傍分類アルゴリズム(正規化圧縮距離 NCD を使用)を組み合わせることによって実行できます。

写真

その結果、このシンプルなソリューションは、トレーニング パラメータなしでも非常にうまく機能します。

7 つの分布内データセットのうち 6 つでは、さまざまな DNN の結果と同等の結果が出ました。分布外データセットでは、5 回連続で優れた結果が出、BERT を上回りました。

さらに、サンプル数が少ない場合でもうまく機能します。逆に、ラベル付けされたデータが少なすぎるため、現時点では DNN を効果的にトレーニングできません。

アメリカの機械学習研究者ケン・シュッテ氏（MITで電気工学とコンピューターサイエンスの博士号を取得）は、この論文を読んで非常に興味を持ち、いくつかの新しいアイデアを思いつきました。

そこで彼はそれを再現することにした。

その結果、奇妙なことが起こりました。

メソッド内の kNN コードにエラーがあるようで (意図的ではない可能性もあります)、最終テスト結果の精度指標が予想よりも高くなることがわかりました(もちろん保証はできません) 。

要約すると、結果は kNN (k=2) 精度ではなく、トップ 2 精度です。

とはいえ、その効果はそれほど強くないかもしれません。

具体的には、ケンは論文の表 5 で、この方法が OOD データセット上の他のすべてのニューラル ネットワーク ベースの方法よりも優れていることを示していると指摘しました。

写真

彼は最初の 4 つのデータ セット(kNN (k=2) の精度を使用)を再テストしましたが、結果は非常に異なっていました。ベンチマーク モデルにまったく勝つことができず、最高のパフォーマンスから最悪のパフォーマンスにまでなりました。 (ケンは最後のデータセットが大きすぎるため試していません)

以下に詳しい説明を記載します。

この論文では、著者は kNN 分類器を使用する際に値k=2を使用しています。

(kNN は、「ラベル付けされた」サンプルを使用して、最終的に未知のサンプルのカテゴリを決定する教師ありアルゴリズムです。このアルゴリズムの主なパラメータは k 値の選択です。k 値が大きいほど、分類効果は安定しますが、計算量が多くなります)

Ken は、この選択はやや不必要であり、分類器にあまり多くの情報を追加しないので、1 を選択するだけで十分だと考えています。

値が 2 の場合、トレーニング セットで検索された 2 つの隣接するポイントのカテゴリ ラベルが矛盾している場合 (たとえば、一方が正でもう一方が負の場合)、同点が発生し、唯一の正しいポイントをさらに決定する必要があります。

この判定プロセス中に、論文のソース コード(experiments.py ファイルの calc_acc メソッド内)で問題が発生しました。

写真

簡単に言えば、このコードは、隣接する 2 つのポイントのラベルの 1 つが中心点の真のカテゴリと一致している限り、実際に正しいと判断します(つまり、1 つの一致が正しいと見なされます) 。これは、 Top-2 精度に相当します。

ただし、標準の KNN アルゴリズムでは、距離が近いカテゴリを優先する、ランダムに選択して決定するなどの他のタイブレーク戦略が使用されます。つまり、標準の kNN (k=2) 精度を使用して結果を評価するため、「より厳密」になります。

つまり、k=2 の場合、元の方法の精度は実際には標準アルゴリズムの精度よりも高く、最終的な効果は見た目ほど良くないということです。

Ken は 2 つのタイブレーク戦略(1 つはランダム選択、もう 1 つは k の減少)を書き直し、各データ セットでのモデルの精度を再計算しました。結果は、すべてがさまざまな程度に低下していることを示しました。

写真

もちろん、top-2 に従って計算すると、Ken によって再現された結果は基本的に元の論文の結果と同じであることがわかります。これは、Ken の発見が有効であることを間接的に証明しています。

ネットユーザー：ただし、方法自体の革新性には影響しません

このニュースが報道された後、ネットユーザーはどう思ったでしょうか？

興味深いことに、ケンの分析は理にかなっていると誰もが考えていますが、これは方法自体の革新性には影響しません。

BERT には勝てませんが、それでもアイデアは印象的です。

著者の戦略は不合理ではない。最も重要なことは、今後この研究方向を探求する論文がさらに増えるだろうということだ。

写真

Google AIの研究者であるルーカス・ベイ氏も同様の意見を述べた。

写真

ケンの後、スタンフォード大学のヤン・デュボア博士は、この論文の問題はそれ以上のものだと気づいた。

トレーニング セットとテスト セットも重複しています。

たとえば、DengueFilipino のトレーニング セットとテスト セットはまったく同じですが、KirundiNews の重複率は 90% にもなります。

写真

もちろん、いつものように、この方法は非常に特殊であるため、ネットユーザーのコメントには「何だこれ」という声が溢れていますが、ほとんどの人は依然としてその重要な貢献を固く擁護し、問題は深刻ではなく、単にレビューが不十分なだけかもしれないと考えています。

ほら、「論文は潰せても、アイデアは潰せない」というようなコメントが次々と出てきました。

写真

どう思いますか？これら 2 つのバグは、この論文に対するあなたの意見に影響しますか?

ケン・ユアンボ: https://kenschutte.com/gzip-knn-paper/
原著論文: https://aclanthology.org/2023.findings-acl.426/