無料の機械学習ベンチマークツール：主要なデータセットを統合し、GitHubに接続して使用する

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

機械学習に携わっている友人は、必然的にさまざまなデータセットで AI モデルを実行する必要があります。

現在、 Papers with Codeチームは、すべてのオープンソースモデルを実行することを目的としたsotabenchと呼ばれる自動ベンチマークサービスを開始しました。

これを使用すると、コードをアップロードする必要はなく、GitHub プロジェクトに接続するだけで、クラウド GPU がスコアの実行を支援します。新しいコミットが送信されるたびに、システムが自動的にスコアを更新します。様々な強豪選手の活躍が見られる世界ランキングリストもございます。

主要な主流データセットのサポートに加えて、ユーザーが独自のデータセットをアップロードすることもサポートします。

他の人の論文の結果が信頼できるかどうかも調べることができます。

たとえば、Facebook の FixRes プロジェクトをフォークし、評価ファイルを設定します。

次に、ワンクリックで接続し、Sotabench の GPU で ImageNet 画像分類テストを実行します。

次のような結果が得られます。

トップ 1 の精度、トップ 5 の精度、論文の結果との差 (注を参照)、実行速度、世界ランキングなどがすべて明確に表示されます。

注: ε-REPR の場合、結果と論文結果の差が 0.3% 以内であればチェックマークが表示されます。差が 0.3% 以上で論文結果より悪い場合は赤い十字が表示されます。結果が論文結果より優れている場合はチェックマーク + が表示されます。

この無料のベンチマークツールは、リリースから 1 日以内に大好評を博し、Twitter で 600 件以上の「いいね！」、Reddit で 270 件以上のヒットを獲得しました。

ネットユーザーはこう言った: これは開発者コミュニティにとって非常に役立ちます!

それでは、sotabenchの機能と使い方を見てみましょう。

使い方は簡単、すべてに対応

チームによれば、 SotabenchはPapers with Codeの双子の姉妹であるとのこと。

紙のレポートのスコアを継続的に監視する Papers with Code は誰もがよく知っています。高得点モデルに対応するコードを見つけるために使用でき、人類に利益をもたらすツールです。

それを補完するものとして、SotaBench はオープンソースプロジェクトとコードの実際の実行結果を観察します。自分のモデルをテストし、他の人のモデルを検証して、論文で言われているほど強力かどうかを確認できます。

他のモデルとの比較をサポートし、速度と精度のトレードオフを表示できます。

では、sotabench はどのように使うのでしょうか?簡単、たった2ステップ。

最初のステップは、モデルをローカルで評価することです。

GitHub プロジェクトのルートディレクトリに、sotabench.py ファイルを作成します。データセットを読み込んで処理し、そこから予測を導き出すために必要なロジックを含めることができます。このファイルはコミットごとに実行されます。次に、オープンソースのベンチマークライブラリを使用してモデルを実行します。このライブラリは、フレームワークに依存せず、ImageNet などのデータセットを含む sotabench-eval にすることができます。また、PyTorch データセットローダーで使いやすい PyTorch ライブラリである torchbench にすることもできます。

正常に実行されたら、次の手順に進むことができます。

2 番目のステップは GitHub プロジェクトに接続することです。sotabench が以下の実行をお手伝いします。

このボタンをクリックすると、GitHub アカウントに接続し、さまざまなプロジェクトが表示されます。接続をテストするプロジェクトを選択します。接続後、システムはマスターを自動的にテストし、公式結果を記録します。すべてはクラウド GPU 上で実行されます。テスト環境は requirements.txt ファイルに基づいて設定されているため、このファイルをリポジトリに追加して、システムが使用する依存関係をキャプチャできるようにします。

今後は、コミットを送信するたびに、システムがスコアを再実行し、スコアが最新であり、更新されたモデルが引き続き機能していることを確認します。

この方法では、モデルにバグがある場合、それをすぐに知ることができます。

他の人のモデルを実行したい場合は、自分のモデルにフォークするだけです。

現在、sotabench はすでにいくつかの主流のデータセットをサポートしています。

リストはまだ更新中であり、チームはベンチマークファミリーを充実させるために、あらゆる分野のヒーローを心から招待しています。

新しいベンチマークの作成と、既存のベンチマークへの新しい実装の追加の両方をサポートします。

sotabench-eval または torchbench プロジェクトに PR を送信するか、新しい Python パッケージを直接作成することができます。

準備ができたら、sotabench フォーラムに新しいトピックを投稿すると、チームがベンチマークを追加します。

絶賛のレビュー

このサービスが開始されると、ネットユーザーたちはこのサービスに賛同し、Twitter で 600 件を超える「いいね！」を獲得するなど、絶賛のレビューを寄せました。

一部のネットユーザーはこう言った。

素晴らしい！初心者にとっては、データセットの取得、前処理、評価の自動化と標準化が役立ちます。さまざまなモデルとそのハイパーパラメータの結果を分析してこれらのモデルを評価することは、それ自体が難しい作業であり、さまざまな論文の大量の非構造化データを調べる必要があります。これにより、問題ははるかに簡単になります。（部分翻訳）

多くのネットユーザーがこのプロジェクトについて友好的な議論や提案を行っており、開発者もオンラインで好意的に反応しています。

たとえば、このネットユーザーは次のように提案しています: モデルのハイパーパラメータは、送信されるたびに報告できますか?

著者はすぐにこう答えました。「偉大な心は同じように考える。」次のアップデートで追加します!

さらに、将来のアップデートでは、ユーザーが生成モデルのトレーニングパラメータへのリンクを追加できるようにすることを検討しています。