Kaggle マスターはどのような言語、フレームワーク、モデルを使用していますか?詳細な統計はこちら

統計ウェブサイト: https://mlcontests.com/ 著者はいくつかの重要な結論に達しました:

1. Kaggle は依然として全コンテストの 3 分の 1 を占めており、賞金は総賞金 270 万ドルの半分を占めています。
2. 全コンペティションのうち、67件は上位5つのプラットフォーム（Kaggle、AIcrowd、Tianchi、DrivenData、Zindi）で開催され、8件は昨年コンペティションが1件のみ開催されたプラットフォームで開催されました。
3. ほぼすべてのチャンピオンが Python を使用し、C++ を使用したチャンピオンは 1 人だけでした。
4. ディープラーニング ソリューションの 77% が PyTorch を使用しています (昨年の 72% から増加)。
5. 優勝した CNN ソリューションはすべて CNN を使用しました。
6. 受賞したすべての NLP ソリューションでは Transformer が使用されました。

調査の詳細は次のとおりです。

プラットフォームタイプ

この調査では、著者らは 16 のプラットフォームで合計 83 の競技を数えました。これらのコンテストの賞金総額は 270 万ドルを超え、最も賞金の高いコンテストは Driven data が主催する Facebook AI Image Similarity Challenge: Matching Track で、賞金は最大 20 万ドルです。

競技種別

調査によると、2021 年に最も一般的な競争の種類はコンピューター ビジョンと自然言語処理です。これは、NLP コンテストが全体のコンテストのわずか 7.5% を占めていた 2020 年と比べて大きな変化です。

数多くの NLP コンテストの中でも、Zindi は AI4D (Artificial Intelligence for Development Africa) と共同で、アフリカの言語を英語または他の言語に翻訳したり、アフリカの言語で感情分析を実行したりするコンテストを最も多く開催してきました。

言語とフレームワーク

この調査では、主流の機械学習フレームワークは依然として Python に基づいています。 Scikit-learn は非常に汎用的で、ほぼすべての分野で使用されています。

当然のことながら、最も人気のある 2 つの機械学習ライブラリは Tensorflow と Pytorch です。その中でも、ディープラーニングのコンテストではPytorchが最も人気があります。 2020 年と比較して、ディープラーニングのコンテストで PyTorch を使用する人の数は急増しており、PyTorch フレームワークは毎年急速に発展しています。

チャンピオンモデル

教師あり学習

古典的な機械学習の問題では、Catboost や LightGBM などの勾配ブースティング モデルが主流です。たとえば、屋内測位とナビゲーションに関する Kaggle コンテストでは、参加者はリアルタイムのセンサー データに基づいて屋内でのスマートフォンの位置を予測するアルゴリズムを設計する必要があります。チャンピオン ソリューションには、ニューラル ネットワーク、LightGBM、K 近傍法の 3 つのモデリング アプローチが検討されました。しかし、最終的なパイプラインでは、LightGBM と K-Nearest Neighbors でのみ最高スコアを達成しました。

コンピュータビジョン

2012 年に AlexNet が ImageNet コンテストで優勝して以来、CNN アルゴリズムは、特にコンピューター ビジョンにおける多くのディープラーニングの問題に使用されるアルゴリズムになりました。

リカレントニューラルネットワークと畳み込みニューラルネットワークは相互に排他的ではありません。これらは異なる問題を解決するために使用されているように見えますが、重要なことは、両方のアーキテクチャが特定の種類のデータを処理できることです。たとえば、RNN はシーケンスを入力として使用します。シーケンスはテキストや音楽に限定されないことに注意する価値があります。ビデオは画像のコレクションであり、シーケンスとして使用することもできます。 LSTM などのリカレント ニューラル ネットワークは、データに時間的特性 (時系列など) がある場合や、データがコンテキストに依存する場合 (文の完成など) に使用され、フィードバック ループのメモリ機能が理想的なパフォーマンスを実現する鍵となります。 RNN は、コンピューター ビジョンの次の分野でも効果的に適用されています。

• 「昼間の写真」と「夜間の写真」は画像分類（1対1 RNN）の例です。
• 画像キャプション付け (1 対多の RNN) は、画像の内容に基づいてキャプションを割り当てるプロセスです (例: 「ライオンが鹿を狩っている」)。
• 手書き認識;

最後に、RNN と CNN の組み合わせが可能になり、これはおそらくコンピューター ビジョンにおける最も高度なアプリケーションです。データが CNN に適しているが、時間的特徴が含まれている場合、ハイブリッド RNN と CNN 技術が好ましい戦略となる可能性があります。

他のアーキテクチャの中でも、EfficientNet はモデルの精度と効率の両方の向上に重点を置いている点で際立っています。 EfficientNet は、複合係数というシンプルだが効果的な手法を使用してモデルを増幅し、スケーリング戦略を使用して 7 つの異なる次元のモデルを作成します。その精度は、ほとんどの畳み込みニューラル ネットワークの SOTA レベルを超えています。

NLP

2020 年と同様に、NLP 分野での大規模言語モデル (Transformer など) の採用は 2021 年に大幅に増加し、過去最高に達しました。著者は約 6 つの NLP ソリューションを発見しましたが、それらはすべてトランスフォーマーに基づいています。

優勝チーム

著者らはデータセット内の 35 ゲームの勝者を追跡しました。そのうち、このコンテストでこれまで一度も賞を獲得したことがないのはわずか9人でした。 2020年と比較すると、多くの大会で優勝経験のある古参参加者が何度も優勝し、初めて優勝する人はわずかであり、割合に目立った変化はないことがわかります。

アドバンテージプログラム

機械学習のコンテストで優勝した提案の中で、統合モデルは好まれる方法の 1 つになりました。アンサンブル法の中で最も一般的に使用されるアプローチは平均化です。これは、複数のモデルを構築し、それらの出力の平均を追加することでそれらを組み合わせ、より堅牢なパフォーマンスを実現します。

モデルを調整する際、リターンが減少するポイントに達したら、通常は最初からやり直して、異なるタイプのエラーを作成し、それらの予測を平均化する新しいモデルを構築するのが最適です。

アンサンブル法の応用例

Kaggle の「キャッサバの葉の病気の分類」コンテストでは、参加者はキャッサバの葉の画像を健康なもの、または 4 種類の病気に分類する必要がありました。チャンピオン ソリューションには、CropNet、EfficientNet B4、ResNext50、Vit の 4 つの異なるモデルが含まれており、平均化方式が使用されます。

勝者は、ResNext モデルと ViT モデルのクラス重みの平均を取得し、この組み合わせを第 2 段階で MobileNet と EfficientnetB4 と組み合わせます。