Github のトップ 5 オープンソース機械学習プロジェクト!データ計算が最大80倍高速化！

挑戦的なオープンソース機械学習プロジェクト 5 つで、2020 年を良いスタートを切りましょう。これらの機械学習プロジェクトは、Python プログラミングや NLP など、幅広い分野をカバーしています。

データサイエンスへの移行方法を模索する人が増えています。大学を卒業したばかりの人、業界に比較的最近参入した人、中堅の専門家、あるいは単に機械学習に興味がある人など、誰もがデータサイエンスの分野に参入したいと考えています。

最先端のフレームワークとライブラリに慣れていただくために、オープンソースの機械学習プロジェクト 5 つ（2020 年 1 月に作成）を厳選しました。自然言語処理 (NLP) から Python プログラミングまで、あらゆることが学べます。

1. Reformer – PyTorch での効率的な移行

Transformer アーキテクチャは自然言語処理 (NLP) の状況を変えました。 BERT、XLNet、GPT-2 など、多くの NLP フレームワークが生まれました。

しかし、皆さんのほとんどが共感できる問題が 1 つあります。それは、これらのトランス駆動モデルが非常に大きいことです。これらは最先端の結果をもたらしますが、それを学んで実装したいほとんどの人にとっては高価すぎて手の届かないものです。このプロジェクトの作成者は、独自のモデルを構築するのに役立つ、シンプルでありながら効果的な例とコード全体を提供しています。

2. PandaPy – 最も人気のあるPythonライブラリ

私は先週 PandaPy を発見し、現在のプロジェクトで使用しています。これは、主流になる可能性を秘めた魅力的な Python ライブラリです。

混合データ型 (int、float、datetime、str など) を使用する機械学習プロジェクトに取り組んでいる場合は、Pandas ではなく PandaPy を使用してみてください。これらのデータ型の場合、Pandas よりもメモリ消費量が約 3 分の 1 少なくなります。

興味深いと思われる 3 つの主要領域を以下に示します (これらのポイントは PandaPy GitHub リポジトリからそのまま引用したものです)。

1) 小さなデータセット（プラス、マルチサイン、対数など）での単純な計算では、PandaPyはPandasよりも25倍から80倍高速です。

2) 小さなデータセットのテーブル関数 (グループ化、ピボット、ドロップ、結合、フィル、ポピュレートなど) の場合、PandaPy は Pandas よりも 5 倍から 100 倍高速です。

3) PandaPyは、小規模なデータを扱うほとんどのユースケースでDask、Modin Ray、Pandasよりも高速です。

3. Google Earth Engine – 地理空間データを分析するための 300 以上の Jupyter ノートブック

素晴らしい GitHub リポジトリですね! 多くのデータサイエンティスト志望者からソーシャルプラットフォーム上で連絡があり、地理空間分析を始めるにはどうすればよいかを尋ねられました。これはペタバイト単位のデータが利用できる非常に興味深い分野です。必要なのは、それをクリーンアップして分析するための構造化された方法だけです。この素晴らしいリポジトリには、Google Earth Engine データの操作例を含む 300 を超える Jupyter Notebook が集められています。

これらのノートブックは、コードを実行するために 3 つの Python ライブラリに依存しています。