TensorFlow の最大の機械学習データセット 30 件

導入

画像、ビデオ、オーディオ、テキストが含まれており、非常に包括的です。

機械学習のための最大のTensorflowデータセット

Google Brain の研究者によって作成された TensorFlow は、機械学習とデータ サイエンスの分野で最大のオープン ソース ライブラリの 1 つです。これは、初心者と経験豊富なデータ サイエンティストの両方に適したエンドツーエンドのプラットフォームです。 TensorFlow ライブラリには、ツール、事前トレーニング済みモデル、機械学習チュートリアル、オープン データセットのコーパスが含まれています。必要なトレーニング データを見つけやすくするために、この投稿では、機械学習用の最大の TensorFlow データセットのいくつかを簡単に紹介します。以下のリストは、画像、ビデオ、オーディオ、テキストのデータセットに分割されています。

画像データセット

1. CelebA: 公開されている顔画像データセットの中で最大規模の 1 つである Celebrity Face Attributes Dataset (CelebA) には、200,000 人を超える有名人の画像が含まれています。

[[333813]]

有名人の顔画像データセット

各画像には、5 つの顔のランドマークと 40 個のバイナリ属性注釈が含まれています。

2. ダウンサンプリングされた Imagenet: このデータセットは、密度推定および生成モデリング タスクに使用されます。物体、風景、乗り物、人物などの画像が 130 万枚以上含まれています。画像は 32 x 32 と 64 x 64 の 2 つの解像度で利用できます。

3. Lsun – Lsun は、シーンを理解するためのモデルのトレーニングに役立つ大規模な画像データセットです。データセットには、寝室、教室、ダイニングルームなどのシーンカテゴリに分類された 900 万枚を超える画像が含まれています。

4. Bigearthnet – Bigearthnet は、Sentinel-2 衛星からの航空画像を含むもう 1 つの大規模なデータセットです。各画像は1.2 km x 1.2 kmの領域をカバーします。各画像には 43 個の不均衡なラベルが含まれています。

5. Places 365 – 名前の通り、Places 365 にはさまざまな場所やシーンの写真が 180 万枚以上含まれています。これらには、オフィス、ドック、コテージが含まれます。 Places 365 は、シーン認識タスク用の最大規模のデータセットの 1 つです。

6. Quickdraw ビットマップ – Quickdraw データセットは、Quickdraw プレイヤー コミュニティによって描かれた画像のコレクションです。 345 のカテゴリにわたる 500 万点の絵画が収蔵されています。このバージョンの Quickdraw データセットには、28 x 28 グレースケール形式の画像が含まれています。

7. SVHN Cropped – スタンフォード大学の Street View House Numbers (SVHN) は、数字認識アルゴリズムのトレーニングに使用される TensorFlow データセットです。 32 x 32 ピクセルにトリミングされた実際の画像データのサンプルが 600,000 個含まれています。

8. VGGFace2 – 最大規模の顔画像データセットの 1 つである VGGFace2 には、Google 検索エンジンからダウンロードされた画像が含まれています。顔の年齢、ポーズ、民族はさまざまです。 1 被写体あたり平均 362 枚の画像があります。

9. COCO – Google、FAIR、Caltech などの協力者によって作成された COCO は、世界最大のラベル付き画像データセットの 1 つです。オブジェクトの検出、セグメンテーション、画像の説明タスクに使用されます。

Coco TensorFlow データセット

データセットには 330,000 枚の画像が含まれており、そのうち 200,000 枚に注釈が付けられています。これらの画像には、80 のカテゴリにわたって 150 万個のオブジェクト インスタンスが分散されています。

10. Open Images Challenge 2019 – 約 900 万枚の画像を含むこのデータセットは、オンラインで利用可能な最大の注釈付き画像データセットです。画像レベルのラベル、オブジェクトの境界ボックス、オブジェクトのセグメンテーション マスク、および視覚的な関係が含まれます。

11. Open Images V4 – このデータセットは、上記のオープンイメージ データセットの別の反復です。 V4 には、1,460 万個の境界ボックスを含む 600 種類のオブジェクト クラスがあります。境界ボックスは人間の注釈者によって手動で描画されます。

12. AFLW2K3D – このデータセットには 2,000 枚の顔画像が含まれており、そのすべてに 3D 顔ランドマークが注釈付けされています。 3D 顔ランドマーク検出モデルの評価に使用されます。

ビデオデータセット

13. UCF101 – セントラルフロリダ大学の UCF101 は、アクション認識モデルをトレーニングするためのビデオ データセットです。このデータセットには、101 のアクション カテゴリにわたる 13,320 本のビデオが含まれています。

14. BAIR ロボット押下 – バークレー人工知能研究センターの BAIR ロボット押下には、ロボット押下動作のサンプル ビデオが 44,000 本含まれています。

15. Moving MNIST – このデータセットは、MNIST ベンチマーク データセットのバリエーションです。Moving MNIST には 10,000 本のビデオが含まれています。

16. EMNIST – 拡張 MNIST には、元の MNIST データセットの数字が 28 x 28 ピクセル形式に変換されて含まれています。

オーディオデータセット

17. CREMA-D – CREMA-D は、音声による感情表現を含む感情認識タスク用に作成されました。このデータセットには、さまざまな年齢、人種、性別の 91 人の俳優が声を吹き込んだ 7,442 個のオーディオ クリップが含まれています。

18. Librispeech – Librispeech は、LibriVox プロジェクトのオーディオブックからの 1,000 時間の英語のスピーチを含むシンプルなオーディオ データセットです。音響モデルと言語モデルのトレーニングに使用されます。

19. Libritts – このデータセットには約 585 時間の英語の音声が含まれており、Google Brain チームのメンバーの協力を得て作成されました。 Libritts はもともとテキスト読み上げ (TTS) の研究用に設計されましたが、さまざまな音声認識タスクに使用できます。

20. TED-LIUM – TED-Lium は、110 時間を超える英語の TED トークを含むデータセットです。すべての会話は書き起こされました。

21. VoxCeleb – VoxCeleb は、1,251 人の話者からの 150,000 を超える音声サンプルを含む、話者識別タスク用の大規模な音声データセットです。

テキストデータセット

22. C4 (Common Crawl の Web クロール コーパス) – Common Crawl は、Web ページ データのオープン ソース リポジトリです。 40 以上の言語で利用可能で、7 年間のデータをカバーしています。

23. 市民コメント – このデータセットには、50 の英語ニュース Web サイトからの 180 万件を超えるパブリックコメントが含まれています。

24. IRC Disentanglement – この TensorFlow データセットには、Ubuntu IRC チャネルからの 77,000 件を超えるコメントが含まれています。各サンプルのメタデータには、メッセージ ID とタイムスタンプが含まれます。

25. Lm1b – このデータセットは言語モデルベンチマークとして知られており、10億語が含まれています。もともとは統計言語モデリングの進歩を測定するために開発されました。

26. SNLI – スタンフォード自然言語推論データセットは、人間が書いた文章 570,000 組のコーパスです。クラスのバランスをとるために、すべてのペアは手動でラベル付けされました。

27. e-SNLI – このデータセットは、前述の SNLI の拡張版です。元のデータセットから 570,000 の文のペアが含まれ、含意、矛盾、中立に分類されています。

28. MultiNLI – SNLIデータセットをモデルにしたMultiNLIには、433,000の文のペアが含まれており、そのすべてに含意情報が注釈付けされています。

29. Wiki40b – この大規模なデータセットには、40 種類の言語の Wikipedia 記事のテキストが含まれています。データはクリーンアップされ、コンテンツ以外の部分と構造化オブジェクトは削除されました。

30. Yelp の極性レビュー – このデータセットには、598,000 件の非常に極性のある Yelp レビューが含まれています。これらは、2015 Yelp Dataset Challenge のデータから抽出されたものです。