ビッグデータ、機械学習、ディープラーニングのためのコマンドラインツールの概要

[51CTO.com クイック翻訳] キーボードを握ってください! マウスや GUI がなくても、OS X と Linux で多くの操作を完了できます。さまざまな *N*X システム向けの多数の優れたコマンドライン ツールの人気はテクノロジー業界で常に非常に高く、Python、Go、NodeJS、さらにはさまざまなハイブリッド ツールにまで拡大しています。コマンドラインからデータ処理パイプライン全体を実行する予定がない場合でも、これらのツールは非常に役立ちます。

書籍『Data Science at the Command Line』と GitHub はどちらも、多数の高レベルの前処理および後処理ツール オプションを提供しており、必要に応じて調整することもできます。今日の記事では、私のお気に入りのツールの中から特におすすめのものをいくつか紹介します。

CSVKit は間違いなく試してみる価値があります。カンマ区切りの値を使用して必要な操作をすべて実行します。 cvs cut を使用して列を切り取ったり、cvsgrip を使用して列をフィルター処理したり、sql2csv を使用して PostgreSQL から CSV にデータを抽出したり、cols を使用して列のサブセットを切り取ったり、in2cv を使用して Microsoft Excel を CSV に変換したりできます。

クイックツール推奨リスト

• Python データ分析 (Agate)。

• ImageMagick (コマンドラインから画像を編集、作成、変換、反転、変更します)。

• JSON 2 CSV。

• NodeJS 経由の XML2JSON。

• HTML から画像へ。

• HTML から PDF へ。

• ウェザーアンダーグラウンド CLI。

• NIFI シェル。

• Scala/JVM を使用したテスト用の Gatling。

• JSON を使用した Kafka プロデューサー。

• JSON を使用した Kafka Consumer。

• JSONを作成します。

• 画像メタデータの抽出。

• クエリインフラストラクチャ用の OSQuery。

• コマンドライン OCR 用の Tesseract。

• Hadoop/HDFS コマンドライン ツール。

• カール。

• ゲット。

• MQTT CLI (NPM.JS)。

短い Python スクリプトを記述して、コマンドラインからデータ処理を実行することもできます。

 nltk.sentiment.vader より
SentimentIntensityAnalyzerをインポートする
インポートシステム
sid = 感情強度アナライザー()
 ss = sid.polarity_scores(sys.argv[ 1 ])
 print( '複合 {0} 負 {1} 中立 {2} 正 {3} ' .format(ss[ 'compound' ], ss[ 'neg' ], ss[ 'neu' ], ss[ 'pos' ]))

感情分析を実装するには、5 行の Python スクリプトだけが必要です。

コマンドラインから TensorFlow をデバッグすることもできます (ただし、まだベータ版なので、いくつか問題がある可能性があります)。

元のタイトル:ビッグデータ、機械学習、ディープラーニングのコマンドラインツール

原作者:ティム・スパン

[51CTOによる翻訳。パートナーサイトに転載する場合は、元の翻訳者と出典を51CTO.comとして明記してください]