Microsoft、Spark 向けディープラーニング ライブラリ MMLSpark をオープンソース化

[[207730]]

Microsoft は、Apache Spark 用のディープラーニング ライブラリである MMLSpark をオープンソース化しました。 MMLSpark は、Microsoft Cognitive Toolkit および OpenCV と完全に統合できます。

Microsoft は、SparkML はスケーラブルな機械学習プラットフォームを構築できるものの、ほとんどの開発者が基盤となる API の呼び出しに労力を費やしていることを発見しました。 MMLSpark は、PySpark での反復タスクを簡素化することを目的としています。

UCI 成人所得国勢調査データセットを例に、他の項目を使用して所得を予測できます。

SparkML を直接使用する場合は、各列を個別に処理し、正しいデータ型に整理する必要があります。MMLSpark では、これには 2 行のコードのみが必要です。

モデル = mmlspark.TrainClassifier(モデル=LogisticRegression(), ラベルCol=”income”).fit(trainData) 
 
予測 = model.transform(テストデータ)

ディープニューラルネットワーク（DNN）は、画像認識や音声認識などの分野では人間と同等の能力を持っていますが、DNNモデルのトレーニングには専門家が必要であり、SparkMLとの統合も非常に困難です。 MMLSpark は、DNN アルゴリズムの簡単なトレーニングに便利な Python API を提供します。 MMLSpark は、分類タスクに既存のモデルを簡単に使用し、分散 GPU ノードでトレーニングし、OpenCV を使用してスケーラブルな画像処理パイプラインを構築できます。

次の 3 行のコードで、Microsoft Cognitive Toolset の DNN モデルを初期化し、画像から特徴を抽出できます。

 cntkModel = CNTKModel().setInputCol("images").setOutputCol("features").setModelLocation(resnetModel).setOutputNode("zx") 
 
 featureizedImages = cntkModel.transform(imagesWithLabels) .select (['labels','features']) 
 
モデル = TrainClassifier(モデル = LogisticRegression(),labelCol="labels").fit(featurizedImages)

MMLSpark は Docker Hub にリリースされており、次のコマンドを使用して単一のマシンにデプロイできます。

 docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark

MMLSpark は MIT ライセンスに基づいてライセンスされています。