機械学習は現在隆盛を極めていますが、機械学習を学習・研究し、実稼働環境で活用したい場合には、プラットフォーム、開発言語、機械学習ライブラリの選択を慎重に検討する必要があります。以下は、機械学習に関する私自身の経験に基づいた、参考のための提案です。
まず、プラットフォームの選択に関する最初の質問は、それを実稼働環境、つまり特定の製品で使用するのか、それとも研究や学習のためだけに使用するのかということです。 1. 本番環境での機械学習プラットフォームの構築 プラットフォームを本番環境で使用する場合は、製品のために分析する必要があるデータの量を見積もる必要があります。データ量が多い場合は、ビッグデータ プラットフォームを選択する必要があります。それ以外の場合は、スタンドアロン プラットフォームだけが必要です。 1.1 本番環境での機械学習ビッグデータプラットフォームの構築 実稼働環境で最も主流のビッグデータ プラットフォームは Spark プラットフォームであり、これに YARN や Mesos などの補助的な分散データ処理コンテナーが加わります。オンライン データをリアルタイムで収集する必要がある場合は、Kafka を追加します。つまり、一般的なビッグデータ処理プラットフォームは、Spark + YARN(Mesos)+ Kafkaを統合したものです。私が現在取り組んでいる製品プロジェクトはすべてSpark + YARN + Kafkaに基づいています。現時点では、このプラットフォームの選択が基本的に主流の方向です。 もちろん、これほど多くのオープンソースソフトウェアを統合するのは面倒だし、落とし穴も多いはずだという人もいるでしょう。Spark + YARN + Kafka のようなビッグデータプラットフォーム機能を組み込めるユニバーサルプラットフォームはないでしょうか。私の知る限りでは、CDAP (http://cdap.io) が比較的うまくいっています。 Spark、YARN、Kafka、およびいくつかの主流のオープンソースデータ処理ソフトウェアを統合します。開発者は、そこにカプセル化された API レイヤーで二次開発を行うだけで済みます。これは良いアイデアであるはずですが、まだ商業的に成功した事例がないため、アーキテクチャを選択する際に CDAP は考慮しませんでした。 したがって、Spark + YARN + Kafka に基づくビッグデータ プラットフォームは依然として最適です。 Spark MLlib の機械学習アルゴリズムは豊富ではなく、使いやすいものでもありません。そのため、製品に MLlib で利用できないアルゴリズムが必要な場合は、オープンソースの実装を自分で探す必要があります。 1.2 実稼働環境での機械学習のためのスタンドアロンマシンデータプラットフォームの構築 本番環境のデータが大きくない場合、ビッグデータ プラットフォームはやや過剰設計のように思えます。現時点では、選択肢はもっとあります。 ***、これはまだ Spark プラットフォームですが、分散コンテナ YARN と分散データ配信ルーティング Kafka は不要になりました。なぜ Spark か? 拡張性を考慮する必要があるからです。現在のデータ量が少ないからといって、将来的にもデータ量が少なくなるというわけではありません。これは、私が参加したいくつかの小規模なデータ分析プロジェクトに Spark を選んだ理由でもあります。もちろん、もう 1 つの理由は、Spark が Python、Java、Scala、R を同時にサポートしていることだと思います。これにより、多くのプログラマーにとって参加のハードルが下がります。私が参加したSparkプロジェクトでは、開発言語は主にJavaとScalaでした。速度上の理由から Python は選択されず、システムの残りの部分は Java で記述されています。 2 番目のオプションは、numpy、scipy、pandas、MatplotLib などを含む、scikit-learn に基づく一連の Python ツールです。その特徴は豊富なクラスライブラリ、特に機械学習ライブラリの scikit-learn はあらゆる武器を持っているとも言えるでしょう。さらに、プログラムをインタラクティブに記述できるため、プロトタイプを迅速に開発することが容易になります。私は実現可能性分析段階にある 2 つのプロジェクトに関わっており、どちらのプロジェクトでも scikit-learn を使用して顧客向けのプロトタイプとデモを作成しています。 したがって、本番環境のスタンドアロンの機械学習データ プラットフォームの場合、製品開発には Spark が最適な選択肢であり、迅速なプロトタイピングと検証には scikit-learn ファミリーが適しています。 2. 研究環境における機械学習プラットフォームの構築 単に調査をするだけなら選択肢はたくさんあり、主流は 3 つあります。
つまり、機械学習を勉強したいが、特別な R のバックグラウンドがない場合は、scikit-learn が最適な選択肢です。もちろん、機械学習アルゴリズムを自分で少しずつ実装するのが好きで、クラスライブラリを直接呼び出すのは好きではないと言う人もいるでしょう。これは良くないのでしょうか? もちろん、これは間違いなく非常に良いことであり、さまざまなアルゴリズムの理解を深めるのに非常に役立ちます。ただ、これはかなり時間がかかります。私のように時間があまりない場合は、API を直接呼び出してデータを調べる方が簡単です。 |
<<: AGVロボットマルチエージェント経路探索の4つの主要な研究方向
>>: Python 機械学習の実践: クレジットカード詐欺検出
[51CTO.com からのオリジナル記事]活動の説明: Aiti Tribe は、コア開発者に詳...
顔認識やセルフサービスチェックアウト、スマート端末製品などのテクノロジーが実店舗のシナリオに適用され...
AutoML はここ数年で急速に成長しました。そして、景気後退が避けられない状況となった今、人工知...
機械学習の応用は急速に成長しており、医療、電子商取引、銀行業務などのさまざまな分野で不可欠な要素とな...
[[416911]]一般的に、ビデオ圧縮の目的は、時間的および空間的な冗長性を活用して視覚コンテンツ...
現在、ビッグモデルは産業実装の初期段階にあり、高品質のデータはビッグモデルの産業化における重要な要素...
音声認識とは、機械またはプログラムが話し言葉の単語やフレーズを認識し、機械が読み取り可能な形式に変換...
[[414747]]この記事はAI新メディアQuantum Bit(公開アカウントID:QbitA...
[[221538]]人工知能とは何ですか? 「第一次産業革命における蒸気機関、第二次産業革命における...
2020年は忘れられない年です。今年に入って、新型コロナウイルスの感染拡大に伴い、人工知能(AI)が...
この記事は、公開アカウント「Reading the Core」(ID: AI_Discovery)か...
この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式...