機械学習は科学プロジェクトからビジネスプランまで3段階の戦略を完了します

【51CTO.com クイック翻訳】

2015年は機械学習技術が学術分野で形を成した年でした。具体的には、今年は、データ サイエンティストの小集団だけのものではなくなり、少なくとも理論上は、すべての人に関係するものになり始めた年でした。

[[180106]]

2016 年は理論から実践への旅の始まりの年でした。機械学習テクノロジーの機能と可能性、そしてそれに関連するすべての可能性とサポートメカニズムは、商業市場にしっかりと浸透し始めており、主流になることが期待されています。

この波は、機械学習用の新しく改良されたツール セット、より強力な (そしてよりアクセスしやすい) ハードウェア オプション、さまざまなオープン ソースおよび独自のツールを提供するクラウド ホスト型機械学習の「サービスとしての」派生製品という 3 つの主要なトレンドを中心に展開されています。

1. ユーザーの負担を軽減する新しい改良されたツールセットとフレームワーク

かつては、アプリケーションで機械学習を使用する場合は、アルゴリズムを自分で構築する必要がありました。その後、サードパーティ ライブラリが広く登場することで、車輪の再発明という受動的な状況を回避することができますが、それでも、その生産機能を実現するには多大な労力を費やす必要があります。今日では、さまざまな優れたフレームワーク オプションによって、機械学習テクノロジーがパイプライン プロセスになっています。つまり、一方の端でデータを入力し、次にモデルをトレーニングし、最後に使用可能な結果を​​取得します。

では、既存のデータ処理フレームワークよりも理想的な機械学習実装ソリューションはあるのでしょうか? 答えは明らかに「はい」です。この目標を達成するために、超高速で人気のデータ フレームワークである Spark は、バージョン 2.0 でパフォーマンスをさらに向上させただけでなく、Spark の新しい内部アーキテクチャをより適切に補完するように調整された一連の機械学習ライブラリも追加しました。

もう一つの注目すべき傾向は、これまでの製品はデータを処理していましたが、機械学習のメカニズムに直接アクセスすることはできませんでした。現在、機械学習の加速が新しいタイプの機能として登場し始めています。インメモリ データ キャッシュ システムである Redis は、データベース関連の処理責任を処理するだけでなく、Spark を活用した機械学習ソリューションをアプリケーションとして新しいモジュール アーキテクチャに追加します。

急速に出現している 3 番目のトレンドは、機械学習ソフトウェアを開発するための新しい技術ツールの出現です。時には、CPU、GPU、その他のハードウェアで実行できる高速並列アルゴリズムを記述するために特別に設計された Lift などのまったく新しい言語の形で現れることもあります。また、C/C++ アプリケーションを強化して OpenMP ツールセットを使用できるようにし、大規模なデータ セットへのアクセスを大幅に高速化する Milk などの既存の言語のツールセットとして現れることもあります。

2. クラウドなどの分野でGPUやカスタマイズされたハードウェアが急速に普及している

極めて強力な GPU によって提供されるコンピューティング リソースがなければ、機械学習は不可能です。GPU が、この世代の CPU では決して実現できない強力なデータ処理機能を提供していることは明らかです。

このため、2016 年には機械学習の分野で GPU 関連のトレンドの新たな波が 2 つありました。 1つは、Sparkなどのさまざまなデータフレームワークを含め、機械学習製品の高速化を実現するためにGPUを使用するソリューションが多数存在することです。 GPU の優れた加速機能は、データベース アプリケーション製品、特に大量のデータを処理する機械学習システムからも注目を集めています。

GPU 関連の変更の第 2 の波は、すべての主要なクラウド サービス プロバイダーが、自社の製品ラインに GPU アクセラレーション インスタンスを組み込み始めていることです。クラウドでホストされる GPU リソースを使用すると、顧客は独自の機械学習トレーニング タスクをサポートするのに十分な処理リソースを簡単に購入できます。これは、従来の内部 GPU 駆動型機械学習プラットフォーム構築方法ではほぼ実現不可能です。

Amazon は GPU 対応インスタンスを開始しただけでなく、より柔軟なソリューションも提供しました。完全な GPU 処理インスタンスを直接購入することなく、いつでもインスタンスから GPU 処理リソースを追加または削除できます。一方、Google は初の GPU 搭載インスタンスもリリースし、ユーザーが関連機能を自由に追加/削除できるようにしました。

Microsoft Azure も GPU のようなメカニズムをクラウド製品ラインに組み込んでおり、データセンター ユーザーが将来的にさらにプログラム可能なハードウェア オプションを利用できるようになることを示唆しています。高速プログラム可能ハードウェアの一種である FPGA は現在、Azure でネットワークの高速化に使用されていますが、Microsoft は、機械学習などのさまざまな計算集約型アプリケーションを顧客が処理できるようにするために、同様のデバイスを使用する長期計画を立てています。 （Amazonも同様の計画を進めている。）

もちろん、クラウド GPU ソリューションにも欠点があります。業界をリードするハードウェア構成をいつでも入手できるとは限りません。 Amazon が 9 月に新しい GPU インスタンス タイプを追加したとき、同社は前世代の GPU ハードウェアを使い続けました。これはおそらく、新しいけれども使いにくいオプションではなく、ユーザーが使い慣れているオプションを提供するためだと思われます。

3. クラウドホスト型アルゴリズムは機械学習を「民主化」したが、コストは依然として高い

「AIの民主化」というフレーズはマイクロソフトが発案したもので、このソフトウェア大手は、クラウドを通じて機械学習リソースをすべてのユーザーが利用できるようにするという自社の使命を宣伝するためにこのフレーズを使用している。もちろん、大手クラウド企業がこの目標に向けて取り組んでいるのは良いことです。彼らが提供するツールは、あらゆる種類のインテリジェントなソフトウェアを作成でき、API と同じくらい簡単に使用できます。

「Artificial Intelligence as a Service」は別の実装方法です。他の as-a-service ソリューションと同様に、クラウド サービスもここで重要な役割を果たします。クラウド サービスは、関連システムの構成だけでなく、モデルのトレーニングやトレーニングに使用される対応するデータのホスティングも担当します。現在クラウドにデータを保存していない場合は、Amazon の 1 台あたり 100 PB の Snowmobile など、新しくてより効率的なソリューションが利用可能です。おっしゃる通り、1 台の車両とは、コンテナを積んだトラックのことであり、その中のストレージ アレイは一度に 100 PB を移行できます。

ほとんどの場合、トレーニング プロセスをスキップして、API を通じてさまざまな機能を直接実装できます。このタイプの API は、透明性よりも利便性を重視しており、リクエストを入力すると結果が出力されます。ほとんどのユーザーにとって、作業負荷を最小限に抑えるこのソリューションは理想的です。もちろん、これは結論に至るメカニズムの透明性が低いことも意味します。

この問題を解決するには、使い慣れた既存のツールのクラウド ホスト バージョンに依存し、そこで提供されるアルゴリズムとメカニズムを活用することもできます。 Spark はそのようなツールの 1 つであり、そのリーダーである Databricks や、IBM や Microsoft などのサードパーティ サービス プロバイダーはすべて、独自のクラウド環境でホストされたバージョンを提供しています。

このソリューションの利点は、誰もが自分のニーズに最適なプロセスを選択できることです。対照的に、ブラック ボックス API プロセスは、機械学習ソリューションを変更するつもりはなく、結果の処理のみが必要なユーザーに適しています。しかし、来年を見据えると、相当数の企業が独自の機械学習主導のソリューションを立ち上げ、これら 2 種類の処理アイデアのバランスを取ろうと努力するかもしれません。

原題: 機械学習: 科学プロジェクトからビジネスプランまで

原作者: Serdar Yegulalp

[51CTOによる翻訳。パートナーサイトに転載する場合は、元の翻訳者と出典を51CTO.comとして明記してください]