従来のモデルに別れを告げて、機械学習がディープラーニングへとどのように移行していくのかを見てみましょう。

[[203224]]

概要: 従来のモデルに別れを告げましょう。テクノロジー企業が機械学習に取り組むために必要なスキルは何でしょうか?

主流のテクノロジー企業は、自らを AI または機械学習企業として積極的に位置づけています。Google は「AI ファースト」を企業戦略として採用し、Uber は独自の機械学習の系譜を持ち、さまざまな AI 研究機関が次々と誕生しています。

これらの企業は、「機械知能の革命的な時代が来ている」ということを世界に納得させようと全力を尽くしている。彼らは、自動運転車や仮想アシスタントなどの概念の開発を推進するディープラーニングに特に重点を置いています。

これらの概念は現在人気がありますが、現在の実践はそれほど楽観的ではありません。

今日でも、ソフトウェア エンジニアやデータ サイエンティストは、数年前のアルゴリズムやツールを数多く使用しています。

これは、ディープ ニューラル ネットワークではなく、従来の機械学習モデルが依然としてほとんどの AI アプリケーションをサポートしていることも意味します。エンジニアは依然として従来のツールで機械学習に取り組んでいますが、これはうまくいきません。データ モデリングを採用したパイプラインは、分散した互換性のない部分で構成されることになります。大手テクノロジー企業がエンドツーエンドの機能を備えた特定の機械学習プラットフォームを開発しているため、この状況は徐々に変化しています。

機械学習サンドイッチには何が含まれていますか?

機械学習の構築には、データ処理段階、モデル構築段階、展開および監視段階の 3 つの段階があります。最もおいしい部分はサンドイッチの肉のように真ん中にあり、機械学習アルゴリズムはこのようにして入力データを予測することを学習します。

このモデルも「ディープラーニング」モデルです。ディープラーニングは、多層ニューラル ネットワークを使用して入力と出力の複雑な関係を学習する機械学習アルゴリズムのサブカテゴリです。ニューラル ネットワークの層が増えるほど、その複雑さは増します。

従来のデータ駆動型機械学習アルゴリズム（ディープニューラルネットワークを使用しないアルゴリズム）では、限られた量の情報とトレーニングデータしか取得できません。ほとんどのアプリケーションは、より基本的な機械学習アルゴリズムのみを使用して効果的に動作することができ、それと比較するとディープラーニングの複雑さは冗長に思えることがよくあります。そのため、ディープラーニングの分野でも、ソフトウェア エンジニアがこれらの従来のモデルを大規模に使用しているのが見られます。

しかし、この「サンドイッチ」プロセスは、機械学習のトレーニングの前後の結果を結び付けることもできます。

最初の段階では、モデルにデータを入れる前に、大量のデータをクリーンアップしてフォーマットします。次の段階は、モデルの慎重な展開と監視です。 AI の作業時間のほとんどは、機械学習モデルの構築ではなく、これらのモデルの準備と監視に費やされていることがわかりました。

• 機械学習サンドイッチの肉：エキゾチックな味は避ける

ディープラーニングは現在、大手テクノロジー企業の AI 研究室の焦点となっていますが、ほとんどの機械学習アプリケーションはディープニューラルネットワークに依存せず、依然として従来の機械学習モデルを使用しています。最も一般的なものには、線形/ロジスティック回帰モデル、アンサンブル ツリー アルゴリズム、ブースト決定木モデルなどがあります。これらのモデルの背後には、他のテクノロジー企業からのアプリケーション、友人からの推奨、市場でのポジショニング、ユーザーの関心の予測、需要/供給モデル、検索結果のランキングがあります。

そして、エンジニアがこれらのモデルをトレーニングするために使用するツールは古いものです。最もよく使われている機械学習ライブラリは、10年前にリリースされた scikit-learn です (ただし、Google の TensorFlow も人気が高まっています)。

ディープラーニングを採用するのではなく、より単純なモデルを使用するのには理由があります。ディープ ニューラル ネットワークはトレーニングが難しいため、多くの時間と計算能力 (多くの場合、異なるハードウェア、特に GPU が必要) が必要になります。ディープラーニングを機能させるのは難しく、依然として多くの手動調整、直感、実験、試行錯誤が必要です。

従来の機械学習モデルでは、エンジニアがトレーニングとチューニングに費やす時間は比較的短く、多くの場合は数時間しかありません。 ***、たとえディープラーニングの精度がわずかに向上したとしても、拡張と開発に費やされる時間は、向上した精度の価値をはるかに上回ります。

• サンドイッチをどうやってくっつけるのか？データから展開ツールまで

したがって、機械学習モデルをトレーニングしたい場合、従来の方法がうまく機能します。しかし、これは機械学習のインフラストラクチャには当てはまりません。従来の方法では、機械学習の 3 つの部分を結び付けることができないため、ミスの潜在的な危険に簡単につながる可能性があります。

データの収集と処理は、機械学習の最初の段階を説明します。大企業では大量のデータが存在するため、データアナリストやエンジニアは、そのデータを処理して活用し、複数のソースからのコピーを検証・統合したり、アルゴリズムを標準化したり、さまざまな機能を設計・証明したりする必要があります。

ほとんどの企業では、エンジニアは SQL または Hive クエリと Python スクリプトを使用して、複数のソースからのデータを集約およびフォーマットします。多くの場合、これには多くの人的資源が消費されます。多くの大企業のデータ サイエンティストやエンジニアは、さまざまなローカライズされたスクリプトや Jupyter Notebook を使用して作業することが多いため、プロセスが分散され、作業の重複につながります。

さらに、大規模なハイテク企業でもミスを犯すことがあるため、生産中はモデルを慎重に展開し、監視する必要があります。あるエンジニアはこう言いました。「大企業では、機械学習の 80% はインフラストラクチャです。」

しかし、従来のソフトウェア テストの基盤となる従来の単体テストは、機械学習モデルの正しい出力が事前にわからないため、機械学習モデルには適していません。結局のところ、機械学習の目的は、エンジニアが具体的にルールを記述しなくても、モデルがデータから予測を行うことを学習することです。そのため、エンジニアはユニット テストの代わりに、あまり構造化されていないアプローチに頼り、ダッシュボードを手動で監視し、新しいモデルにアラート手順を提供しました。

リアルタイム データの変化により、トレーニング済みモデルに偏差が生じる可能性があるため、エンジニアは毎日または毎月新しいデータを書き込み、さまざまなアプリケーションに応じてモデルを調整します。しかし、既存のエンジニアリング インフラストラクチャには特定の機械学習サポートが不足しており、一般的なコードの更新頻度が低いため、開発で使用されるモデルと本番環境で使用されるモデルの間に断絶が生じる可能性があります。

多くのエンジニアは、依然として元の設計モデルと製品生産方法に依存しています。たとえば、エンジニアはプロトタイプを再構築する必要がある場合があり、一部のデータは他の言語または構造で提示されるため、製品を開発するには基本構造しか使用できません。データのラングリングからトレーニング、製品構造の展開まで、機械学習開発のどの段階でも非互換性があると、エラーが発生する可能性があります。

• どのように提示するか？今後の方向性

これらの問題に対処するために、カスタマイズされたリソースを持ついくつかの大企業が独自の機械学習ツールの作成に取り組んでいます。彼らの目標は、コンピューターと完全に互換性のある、シームレスでエンドツーエンドの機械学習プラットフォームを実現することです。

Facebook の FBLearner Flow と Uber の Michelangelo 社内機械学習プラットフォームはどちらもこれを実行します。エンジニアはネイティブ ユーザー インターフェイスでマシンのトレーニングと検証データセットを構築できるため、この段階での開発時間が短縮されます。エンジニアはマウスを 1 回クリックするだけで学習モデルをトレーニングできます。最後に、生産パターンを簡単に監視およびアップグレードできます。

Azure Machine Learning や Amazon Machine Learning などのサービスでは、同様のエンドツーエンドの機能を提供する代替ソリューションが公開されていますが、互換性があるのは Amazon または Microsoft のサービス プラットフォームのみです。

これらの大企業は機械学習を活用して製品を改善していますが、そのほとんどは依然として大きな課題と非効率性に直面しています。彼らは、より高度なディープラーニング モデルではなく、従来の機械学習モデルを使用したいと考えており、機械学習に対応するために従来の基本的なツールに依存しています。

幸いなことに、AIは現在これらの企業の研究の焦点となっており、機械学習をより効果的にするためにも懸命に取り組んでいます。これらの内部ツール、または他のサードパーティの機械学習プラットフォームの活用により、誰もが AI の可能性を実現できます。