機械はどのように学習するのでしょうか? 人間の脳は継続的に経験を蓄積する能力があり、経験を頼りに分析し、処理する能力を持っています。たとえば、市場にスイカを買いに行くと、他の人や自分の経験から、緑色で根が丸まっていて、食感がはっきりしていて、叩いたときに大きな音がするスイカの方がおいしいことがわかります。 私たちにはこのような能力がありますが、機械はどうでしょうか? 機械は指示を受け取って処理するだけではないでしょうか? 人間の脳と同様に、履歴データを機械に取り込むことができます。機械はモデリング アルゴリズムを使用してモデルを生成し、そのモデルに基づいて新しいデータを処理して未知の属性を取得できます。以下は機械学習と人間の脳の誘導体験のカテゴリ図です。 プラットフォームコンセプト Tongcheng 内では、機械学習を適用しているいくつかのチームについて学び、それらの共通の処理手順が次のようになっていることがわかりました。 このプロセスにはいくつかの問題点があります。
そのため、オンラインデータ上で直接モデリング実験を実施し、機械学習の開発コストを節約し、機械学習の応用の敷居を下げるためのプラットフォーム製品群を構築できると考えています。 プラットフォーム構築 設計目標
アルゴリズムライブラリ アルゴリズムライブラリに関しては、Spark を選択しました。R や Python と比較すると、Spark は分散コンピューティング機能を備えており、より効率的です。 ml と mllib はどちらも Spark の機械学習ライブラリです。現在、両方のライブラリは一般的に使用される機械学習機能のニーズを満たすことができます。 ml は主に DataFrame 上で動作します。RDD 上で mllib が提供する基本的な操作と比較すると、ml は DataFrame 上で抽象化のレベルが高く、データと操作の結合度が低くなります。 ml はパイプラインを提供します。これは、Python の sklearn と同様に、パイプラインの形式で多くの操作 (アルゴリズム/特徴抽出/特徴変換) を連結することができ、StringToIndexer、IndexerToString、VectorAssembler などのタスクの組み合わせに非常に便利です。 コンポーネントベースの設計 アーキテクチャ設計の観点から見ると、アルゴリズムユニット、機能エンジニアリングユニット、評価ユニット、その他のツールユニットであっても、すべてコンポーネントの形で設計できると考えています。共通のインターフェース動作とさまざまな実装を利用することで、疎結合と容易な拡張性を実現できます。 上の図は全体の設計クラス図の一部ですが、実際にはさらに抽象化のレベルと共通コードが作られています。コアクラス BaseTask を見てみましょう。
run メソッドの実装はテンプレートのセットであり、手順は次のとおりです。 各コンポーネントは、独自のコアロジック実行メソッドを実装するだけで済みます。 プラットフォームの反復 v1.0 (プラットフォーム コア アーキテクチャ) 上記の設計目標に基づいて、機械学習プラットフォームの最初のバージョンのアーキテクチャは次のようになります。 ユーザーはインターフェースを介してコンポーネントをドラッグアンドドロップしてモデリングプロセスを構築し、コンポーネントの構成と依存関係をDBに保存します。
プロセスと評価ビュー
最初のバージョンでは、あまり多くのアルゴリズムコンポーネントを提供せず、線形回帰とロジスティック回帰のみを提供していました。しかし、コンポーネント化の考え方に基づいて、後の段階で迅速に反復できると確信しています。 アルゴリズムの数が少なくなるだけでなく、ビジネスからのフィードバックと独自の考えが組み合わされます。機械学習プラットフォームにはさらに多くの機能があると考えています。
v2.0 (拡張コンポーネント、オフライン コンピューティング、定期的なスケジュール) 第 2 バージョンでは、まず元の設計フレームワークに基づいて、関連する実用的なコンポーネントを拡張および改善しました。 同時に、第 2 バージョンでは、細部に渡っていくつかの改善を加えました。
オフラインコンピューティング 予測結果を CSV 形式で HDFS にドロップできる「フィールド ランディング」ツール コンポーネントを提供します。
定期的なスケジュールとマクロ変数のサポート 当社の別の製品であるビッグデータ開発キット (BDK) は、定期的なスケジュール設定の機能をカバーしています。機械学習プラットフォームのモデリング実験は、サブタスクの形でこれに組み込むことができます。マクロ変数 (「/%Y/%m/%d」などの特定の規則的な構文置換は現在の日付を表すことができます) と組み合わせることで、ユーザーは当社のプラットフォームでモデリング実験をホストし、定期的なオフライン コンピューティングの目的を達成できます。 建築 要約すると、当社のプラットフォームの第 2 バージョンは、コンポーネントの強化と機能の改善、オフライン コンピューティングの結果の実装、定期的なオフライン コンピューティングのための BDK の組み合わせに重点を置いています。具体的なアーキテクチャは次のように進化しました。 v3.0 (リアルタイム予測とクロス検証) リアルタイム予測 当社のプラットフォームでは、モデリング実験を通じてモデルをトレーニングできます。モデルは、PMML などの標準を通じてエクスポートできます。同様に、モデル エクスポート機能を使用して、モデルを parquet 形式で HDFS の対応するディレクトリに保存できます。ユーザーはこれらのモデル標準を入手し、一部の機能を独自に実装できます。しかし、リアルタイム予測機能も当社のプラットフォーム上で抽象化できると考えています。そのため、3.0 アーキテクチャでは、リアルタイム予測サービスを提供する tcscoring システムを開発しました。 tcscoring システムの依存媒体はモデルの PMML ファイルです。ユーザーは、トレーニング済みのモデルに対応する PMML ファイルを機械学習プラットフォームに直接展開するか、他のパスを通じて PMML ファイルを生成することができます。デプロイが成功すると、予測用の REST インターフェイスがビジネスでの使用のために返されます。 もちろん、PMML の展開を BDK と組み合わせて定期的なスケジュールを設定することもできます。モデルの定期的なトレーニングと組み合わせることで、トレーニング + 予測プロセス全体を機械学習プラットフォーム + BDK に委託してホスティングすることができます。 クロス検証 機械学習プラットフォームの 3 番目のバージョンでは、クロス検証にも重点を置いています。以前のバージョンでは、ユーザーは一度に 1 セットのハイパーパラメータしか実験できませんでした。クロス検証を使用すると、ユーザーは 1 つの実験で複数のハイパーパラメータ セットを設定し、トレーニング セットをトレーニング用と検証用に比例して分割して、最適なモデルを取得できます。 プラットフォームの展望 パーソナライゼーション 3 回の反復を経て、機械学習プラットフォームは多くの一般的な事柄を抽象化しましたが、収益化がうまくいかなかったパーソナライズされたものがまだいくつか残っていました。システムをパーソナライズする最良の方法は、ユーザーに独自のコードを書かせることだというのが私たちの考えです。カスタム プラグインのインターフェイスをオープンにし、動的コンパイル技術を使用してこれらのパーソナライズされたコンポーネントをロードし、モデリング プロセスに統合します。 他のアルゴリズムパッケージを統合する 現在、広く使用されている xgboost など、spark ml 以外のアルゴリズム パッケージの統合も試みています。一方、現在のアルゴリズムは依然として従来の機械学習アルゴリズムに基づいています。ディープラーニングの場合、TensorFlow に組み込まれているか、Deeplearning4j などのサードパーティのディープラーニング ライブラリを使用しているかなどです。次に、Spark ml以外のアルゴリズムパッケージを統合してみます。 |
>>: ビッグデータと人工知能の分野で初心者から専門家になるためのガイド
気候変動の緩和は緊急の優先課題になりつつあります。時間を無駄にすることはできません。大気中の二酸化炭...
プログレス・パートナーズの創設者兼シニアマネージングディレクターのニック・マクシェーン氏は、「今後数...
少し前、ビリビリのトップUP司会者「こんにちは先生、私の名前は何童雪です」が「Airdesk」を開発...
翻訳者 |ブガッティレビュー | Chonglou Twitter 、 LinkedIn 、またはニ...
Googleは8月30日、Gmail、ドライブ、スライド、ドキュメントなどを含むすべてのWorks...
6月30日、瑞傑ネットワークス株式会社(以下、瑞傑ネットワークス)と合肥美的智能科技有限公司(以下...
(NetEase Intelligence English ソース/Engadget 翻訳/Mach...
翻訳者 | 李睿校正 | 孫淑娟 良策企業システムのインテリジェント自動化のプロセスでは、各段階の開...
今年、AIプロジェクトのAlphGoとLibratusが、それぞれ囲碁とテキサスホールデムポーカーで...
変化だけが唯一不変です。これはあなたのキャリアにも当てはまります。テクノロジーが急速に進化していると...
米国現地時間6月16日から20日まで、コンピュータビジョンとパターン認識の分野における世界有数の学術...
ディープラーニングと人工知能は誰もが知る名前になりましたが、この革命を推進する統計学の進歩はあまり知...