機械学習の運用はクラウドコンピューティングの運用には適していない

クラウド コンピューティング サービス チームに機械学習機能を備えたシステムを提供することは間違いであるだけでなく、危険でもあります。

[[276467]]

ある会社のクラウド プラットフォームが週末に障害を起こし、同社のクラウド コンピューティング運用チームは何が起こったのかを調査しようとしました。機械学習を活用した高度な新しい在庫管理システムに関連するいくつかのシステムに問題があったようです。テスト後の結論は次のとおりです。

• 運用データベースからトレーニング データベースに生データを移動するバッチ プロセスと自動回復プロセスが失敗しました。週末に作業していた運用チームのメンバーは再送信を試みましたが、一度にすべて送信するのではなく、4 回の更新を行ったため、トレーニング データベースが不安定な状態になりました。
• これにより、機械学習システム内の知識モデルが不正確なデータでトレーニングされ、知識ベース内の新しい情報を削除してモデルを再構築する必要が生じます。
• さらに、一部の外部データ フィード (価格や税金データなど) もトレーニング データベースに同時に更新されます。これらは正常に動作しますが、運用データがあまり良くないため、ナレッジ ベースから削除する必要があります。
• システムは 2 日間使用できず、生産性の低下、顧客の不満、広報上の問題により、会社は 400 万ドルの損害を被りました。

企業が「安価で強力な」クラウドベースの機械学習システムを使用するケースが増えるにつれ、機械学習を活用するシステムの運用が複雑であることに気づき始めています。ビジネス運営グループは、困難さと複雑さを軽減したいと考えていましたが、トレーニング、人員、資金が不足しているという問題に直面していました。

クラウド運用チームは、クラウドベースのデータベース、ストレージ、コンピューティングを非常に簡単に移行して処理できます。クラウドベースのシステムは従来のシステムと似ていることを考慮すると、これはほとんどの場合に当てはまります。

しかし、運用チームの多くはまだ機械学習ベースのシステムを導入していません。これらのシステムは特殊な目的を持ち、データベースやナレッジ エンジンなど、何らかの方法で監視および管理する必要がある特殊なシステムです。現在の運用チームが失敗しているのはここです。

このシナリオは理解しやすいですが、機械学習のためのクラウド コンピューティング運用にさらに費用がかかり、放棄につながる可能性があるため、ほとんどの企業はこれを好みません。機械学習システムは、慎重に使用すれば非常に効果的な一連の技術です。適切に処理されない場合、障害が検出されず、危険な状態になる可能性があります。システムが結果として得た誤った知識を使用すると、最終的には深刻な問題が発生する可能性があり、大きな損害が発生するまで検出されない可能性があります。リスクが利益を上回っているようです。