モデルトレーニング: AIと機械学習の最適化とDevOpsツールの利用の改善

フランス料理の秘訣はバター、バター、そしてさらにバターだと言われています。同様に、DevOps の場合、成功の秘訣は自動化、自動化、そしてさらなる自動化の 3 つであり、すべてはソフトウェアの新しいバージョンをより迅速に継続的にリリースできるプロセスを構築することに帰着します。

人々が考えていることに反して、人工知能 (AI) と機械学習 (ML) には、特徴エンジニアリングやパラメータ調整など、依然として多くの手作業が伴います。しかし、これらの分野では自動化が非常に重要であり、MLOps（機械学習運用）はあらゆる種類の企業にとって優れたビジネス上の決定であることが証明されています。最終的な目標は、モデルの構築と研究を自動化し、開発プロセス全体を通じてコラボレーションとバージョン管理をさらに可能にすることです。

ただし、生産中のモデルの動的な性質により、これを実現するのは必ずしも容易ではありません。モデルを展開するとフィードバック ループとデータが変更される可能性があり、継続的な再トレーニングと更新が必要になります。自動化は、手動による介入をあまり行わずにモデルを何度も安全に再デプロイするために不可欠です。

機械学習を使用して使用を最適化する

DevOps 環境での使用パターンを予測するための基本的な実際のシナリオは 2 つあります。

最初のシナリオでは、企業は DevOps の成熟度に基づいて分類され、製品の使用における成熟度とギャップが判断されます。たとえば、低レベルのツールを注文したが、より高度なニーズや要件がある場合は、より高いレベルにアップグレードすると役立つ場合があります。 DevOps の意思決定者は、効率を最適化するために、チームの使用パターンに基づいてパーソナライズされた推奨事項を生成する必要があります。

2 番目のケースでは、使用パターンを予測し、異常を検出して、異常が発生した時期を特定し、1 ～ 3 か月前に使用状況に関する洞察を提供することに重点が置かれます。これにより、DevOps ワークフローの健全性を評価し、肯定的または否定的な傾向を特定し、予期しない異常をより簡単に処理できるようになります。継続的な分析、展開、監視の取り組みにより、高品質のモデルが本番環境に導入されます。

これら 2 つのシナリオは、営業担当者が Salesforce でモデルを使用する方法に似ています。顧客の成熟度評価、フィードバック、説明可能性に関する情報を受け取ります。説明可能性セクションでは、モデルが顧客を成熟度の高い、中程度の、または低いと分類した理由に関する情報が提供されます。この内訳には、顧客体験、トレーニング、テクノロジーの使用、連絡先の数など、多くの要因が関係しています。この情報により、営業担当者は顧客とより効果的な会話をし、適切なアップグレードや改善を推奨できるようになります。

このような分類モデルは、CatBoost などのツールを使用して構築できます。 CatBoost は強力な Python 機械学習パッケージです。これらのツールはラベルと欠損値を処理できるため、モデリング プロセスが簡素化されます。組織の DevOps 成熟度を判断するために、Web サイト訪問、イベント出席、フリーテキスト分析、場所、使用パターン、サードパーティのデータなど、さまざまな入力を考慮することができます。データ セットが不完全な場合でも、これらの要素を考慮することで貴重な洞察を得ることができます。

時系列データを活用して使用状況を最適化する

時系列データ モデルは使用パターンを予測するためにも使用できます。時系列モデルは、過去の使用状況データを分析し、特定の月の残りと将来の月の使用状況を予測することで傾向と異常を特定するように設計されています。

時系列データ ツールにより、チームは過去の使用状況データをグラフ形式で視覚化し、週末の使用状況が低く、平日の使用状況が高いことを示すことができました。このデータを分析することで、モデルは将来の傾向を予測し、ビジネスの健全性に関する洞察を提供できます。使用量が減少すると予測される場合、視覚化によってマイナスの傾向が明らかになり、企業が問題に対処するための積極的な措置を講じることができるようになります。逆に、使用量の増加が予測される場合、企業はベンダーと協力して、ツールが効果的に使用されるようにするための措置を講じることができます。

予測された使用量とグラフに表示される実際の使用量を比較することで、異常を特定できます。予測データと実際のデータの間に大きなギャップがある場合は異常を示しており、使用量の増加や製品の不適切な使用など、さまざまな意味を持つ可能性があります。運用効率を確保するには、異常をタイムリーに特定して解決することが重要です。

要約すると、時系列モデルを使用すると、企業は使用状況を予測し、傾向を追跡し、異常を特定し、製品の利用率を向上させるための適切なアクションを実行できるようになります。

LSTMモデルの長所と短所

Long Short-Term Memory (LSTM) モデルは使用を最適化する優れた方法であることがわかりました。このため、モデルの入力には通常、過去の日々の使用データ、休日情報、平日/週末の指標という 3 つの主要コンポーネントが含まれます。これらの入力を使用することで、モデルは非常に正確な予測を生成できます。

LSTM モデルは、さまざまな期間のデータセットを作成して複数の構成でモデルのパフォーマンスをテストするなど、特定の時点のスナップショットを生成できます。 SQL クエリを作成する Alation などのツールを使用すると、これらのデータ セットを管理し、社内のチーム メンバーと簡単に共有できるようになります。

チームは、モデルの信頼性を確保するために、検証およびテストのプロセスを実装する必要もあります。機能の重要性はこのプロセスにとって非常に重要であり、時間の経過とともに変化しません。特徴の重要度の変化は、データまたはモデル自体に問題があることを示している可能性があるため、これらの変化を追跡および監視すると、潜在的な問題を特定するのに役立ちます。

さらに、入力データ (カテゴリおよび数値) のテストも検討する必要があります。カテゴリデータの場合、量とカテゴリの両方の一貫性が重要です。同時に、数値データの平均や標準偏差などのメトリックを監視することで、注意が必要な重大な変化を検出することができます。

データの検証、監視、テストは、モデルの正確性と信頼性を確保するために重要です。

評価と検証を通じて構成を比較する

さまざまな構成、特に LSTM モデルを比較する場合、Valohai などのツールを使用すると、チームは複数のパラメータに対してグリッド検索を実行したり、さまざまな時間枠にわたってデータ スナップショットを実行したりできます。モデルの最適な構成を決定するのに役立つ、精度、再現率、精度などのメトリックを提供します。

最新の ML ツールの価値は、実行と結果をアーカイブ、共有、監査する機能にあります。また、モデル全体を再実行することなく、モデルのパフォーマンス メトリックを調整することもできます。ビジネス要件が変更された場合、新しい目標を満たす別の構成を選択するのに役立ちます。

展開に関しては、モデルは通常、スケジュールに基づいてバッチ プロセスとして実行され、戦略的な時間に 1 日に 2 回実行されます。これにより、企業は一日の始まりに最新のデータを入手し、一日を通して更新情報を受け取ることができます。新しいデータを組み込むために、モデルを定期的に再トレーニングする必要があります。

予想された対策からの逸脱や範囲の大幅な変更は綿密に監視し、自動アラートをトリガーして、タイムリーな対応が取れるようにする必要があります。さらに、日常的なユーザーからのフィードバックは、再現率や精度などの従来の指標を超えることが多いため、モデルのパフォーマンスを評価する上で重要な役割を果たします。フィードバック ループを閉じると、リアルタイムのユーザー エクスペリエンスとフィードバックに基づいた継続的な改善が保証されます。

価値と効率を高める

検証済みで安全なデータ サイエンスとモデル トレーニングを作成することは、多くの現代企業が直面している課題です。実証済みで効果的な DevOps プラクティスを適用して、アイデアの創出から生産、展開までの AI および ML プロセスを自動化すると、テクノロジー スタック全体でツールの使用を最適化したいと考えている企業に大きな価値をもたらすことができます。

結局のところ、このアプローチはビジネス上大きな意味を持ちます。未使用のツールや機能に対する追加支出を回避することで利益が増加します。おそらくもっと重要なのは、チーム メンバーが反復的で退屈で時間のかかる DevOps タスクを実行する必要がなくなるため、チームの士気、生産性、人材の維持率が向上することです。どの開発者もこのような環境を好むでしょう。