クラウド コンピューティングに必要な 5 つの機械学習スキル

機械学習と人工知能は、IT サービス分野に浸透し続け、ソフトウェア エンジニアが開発したアプリケーションを補完するでしょう。 IT チームが追いつきたいのであれば、機械学習のスキルを向上させる必要があります。

クラウド コンピューティング サービスは、人工知能や機械学習アプリケーションの構築と展開に必要なさまざまな機能をサポートします。多くの点で、AI システムは、IT プロフェッショナルがクラウド内で使い慣れている他のソフトウェアとほぼ同じように管理されます。しかし、アプリケーションをデプロイできるからといって、機械学習モデルを正常にデプロイできるとは限りません。

[[351383]]

これらの共通点は移行を容易にする可能性がありますが、大きな違いもあります。ソフトウェア エンジニアリングのスキルに加えて、IT チームのメンバーは特定の機械学習と AI の知識も持つ必要があります。技術的な専門知識に加えて、チームの取り組みをサポートするために現在利用可能なクラウド コンピューティング ツールを理解する必要があります。

IT プロフェッショナルは、クラウドで AI を効果的に使用するために必要な 5 つの機械学習スキルを調査し、それらをサポートする Amazon、Microsoft、Google の製品について学習する必要があります。これらのスキルには重複する部分もありますが、すべての人に当てはまる万能のスキルはありません。これらのスキルを持つチームメンバーを育成することで、組織はクラウドベースの機械学習を活用するメリットを享受できます。

1. データエンジニアリング

IT プロフェッショナルがクラウドであらゆる種類の AI 戦略を実装したい場合は、データ エンジニアリングを理解する必要があります。データ エンジニアリングには、データ ラングリングとワークフロー開発、およびソフトウェア アーキテクチャに関する知識を必要とする一連のスキルが含まれます。

IT 専門知識のさまざまな領域は、IT プロフェッショナルが達成すべきさまざまなタスクに分類できます。たとえば、データ ラングリングには通常、データ ソースの識別、データの抽出、データ品質の評価、データの統合、およびパイプラインの開発が含まれ、運用環境でこれらの操作を実行します。

データ エンジニアは、リレーショナル データベース、NoSQL データベース、オブジェクト ストレージ システムの操作に慣れている必要があります。 Python は、Apache Beam などのバッチおよびストリーム処理プラットフォームや、Apache Spark などの分散コンピューティング プラットフォームで使用できる人気のプログラミング言語です。 IT スタッフが Python プログラミングの専門家でなくても、この言語に関する知識があれば、データ エンジニアリングや機械学習のための幅広いオープン ソース ツールにアクセスできるようになります。

データ エンジニアリングは、すべての主要なクラウド プラットフォームで十分にサポートされています。 AWS は、AWS Glue、Apache Kafka 向け Amazon Managed Streaming (MSK)、さまざまな Amazon Kinesis サービスなど、データエンジニアリングをサポートする包括的なサービスを提供しています。 AWS Glue は、スケジュールされたジョブのサポートを含むデータカタログおよび抽出、変換、ロード (ETL) サービスです。 MSK はデータ エンジニアリング パイプラインの便利な構成要素であり、Kinesis サービスはスケーラブルなストリーム処理パイプラインのデプロイに特に役立ちます。

Google Cloud Platform は、バッチ処理とストリーム処理の両方をサポートするマネージド Apache Beam サービスである Cloud Dataflow を提供しています。 ETL プロセスの場合、Google Cloud Platform は Hadoop に基づくデータ統合サービスを提供します。

Microsoft Azure では、Azure Cosmos DB、Data Catalog、Data Lake Analytics などの管理されたデータ ツールもいくつか提供されています。

2. モデルを構築する

機械学習は常に進化し進歩している分野であり、IT プロフェッショナルは機械学習アルゴリズムの研究と開発でキャリアを築くことができます。

IT チームは、エンジニアが提供するデータを使用してモデルを構築し、推奨事項の作成、値の予測、アイテムの分類が可能なソフトウェアを作成します。モデル構築プロセスの多くはクラウドで自動化されていますが、機械学習の基礎を理解することが重要です。

モデルビルダーは、データとビジネス目標を理解し、問題に対する解決策を策定し、それを既存のシステムと統合する方法を理解する必要があります。

市場に出回っている製品の中には、Google の Cloud AutoML があります。これは、機械学習についてあまり知らなくても、構造化データや画像、動画、自然言語を使用して組織がカスタム モデルを構築できるようにするサービスです。 Microsoft Azure は、モデルの構築、トレーニング、およびデプロイのためのインターフェイスを提供する Visual Studio の ML.NET モデル ビルダーを提供します。 Amazon SageMaker は、クラウドで機械学習モデルを構築およびデプロイするためのもう 1 つのマネージドサービスです。

これらのツールは、アルゴリズムを選択し、データ内のどの機能または属性が最も有用であるかを判断し、ハイパーパラメータ調整と呼ばれるプロセスを使用してモデルを最適化できます。これらのサービスにより、機械学習と人工知能戦略の潜在的な用途が拡大します。車を運転するのに自動車整備士である必要がないのと同様に、IT プロフェッショナルは効果的なモデルを構築するために機械学習の大学院の学位を取得する必要はありません。

3. 公平性と偏りの検出

アルゴリズムによって下された決定は、個人に直接かつ重大な影響を及ぼします。たとえば、金融サービスでは AI を使用して信用に関する決定を下しますが、その決定が意図せず特定のグループの人々に対して偏見を持つ可能性があります。これにより、個人への信用が拒否される可能性があるだけでなく、金融機関が信用機会均等法などの規制に違反するリスクも生じます。

これらの一見困難なタスクは、人工知能や機械学習モデルにとって不可欠です。モデル内のバイアスを検出するには、統計および機械学習のスキルが必要になる場合がありますが、モデル構築と同様に、面倒な作業の一部は機械で行うことができます。

FairML は予測モデルを監査するためのオープンソース ツールであり、開発者が作業中の偏りを特定するのに役立ちます。モデルのバイアス検出の経験は、データ エンジニアリングおよびモデル構築プロセスにも役立ちます。 Google Cloud の公平性ツールは、what-if 分析ツール、公平性指標、説明可能な AI サービスなど、市場をリードしています。

4. モデルのパフォーマンス評価

モデル構築プロセスの一部は、機械学習モデルのパフォーマンスを評価することです。たとえば、分類器は精度と再現率に基づいて評価されます。住宅の販売価格を予測するモデルなどの回帰モデルは、平均誤差率を測定することによって評価されます。

現在パフォーマンスが良好なモデルでも、将来はパフォーマンスが低下する可能性があります。問題は、モデルが何らかの形で壊れているかどうかではなく、モデルが使用されているコンテキストを反映していないデータでトレーニングされたことです。突然の大きなイベントがなくても、データドリフトが発生する可能性があります。モデルを評価し、運用環境で継続的に監視することが重要です。

Amazon SageMaker、Azure Machine Learning Studio、Google Cloud AutoML などのサービスには、さまざまなモデルパフォーマンス評価ツールが含まれています。

5. ドメイン知識

ドメイン知識は特定の機械学習スキルではありませんが、成功する機械学習戦略にとって最も重要な要素の 1 つです。

どの業界にも、何らかの形で研究しなければならない一定の知識体系があり、特にアルゴリズムを構築する意思決定者にとってはそれが当てはまります。機械学習モデルは、トレーニングに使用されるデータを反映するように制約されます。ドメイン知識を持つ IT スタッフは、AI をどこに適用するかを把握し、その有効性を評価する上で非常に重要です。