クラウドで必要な 5 つの機械学習スキル

機械学習と AI は IT サービスにさらに深く浸透し、ソフトウェア エンジニアが開発したアプリケーションを補完し続けています。 IT チームが追いつきたいのであれば、機械学習のスキルを向上させる必要があります。

クラウド コンピューティング サービスは、AI および機械学習アプリケーションの構築と展開のためのさまざまな機能をサポートします。多くの点で、AI システムの管理は、IT プロフェッショナルがクラウド内で使い慣れている他のソフトウェアと非常によく似ています。ただし、アプリケーションをデプロイできるからといって、必ずしも機械学習モデルを正常にデプロイできるとは限りません。

[[349722]]

これらの共通点により移行が加速される可能性がありますが、依然として重要な違いも存在します。ソフトウェア エンジニアリングのスキルに加えて、IT チームのメンバーには特定の機械学習と AI の知識も必要になります。技術的な専門知識に加えて、チームの取り組みをサポートするために現在利用可能なクラウド コンピューティング ツールを理解する必要があります。

クラウドで AI を効果的に活用するために IT プロフェッショナルが必要とする 5 つの機械学習スキルを探り、これらのスキルをサポートするために Amazon、Microsoft、Google が提供する製品について学びましょう。これらのスキルセットには重複する部分もありますが、1 人の人間がすべてを習得できるとは期待しないでください。これらのスキルを持つ人材のチームを構築することで、クラウドベースの機械学習を最大限に活用できる最適な立場にビジネスを置くことができます。

1. データエンジニアリング

IT プロフェッショナルがクラウドであらゆる種類の AI 戦略を実装したい場合は、データ エンジニアリングを理解する必要があります。データ エンジニアリングには、データ ラングリングやワークフロー開発などの分野から、ソフトウェア アーキテクチャの知識まで、さまざまなスキルが含まれます。

これらのさまざまな IT 専門知識の領域は、IT プロフェッショナルが達成すべきさまざまなタスクに分類できます。たとえば、データ ラングリングには通常、データ ソースの識別、データの抽出、データ品質の評価、データの統合、および実稼働環境でこれらの操作を実行するためのパイプラインの開発が含まれます。

データ エンジニアは、リレーショナル データベース、NoSQL データベース、オブジェクト ストレージ システムの操作に慣れている必要があります。 Python は、Apache Beam などのバッチおよびストリーム処理プラットフォームや、Apache Spark などの分散コンピューティング プラットフォームと組み合わせて使用​​される、人気のプログラミング言語です。熟練した Python プログラマーでなくても、言語に関するある程度の知識があれば、データ エンジニアリングや機械学習用のさまざまなオープン ソース ツールからスキルを向上させることができます。

データ エンジニアリングはすべての主要なクラウドで十分にサポートされています。 AWS は、AWS Glue、Amazon Managed Streaming for Apache Kafka (MSK)、さまざまな Amazon Kinesis サービスなど、データエンジニアリングをサポートする包括的なサービスを提供しています。 AWS Glue は、スケジュールされたジョブのサポートを含むデータカタログおよび抽出、変換、ロード (ETL) サービスです。 MSK はデータ エンジニアリング パイプラインの便利な構成要素であり、Kinesis サービスはスケーラブルなストリーム処理パイプラインのデプロイに特に役立ちます。

Google Cloud Platform は、バッチ処理とストリーム処理をサポートするマネージド Apache Beam サービスである Cloud Dataflow を提供しています。 ETL プロセスの場合、Google Cloud Data Fusion は Hadoop に基づくデータ統合サービスを提供します。 Microsoft Azure では、Azure Cosmos DB、Data Catalog、Data Lake Analytics など、さまざまな管理データ ツールも提供されています。

2. モデル構築

機械学習は十分に発達した分野であり、機械学習アルゴリズムを研究および開発することでキャリアを築くことができます。

IT チームは、エンジニアが提供するデータを使用してモデルを構築し、推奨事項の作成、値の予測、アイテムの分類を行うソフトウェアを作成します。モデル構築プロセスの多くはクラウド内で自動的に実行されますが、機械学習技術の基礎を理解することが重要です。

モデルビルダーとして、データとビジネス目標を理解する必要があります。問題を解決するためのソリューションを構想し、それを既存のシステムと統合する方法を理解する必要があります。

現在、市場には Google の Cloud AutoML などの既成製品が存在します。これは、機械学習についてあまり知らなくても、構造化データ、画像、動画、自然言語を使用してカスタム モデルを構築できる一連のサービスです。 Azure は Visual Studio で ML.NET モデル ビルダーを提供しており、モデルの構築、トレーニング、デプロイのためのインターフェイスを提供します。

Amazon SageMaker は、クラウドで機械学習モデルを構築およびデプロイするためのもう 1 つのマネージドサービスです。 これらのツールは、アルゴリズムを選択し、データ内のどの機能または属性が最も価値があるかを判断し、ハイパーパラメータ調整と呼ばれるプロセスを使用してモデルを最適化できます。これらのサービスにより、機械学習と AI 戦略の潜在的な用途が拡大します。車を運転するのに機械工学のエンジニアである必要がないのと同じように、効果的なモデルを構築するのに機械学習の大学院の学位は必要ありません。

3. 公平性と偏りの検出

アルゴリズムによって下された決定は、個人に直接かつ重大な影響を及ぼします。たとえば、金融サービスでは AI を使用して信用に関する決定を下しますが、その決定によって意図せず特定のグループの人々に有利になることがあります。これは、個人への信用を拒否することで個人に損害を与えるだけでなく、金融機関が信用機会均等法などの規制に違反するリスクにもつながります。

これらの一見困難なタスクは、AI および機械学習モデルにとって避けられないものです。モデル内のバイアスを検出するには、高度な統計および機械学習のスキルが必要になる場合がありますが、モデルの構築と同様に、面倒な作業の一部は機械で行うことができます。

FairML は予測モデルを監査するためのオープンソース ツールであり、開発者が作業中の偏りを特定するのに役立ちます。モデルのバイアス検出に関する経験は、データ エンジニアリングとモデル構築のプロセスにも役立ちます。 Google Cloud は、What-If ツール、公平性インジケーター、説明可能な AI サービスなどの公平性ツールで市場をリードしています。

4. モデルのパフォーマンス評価

モデル構築プロセスの一部は、機械学習モデルのパフォーマンスを評価することです。たとえば、分類分析は、精度、適合率、再現率に基づいて評価されます。回帰モデル（住宅の販売価格を予測するモデルなど）は、平均エラー率を測定することによって評価されます。

現在パフォーマンスが良いモデルでも、将来はパフォーマンスが悪くなる可能性があります。ここでの問題は、モデルが何らかの理由で破損することではなく、モデルのトレーニングに使用されたデータが古くなり、将来の世界を反映しなくなることです。突然の大きなイベントがなくても、データドリフトが発生する可能性があります。モデルを評価し、運用環境で継続的に監視することが重要です。

Amazon SageMaker、Azure Machine Learning Studio、Google Cloud AutoML などのサービスには、モデルのパフォーマンスを評価するためのツールが含まれています。

5. ドメイン知識

ドメイン知識は特定の機械学習スキルではありませんが、成功する機械学習戦略にとって最も重要な要素の 1 つです。

各業界には独自の知識体系があるため、特にアルゴリズムによる意思決定ツールを構築する場合には、関連業界の調査が必要になります。機械学習モデルは、トレーニングに使用されるデータによって制限されます。ドメイン知識を持つ人は、AI をどこに適用するかを知り、その有効性を評価できます。