機械学習の教訓: 5 つの企業が失敗を共有

機械学習は現在注目されている技術の 1 つであり、多くのビジネスおよびテクノロジー分野の幹部は、自社の組織がどのように機械学習に参加できるかを理解しようと奮闘しています。機械学習を適切に活用すれば、より効果的な販売およびマーケティング キャンペーンの作成、財務モデルの改善、不正行為の検出の容易化、機器の予測メンテナンスの向上など、さまざまなメリットが得られます。

[[253720]]

しかし、機械学習はひどく失敗する可能性もあり、後悔することになるかもしれません。ここでは、機械学習を導入した企業での実際の経験に基づいて、機械学習が失敗する可能性のある 5 つの方法を紹介します。彼らは、あなたが彼らから学び、同じ失敗を避けられることを願って、自らの経験を共有しています。

レッスン 1: 誤った仮定は機械学習を台無しにする可能性がある

Projector PSA は、プロフェッショナル サービス自動化ソフトウェアを設計および製造し、コンサルティング会社の事業運営を支援するアメリカの企業です。同社は、人員配置計画の差異を予測するために機械学習を使用しようとしたときに、この教訓を身をもって学びました。

コンサルティング会社には、自分の才能を効果的に活用できる専門的でよく訓練されたコンサルタントが多数在籍しているため、企業はプロジェクトの人員ニーズを評価および予測するためにプロジェクト マネージャーを雇う必要があることがよくあります。

次に、コンサルタントが各プロジェクトに費やした時間を追跡し、クライアントに請求できるようにします。組織がプロフェッショナル サービス自動化ツールなどの単一のシステムで両方のアクティビティを管理する場合、予測と実際の時間を比較して、さまざまなプロジェクト マネージャーの計画の正確さを把握できるなど、明らかな利点がいくつかあります。

Projector PSA の COO である Steve Chong 氏は、同社が何百人ものプロジェクト マネージャーを雇用している顧客と調査を開始したことを思い出します。計画期間が長くなるにつれて、実際に働いた平均時間と予測時間数を比較するモデルを構築します。また、数か月間にわたるプロジェクト マネージャーの予測の一貫性と変動性も調査しました。

つまり、ある週の予測が高すぎて、次の週の予測が低すぎる場合 (変動性が高い)、Projector PSA は、予測の平均差が小さくなるように、または変動が小さくなるように、2 つの予測が相殺できるかどうかを把握する必要があります。

「当初の前提は、分散と変動性が低いことは良いことであり、分散と変動性が高いことは悪いことだ」とチョン氏は語った。この前提に基づき、Projector PSA は、同社のプロジェクト マネージャーのサンプルをトレーニング セットとして使用し、このデータに基づいてプロジェクト マネージャーを「溜め込み派」や「楽観派」などのさまざまなグループに分類する機械学習アルゴリズムを実装しました。

同社はその後、機械学習アルゴリズムに学習内容に基づいて残りのプロジェクトマネージャーを分類させました。結果的に、会社で最も経験豊富でよく訓練されたプロジェクト マネージャーの一部が、ばらつきと変動性が高いという理由で最悪の違反者としてランク付けされていることがわかりました。

「実際、これらのプロジェクトマネージャーは、問題のあるプロジェクトに対して解決策を考え出し、それを制御できる人材です」と彼は語った。

同様に、初期の機械学習アルゴリズムは、分散と変動性がほぼゼロであったため、プロジェクト マネージャーを高く評価しました。しかし、彼女は予測時間をチームに送信した際に、チームがその時間を実際の労働時間として報告するだろうという暗黙の期待を抱いていたことが判明しました。チョン氏は、この結果、予算を超過したり下回ったりすることがなくなったが、実際には、チームが全体の状況にとって有益ではない行動を取るよう促していたと述べた。

「これらのエラーは機械学習アルゴリズム自体によって引き起こされるのではなく、最初にトレーニングするときに立てた仮定によって発生します」とチョン氏は述べた。 「彼らは、データが表す現実を完全に理解することなく、データへの完全な依存を復活させているだけだ。」

同社は、こうした新しいプロフィールを認識できるように機械学習アルゴリズムをトレーニングすれば、より現実を反映したものになると考えている。

レッスン2: 教師なし機械学習には予期しないバイアスが生じる可能性がある

多くのタスクは機械学習で達成できますが、プロジェクトの開始時にいくつかの状況が考慮されていなかったために、機械学習が誤った結果を生成する場合があります。これは、人事部門のデジタル変革の一環として機械学習を使用したブラジルの金融サービス会社 Mejor Trato で起こったことです。

このプロジェクトでは、潜在的な新入社員にライブチャットで一連の質問に答えてもらい、社内で開発された機械学習チャットボットを使用しました。

チャットボットを最初に使用したときに、2 つの重要な問題が発生しました。 1 つは、求職者に間違ったプロフィール/キャリア フォームに記入するよう求めることです。もう 1 つの問題は、面接の時間が人事スタッフの会議と重なっていたため、人事スタッフが必要に応じてチャットボットを監視できなかったことです。

CTO のクリスチャン・レネラ氏は、最初の数週間は HR チームの誰かがすべての会話を監視し、必要に応じてボットを修正できるようにすることが重要だと述べています。 「私たちは、すべてが解決したと思い込み、チャットボットを監視せずに放置するという間違いを犯しました」と彼女は語った。教訓は、「数か月間、チャットボットをフルタイムで監視し続けることを忘れないこと」です。

同社はチャットボットを微調整せずに、収集されたデータの 10% に誤りがあると結論付けました。

「機械学習は当初は回答の90％には役立つかもしれないが、残りの10％は人間が監督してアルゴリズムを修正する必要がある」とレネラ氏は述べた。時間が経つにつれて、ユーザビリティは90％から99％に向上するが、「プロジェクト開始時には予想していなかった潜在的なバイアスや新たな状況にも注意を払うのをやめるわけにはいかない」と同氏は述べた。

レッスン 3: 不適切なデータ注釈は機械学習の結果に悪影響を及ぼす

ロシアの関連会社 2 社、Ashmanov Neural Networks と SOVA (Smart Open Virtual Assistant) は、ビジネス クライアント向けに機械学習ベースの製品を開発しています。その内容には、ビデオ分析、自然言語処理、信号処理、ニューラル ネットワークが含まれます。

両社のCEOであるスタニスラフ・アシュマノフ氏は、企業が機械学習で抱える最大の問題の一つは、ラベル付けの難しさによる質の悪いデータだと語った。 「高品質のデータラベルを提供するのは非常に難しい」とアシュマノフ氏は言う。 「データ識別に携わる人は、急いで仕事をしていることが多いため、ずさんな作業になることがよくあります。さらに、誰もが同じように取り組み、理解できるような方法でタスクを提供するのは非常に困難です。」

したがって、データには、画像内の誤って識別された輪郭など、複数のラベル付きサンプルが含まれる可能性があり、トレーニングされたニューラル ネットワークのパフォーマンスに何らかの影響を与える可能性があります。

短期間で大量の必要なデータを収集することも困難です。データ収集には数か月かかる可能性があるとアシュマノフ氏は述べた。さらに、インターネットなどの公開ソースから収集されたデータは、必ずしも現実を正確に反映しているわけではありません。たとえば、スタジオや研究室で撮影された写真は、実際の街の風景や工場の生産ユニットのスナップショットとは大きく異なる場合があります。その結果、このようにトレーニングされたニューラル ネットワークのパフォーマンスは非常に低くなります。

何が問題になるかを示す一例として、同社が顧客プロジェクトの一環として、オンラインの自撮り写真に映る眼鏡を認識するようニューラルネットワークをトレーニングしたケースが挙げられます。彼らはソーシャルメディアからいくつかの写真を集めてタグ付けしました。アシュマノフ氏は、ニューラルネットワークのパフォーマンスが低いのは、目の下にクマがある人を眼鏡をかけていると勘違いしたためだと述べた。

別のクライアントは、都市の衛星画像 2 枚を提出しました。タスクは、画像内の車にラベルを付け、ニューラル ネットワークに車を認識しておおよその数を数えるように教えることです。この場合、問題は、建物の屋根の出っ張りが小さく、長方形で、大部分が暗いという外観が似ているため、ニューラル ネットワークがそれを車と認識したことでした。

「すべては、特殊なケースの慎重な研究、ヒューリスティックの作成、予備的なデータ処理と後処理の証明チェックの改善にかかっています」とアシュマノフ氏は語った。

レッスン4: 過度に微妙な分類問題は機械学習を混乱させる可能性がある

法務業界やその他の市場に電子証拠開示技術を提供する米国企業、ケースポイントも、機械学習アルゴリズムの欠陥による問題を経験している。同社は文書の分類と予測分析に機械学習を使用しています。このテクノロジーを使用することで、法務チームは文書の確認と整理に費やす時間を大幅に短縮できます。

最高戦略責任者のデビッド・カーンズ氏は、文書の分類に機械学習を使うのは効果的だが完璧ではないと述べた。同社が特定した弱点の1つは、微妙で複雑な分類問題を解決するために機械学習に過度に依存していることである。

たとえば、法務分野では、「文書生成の要求」に応じて文書を識別するために、機械学習文書分類器がよく使用されます。当事者 A は特定のトピックまたはコンテンツに関連するドキュメントを要求し、当事者 B は機械学習ドキュメント分類子を使用して、ドキュメント リポジトリで対応するドキュメントを選別できます。

カーンズ氏によると、このアプローチは非常に効果的であるため、弁護士はTAR文書の審査を支援するためにこの技術を定期的に使い始めているという。 「この成功により、弁護士と依頼者間の秘匿特権で保護されている文書の識別など、より微妙な分類に機械学習文書分類器を盲目的に使用できるようになるという期待が高まった」と彼は語った。

機械学習を使用して文書分類子をトレーニングし、特権文書コンテンツを識別することは簡単ですが、文書が法的に特権文書であるかどうかは、文書の対象者、機密性、受領時期、法的助言や訴訟との関係に大きく依存します。カーンズ氏は、ほとんどの機械学習文書分類器は、こうした追加の文脈上の手がかりを適切に分類できないと述べた。

「これは、機械学習の文書分類器が、潜在的に特権のある文書の選択と分類に役立たないという意味ではありません」とカーンズ氏は言う。「しかし、法律専門家は特権を判断するために機械学習だけに頼るべきではありません。」現在、人間の弁護士は、法的特権が適用されるかどうかの最終決定を下すために、潜在的に特権のある文書を手動で確認する必要があると彼は言う。

レッスン 5: テスト/トレーニング データの汚染は機械学習に影響を及ぼす可能性があります

長年にわたりエンタープライズAIとディープラーニングのサービスを顧客に提供してきた米国のオートメーション企業Indicoにとって、最大の問題の一つは、機械学習のテストとトレーニングデータの汚染だった。

最高技術責任者（CTO）のスレーター・ビクトールフ氏は、ある顧客がニュースが自社の株価に影響を及ぼすかどうかを判断するモデルを作成していると語った。影響の正確な時期を特定することは難しいため、同社は翌日の影響を予測するモデルを作成した。

「彼らが気づいていないのは、テストデータとトレーニングデータが明確に分離されていることを確認するというデータサイエンスの基礎を無視しているということだ」とビクトールフ氏は言う。 「つまり、彼らは翌日の影響をほぼ100％の精度で予測しているが、実際にはそのモデルは偶然に過ぎないのだ。」

もう 1 つの経験は、顧客が社内の自然言語処理 (NLP) システムをレビューする際に起こりました。クライアントには、機械学習モデルの機能を何年も作成および更新し、同じ検索結果セットに対してそれらの機能を継続的にテストしてきたチームがありました。チームはテスト/トレーニング データの汚染の影響も経験しました。 「テストが間違っていることに気づき、テストエラーを改善するためにアルゴリズムを変更すると、数字はもはや正確ではなくなります」とビクトールフ氏は語った。

特殊なケースでは、問題に対する人々の理解が不十分な場合がよくあります。内部的には、モデルは特定のタスクに対してほぼ 100% の精度を達成します。 「しかし、生産中に、そのシステムは、結果が不注意で汚染されたために、適切に機能しないことがよくありました」とビクトロフ氏は語った。 「機械学習において組織が犯す可能性のある最も重大な間違いは、テスト/トレーニング データの汚染の問題です。」