AIは新型コロナウイルスという「ブラックスワン」をいかにして「飼いならす」ことができるのか？

この記事は公開アカウント「Reading Core Technique」（ID: AI_Discovery）から転載したものです。

2020年は特別な年になる運命にあります。年初に発生した新型コロナウイルスの流行は、すべての人、業界、さらには国全体のリズムを乱しました。

極めて異常な出来事を人々は通常「ブラックスワンイベント」と呼ぶ。新型コロナウイルスの「ブラックスワン」は、発生時に人々を驚かせただけでなく、人々が流行を封じ込めるために取った対策も、医療、ビジネス、金融、交通、旅行など、世界の総合的なシステムに巨大な連鎖反応を引き起こしている。

[[323419]]

ブラックスワンイベントは、機械学習モデルにも大きな課題をもたらします。 ML モデルは以前に観測されたデータに基づいており、将来のシナリオを予測できます。しかし、これらのモデルが現在遭遇するイベントは、トレーニングに使用されたイベントとは大きく異なります。

多くの企業組織、特にクレジットおよび金融セクターの組織では、数百、数千ものリアルタイム生産モデルを実行しています。これらのモデルはデータに関して誤った判断を下し、それがその後のビジネス結果に影響を及ぼします。今後数日から数か月で問題が発生する可能性のあるモデルには、信用、住宅価格、資産価格、需要予測、コンバージョン/チャーン モデル、小売企業の需要と供給、広告価格設定などがあります。

標準モデル トレーニング プロセスでは、モデルが共通のクロス イベント データ構造に適応できるように、できるだけ多くのデータがモデルに入力されます。トレーニング データに含まれていないシナリオを予測することは困難です。まさにこれが真のブラックスワンイベントの姿です。他のイベントから構造を学ぶことは不可能であり、人々はデータとモデルのギャップを埋める必要があります。それで何をすればいいのでしょうか?

この記事ではその答えを提供しようと思います。実際、実稼働モデルの堅牢な監視、分析、トラブルシューティングを通じて異常なイベントに対処するための優れたプラクティスがすでにいくつか存在します。

現在の環境はどの程度極端でしょうか?

極端に極端です。

天気、失業率、交通パターン、ユーザーの支出などの入力特徴データを実稼働モデルに取り込むと、これらのデータがモデルのトレーニング データとはかけ離れていることがわかります。

まず、先ほど発表された失業率のデータを見てみましょう。失業申請者数は328万人に達し、第2次ピーク​​の4～5倍、シグマ事件の25倍以上となった。

1995 年から現在までの米国雇用訓練局のチャート

失業率データを入力として使用し、それに基づいて決定を下すモデルは、期待値より 20 シグマ高い特徴を使用しています。そして、これは 10 万年に 1 度しか起こらない出来事です。これは、日常のビジネス上の意思決定のモデルに適用される一連の極端な出来事の 1 つにすぎません。

モデルがすべての予期しない入力を完璧に処理することは不可能です。したがって、システム全体がこれらの入力を処理する際の回復力と、問題が発生した場合のトラブルシューティング能力を考慮することが重要です。

チームにとって最も重要なことは、観察可能なモデルを持つことです。観察しなければ、学習も適応もできません。これは、モデルの決定を計測して分析することを意味します。

モデルの可観測性の要件:

• 異常なイベントを検出し、自動的に表示することができます
• 外れ値イベントを分析にリンクして、モデルの障害応答をトラブルシューティングする機能

失業率データが徹底的にばらばらになることは明らかだ。

車の交通データを見てみましょう。

出典: TomTom International

上のグラフは、3月18日から3月24日までのニューヨークの交通量を示しています。交通量は1日当たりの交通量の20％に減少し、どの目的地への交通量も以前のレベルの1〜10％に減少しました。

減少は、モデルが予測した値のほんの一部に過ぎなかった日々の値の予想をはるかに上回りました。

出典: TomTom International

マイアミの交通量はニューヨークほど減少していない。マイアミの住民はニューヨークほど積極的に検疫措置を講じていないようだ。この場合、交通量を入力として使用して都市固有の予測を行う ML モデルは、都市ごとに異なります。

モデルの可観測性の要件:

• 入力データ分布偏差を監視する機能
• モデル入力のための強力な切り取りおよびフィルタリング機能

現在のパフォーマンスから判断すると、AIはコロナウイルスの影響に備えていません。天気予報は不正確であり、銀行はAIモデルが市場の低迷に対処できない可能性があると考えている。

極限の時代における回復力の構築

突然の変化を経験している企業にとって、現在本番環境で使用されている AI/ML モデルのベースとなるトレーニング データは、現在利用可能なものとは大きく異なります。

モデルがこれまでこのような状況を経験したことがない場合は、企業は何をすべきでしょうか? 過去が現在から切り離されている場合、どのように未来を予測できるでしょうか?

[[323420]]

画像ソース: unsplash

コロナウイルスが多くの人的システムに影響を及ぼし続けている中、AI/ML を活用する企業は生産環境に回復力を組み込む必要があります。モデルのパフォーマンスは変動し続けるため、企業はモデル入力がどのように変化するか、モデルのどこにまだ欠陥があるかを把握するために、生産モデルをリアルタイムで監視する必要があります。

入力したものは出力に反映されなければならない

すべては、予測を生成するモデルへの入力データから始まります。

このまれな出来事が他の極端な出来事と類似点を持っている場合、予測を組み合わせてベンチマーク期間を作成し、分析を行う方法があります。

まれなイベントが、トレーニング セット内の他のデータ セットと関係のない方法でデータ構造に入力された場合でも、それがモデルにどのように影響するかを監視する必要があります。

COVID-19 の場合、これらのシナリオは単一の例外ではなく、世界中のさまざまな都市で発生している数百万の急速に発展する傾向であり、それぞれタイムラインと反応が異なります。シナリオの規模を明らかにするには、さまざまな予測サブグループにわたるさまざまな分析と調査が必要です。

以下は、AI/ML モデルが本番環境で持つべき入力レベルの観察です。

• 特性の値と分布が通常のベースライン期間と大幅に異なるかどうかを判断するための入力チェック
• モデルが最も敏感な特徴が劇的に変化したかどうかを検出する
• 特徴がトレーニングセットからどれだけ離れているかを判断するために使用される統計を検出する
• 単一のイベントまたは少数の最近のイベントを調べて、配布の問題を特定します。

画像ソース: unsplash

モデルはどのように反応しますか?

入力がどのように変化するかを理解したら、次に監視するのは、モデルが極端な入力にどのように反応するかです。

エネルギー、航空、観光などの特定の業界にとって重大なリスクとなる可能性のある特定の予測サブクラスのモデル パフォーマンスを確認するには、さまざまな予測グループを迅速にオンラインで確認する必要があります。

以前の最悪のシナリオと基本ケースのシナリオを活用し、結果と比較します。リアルタイムで受信される現実世界のあらゆる新しいイベントを監視し、現実世界の予測に関するフィードバックを取得します。時間差により現実世界のフィードバックが利用できない場合は、プロキシ メトリックを使用して、予測と測定を通じてモデルのパフォーマンスを判断できます。

過酷な環境での ML モデル作成のベスト プラクティス

Arize AI では、この不確実な時期に私たちが学んだことをより多くのチームに伝えることを目標に、ML の可観測性と回復力について日々考えています。

実稼働 ML モデルのベスト プラクティスは、実稼働ソフトウェアのベスト プラクティスとそれほど変わりません。モデルまたはソフトウェアがアクティブ化されたときに何が起こるかを理解し、顧客に影響が及ぶ前に問題を検出するための可観測性ツールを構築するだけです。

多くの企業で AI/ML モデルが導入されている背景から、私たちはこれらの過酷な環境で ML モデルを本番環境に導入するためのベスト プラクティスをいくつか共有しています。

1. 異常なイベントを追跡して特定する

これには、入力データと異常なイベントに対するモデルのパフォーマンスの追跡が含まれます。これらのイベントに注釈を付け、異常なイベントを除外することは、将来の過酷な環境のためのトレーニング データを収集するときに役立ちます。将来のモデルトレーニングのために、データに異常なイベントを含めるかどうかを検討することも重要です。このモデルは、将来の極端な事態に積極的に備えますが、極端な事態が新たな常態であると想定する可能性もあります。

2. モデルのフォールバック計画を決定する

過去に、モデルが学習するものが何もなかったとき、モデルは何をしていたのでしょうか?

過去にモデルが極端な環境でどのように動作したかを理解することは、現在どのように動作しているかを理解するのに役立ちます。モデルのパフォーマンスが低い場合、過去 n 分または n 日間に基づいて簡単な予測を設定し、モデルのパフォーマンスをこの簡単なモデルと比較できますか?

3. 類似のイベントを探す

過去の同様の出来事を調べて、現在の状況に類似したモデルを構築することはできますか? たとえば、モデルが失業率データを入力として使用する場合、2008 年の不況など、同様の不況の失業率データを使用できる可能性があります。

4. 多様なモデルポートフォリオを構築し、モデルのパフォーマンスを比較する

外界に反応するリアルタイム モデルは、バッチ予測よりも優れたパフォーマンスを発揮する可能性があります。多様なモデルのポートフォリオを持つことで、チームはモデルのパフォーマンスを比較し、過酷な環境にもより適切に対応できるモデルを使用してトラフィックをルーティングできます。

5. モデルのパフォーマンスを改善できない場合のモデル予測の不確実性を理解する。

適切なモデルがない場合もあります。この場合、モデルの不確実性がどれほど高いかをどのように判断すればよいでしょうか。このような場合は、ベイズ法を使用してモデルの予測とその信頼度レベルを返すことができます。

監視することが最も重要です。 「ブラックスワン」を飼いならすというのは空想ではないかもしれない。