AIシステムのグレーディングを通じて企業のコスト管理を支援

翻訳者 | 張毅

校正 | 梁哲、孫淑娟

自動車技術協会（SAE）が自動運転車を分類しているのと同じように、AI システムのコストを予測するには、AI システムを「レベル」に分類するのがよいでしょう。階層型システムを採用することで、時間の経過とともに複雑さが増す AI システムに対して組織が計画し、準備するのに役立ちます。

Hitesh ChoudharyによるUnsplashの写真

AI システムの設計と構築は簡単ではありません。従来のソフトウェアのコストのほとんどは導入前の開発プロセスで発生しますが、AI システムのコストのほとんどは導入後発生します。 AI システムの動作は継続的に学習しており、最初の導入時から変化する可能性があります。データとパラメータの調整への継続的な投資がなければ、機械学習モデルは時間の経過とともに「劣化」します。設計上の決定は AI システムの拡張能力に直接影響を及ぼし、課題は AI システムが時間の経過とともにどのように変化するかを理解することです。

AI システムを構築する場合、分類によってさまざまな AI システムの動作の参照を提供できます。レベルに基づいてグレーディングとトレードオフを行うことで、展開後の違いを簡素化できます。

システムの動作がどのように変化するかを理解し、それをシステムの設計に考慮することが非常に重要です。次の階層フレームワークは、システムの設計および運用時に活用できる、各レベルのシステム間の主な違いを時間の経過とともに概説しています。さまざまなシステムはさまざまなレベルに存在する可能性があり、それらの違いを全体的に理解することで、組織はより適切に計画し、実行できるようになります。

システムの複雑さは、入力 (a)、出力 (b)、および目的 (c) の範囲によって定義できます。

AIレベル

一般的に、レベルが上がるとコストも増加します。例えば、レベル 1 で稼働しているシステムをレベル 2 にアップグレードすることを想定していますが、レベルが上がるにつれてシステム構築の複雑さとコストも増加します。当然のことながら、新しい機能は、システムの動作が理解しやすい「低い」レベルから開始し、徐々にレベルを上げていく必要があります。レベルが上がるにつれて、システムの障害ケースは理解しにくくなります。

従来のソフトウェア (レベル 0) から完全にインテリジェントなソフトウェア (レベル 4) に移行すると、AI システムのさまざまなレベル間の違いは大きくなり、システム コストに大きな影響を与えます。レベル 4 システムは、基本的に、社内の開発チームの作業なしで、自ら維持および改善することができます。

アップグレードにはトレードオフが伴います。たとえば、レベル 1 からレベル 2 に移行すると、継続的なデータ要件とカスタマイズの労力は削減されますが、自己強化バイアスの問題が発生します。アップグレードを選択するには、AI システムを設計する際に必要な新たな課題と手順を認識する必要があります。

システムのアップグレード プロセスでは、システムの拡張性、汎用性、堅牢性がすべて重要な役割を果たします。レベル N プロジェクトに取り組むときは、レベル N+1 に到達するためのコストとメリットを考慮し、目標に基づいて適切なレベルを設定し、既存の AI システムをアップグレードする必要がある時期を認識する必要があります。

レベル 0: 決定論的 (従来型)

トレーニング データやテスト データを必要とせず、学習を伴わないアルゴリズムはレベル 0 です。

レベル 0 (コンピュータ サイエンスの従来のアルゴリズム) の最大の利点は、信頼性が非常に高く、問題が解決される限り、最適なソリューションとなることです。多くのアルゴリズム (バイナリ検索など) は、ある程度、データに対して「適応型」です。通常、ソートアルゴリズムは「学習」とは考えられません。学習には記憶が関与します。システムは過去の学習に基づいて将来の動作を変更します。

ただし、事前に指定されたアルゴリズムを使用して解決するのが難しい問題もあります。人間が解釈するのが難しい問題（音声テキスト化、翻訳、画像認識、言語プロンプトなど）では、実行が困難です。

例：

• クレジットカード認証のための Luhn アルゴリズム
• 正規表現ベースのシステム
• TFIDF検​​索やBM25などの情報検索アルゴリズム
• 辞書ベースのスペル修正

注: 場合によっては、調整が必要なパラメータが少数あることがあります。たとえば、ElasticSearch では、BM25 パラメータを変更する機能が提供されます (たとえば、1 回のクリックで設定して忘れる)。

レベル1: 学習済み

静的トレーニング データ、静的テスト データ。

オフライン環境でモデルをトレーニングし、トレーニングされた「強化された」重みを本番システムに展開できます。モデルには更新周期がある場合がありますが、モデルが実行される環境はモデルに影響を与えません。

レベル 1 では、任意の関数を学習してデプロイすることができますが、トレーニング データは制限されています。これは、さまざまな種類のソリューションを試すための遊び場です。さらに、いくつかの一般的な問題 (音声認識など) については、限界費用の削減から利益を得ることができます。

レベル 1 の欠点は、単一のユースケースに対してカスタマイズされた学習です。ユースケースごとにトレーニング データを管理する必要があり、ユースケースは時間の経過とともに変化する可能性があるため、モデルのパフォーマンスを維持するためにトレーニング データを継続的に追加する必要があります。費用は払えないほど高額です。

例：

• カスタムテキスト分類モデル
• 音声テキスト変換（音響モデル）

レベル2: 自己学習

動的 + 静的トレーニング データ、静的テスト データ。

レベル 2 は、システムによって生成されたトレーニング データを使用してモデルを改善するシステムです。場合によっては、データ生成はモデルから独立しています。したがって、時間の経過とともにモデルに入力されるデータが増えるにつれて、パフォーマンスが向上することが予想されます。一方、モデル介入によってモデルのバイアスが強化され、時間の経過とともにパフォーマンスが悪化する場合もあります。モデルのバイアスを排除するには、モデルを再評価するための静的データセットが必要です。

このように、レベル 2 のパフォーマンスは時間の経過とともに自動的に向上するようです。しかし、管理されていない場合、データが増えるにつれてシステムが悪化する可能性があります。レベル 2 のシステムは基本的に静的データセット (モデルを最初に生成したトレーニング データ) に依存しているため、改善能力が限られており、このモデル バイアスに対処するのは困難です。

例：

• ナイーブスパムフィルター
• 音声テキストモデル（言語モデル）

レベル3: 自律的（または自己修正的）

動的トレーニング データ、動的テスト データ。

レベル 3 システムは、人間の行動を変える (たとえば、アクションを提案してユーザーに選択させる) だけでなく、そのユーザーの行動から直接学習する (たとえば、ユーザーの選択の好み) こともできます。レベル 2 からレベル 3 へのアップグレードは、システムの信頼性と全体的な達成可能なパフォーマンスの大幅な向上を意味します。

レベル 2 およびレベル 3 と比較すると、システムは時間の経過とともに改善される可能性があります。もちろん、より複雑でもあります。より単純なシステムよりも優れた結果を出すには、本当に膨大な量のデータや非常に慎重な設計が必要になる場合があります。しかし、環境に適応する能力があるため、テストが非常に難しく、悲惨な悪循環につながる可能性もあります。たとえば、テスターがスパム フィルターを修正する場合、人間はシステムによる誤分類のみを修正しますが、システムは予測がすべて間違っている可能性が高い (過敏すぎる) ことを認識し、予測をひっくり返します。

レベル4: インテリジェント（またはグローバル最適化）

動的トレーニング データ、動的テスト データ、動的ターゲット。

レベル 4 は、環境と動的に相互作用し、グローバルに最適化できるシステムです。たとえば、AutoSuggest モデルは現在の方法を最適化するのではなく、最適なダイアログ ボックスの目標を達成するために一連のイベントを最適化します。

レベル 4 の実現方法を探るにはまだまだ長い道のりが残っていますが、レベル 4 の見通しは確かに明るいと言えます。問題を正確に特定し、報酬とペナルティのメカニズムを導入し、モデルの動作を評価することは、すべて重要かつ困難なタスクです。

付録：

オリジナルリンク: https://www.kdnuggets.com/2022/03/level-system-help-forecast-ai-costs.html

翻訳者紹介

Zhang Yi、51CTO コミュニティ エディター、中級エンジニア。主な研究は、人工知能アルゴリズムの実装とそのシナリオアプリケーションです。機械学習アルゴリズムと自動制御アルゴリズムについてある程度理解し、習得しています。国内外の人工知能技術の発展動向、特にインテリジェントコネクテッドカー、スマートホームなどの分野における人工知能技術の具体的な実装と応用に引き続き注目していきます。