人工知能とビッグデータの完璧な組み合わせ

人工知能（AI）は数十年前から存在しています。しかし、最近では「ビッグデータ」の登場により注目が高まっています。 Wikipedia では人工知能を次のように定義しています。

コンピュータ サイエンスにおいて、人工知能研究の分野は、「インテリジェント エージェント、AI、ビッグ データの完璧な融合」の研究であると定義されています。つまり、環境を認識し、何らかの目標の成功の可能性を最大化するために何らかのアクションを実行できるあらゆるデバイスのことです。

ビッグデータについては以下のように説明されています。

「ビッグデータは非常に大きく複雑なため、従来のデータ処理アプリケーションでは処理できません。」

コンピューターは非常に強力になり、今では毎秒何百万ものデータレコードを保存できるようになりました。残念ながら、データを分析する能力がボトルネックになる可能性があり、従来の方法を使い続けることは選択肢になりません。

人工知能とビッグデータ：完璧な組み合わせ

では、なぜビッグデータは人工知能にこれほど注目されているのでしょうか? 答えは簡単です。AI は従来の人間ではできない方法で大規模なデータセットを処理できるからです。

銀行アプリケーションを例に挙げてみましょう。アプリケーションは毎秒数百万件のレコードをストリーミングし、詐欺や盗難などの異常なアクティビティが発生したときにアラートを送信するようにします。この場合、人々はデータ全体を処理して分析する可能性は低く、代わりに小さなセグメントを選択して秒単位で処理する可能性があります。たとえ何百人もの人が詐欺の可能性を分析したとしても、そのような膨大な量のデータによって意思決定能力が低下する可能性があります。

従来のデータ処理システムについてはどうでしょうか? 問題は、従来のシステムも単なるアルゴリズムであり、必然的に同じロジックに縛られていることです。異常を探すときには柔軟性が求められますが、従来の方法ではそれがうまくいきません。

さて、ここで人工知能についてお話しします。これらのシステムは曖昧に動作します。彼らは、1 つの道が検討されると予測していますが、新しいデータによって推論の方向性が否定された場合は、その道を放棄して新しい方向性を模索することができます。 AI システムは、より多くのデータが入力されるとより賢くなるため、時間の経過とともに異常を特定するのに適しています。

それでは、ビッグデータ アプリケーション向けの AI テクニックをいくつか見てみましょう。

ビッグデータに応用された人工知能技術

外挿

外挿とは、他の変数との関係に基づいて、元の観測範囲外の変数の値を推定するプロセスです。あるデータがある傾向を示しており、会社の幹部が「この傾向が続くと、3 か月後に会社はどうなるでしょうか?」を知りたいと考えているとします。外挿によってそれが可能になります。すべてのトレンドが直線的であるとは限らないことを覚えておいてください。線形傾向は単純であり、単純な直線グラフで十分です。非線形の傾向にはより多くの関与が必要であり、ここで外挿関数が役立ちます。これらのアルゴリズムは、多項式、円錐曲線、または曲線方程式に基づいています。

異常検出

異常検出は外れ値検出とも呼ばれます。これには、予想されるパターンやデータセット内のその他の項目に準拠しないデータ項目、イベント、または観測値の識別が含まれます。異常検出は、銀行詐欺などのイベントを識別できます (前述の AI のアプリケーション)。また、障害検出、システム健全性監視、センサー ネットワーク、生態系の乱れなど、他のさまざまな領域にも適用できます (ただし、これらに限定されません)。

ベイズの原理

確率論と数理統計学において、ベイズの定理は、イベントに関連する条件付きの事前知識に基づいてイベントの確率を説明します。これは過去の出来事に基づいて未来を予測する方法です。ある企業が、どの顧客が解約の危険にさらされているかを知りたいとします。ベイズ法を使用すると、不満のある顧客に関する履歴データを収集し、将来解約する可能性が高い顧客を予測するために使用できます。これは、ビッグデータの応用に非常に適した例です。ベイズアルゴリズムに入力される履歴データが増えるほど、予測の精度が上がるからです。

計算集約的な人間の活動を自動化する

場合によっては、人間が大量のデータを分析することも可能ですが、時間が経つにつれて面倒になり、AI の支援が必要になります。ルールベースのシステムを使用すると、データを有用な方法で解釈するために、人間から知識を抽出、保存、操作することができます。実際には、ルールは人間の経験から生成され、一連のアサーションを使用して、それに基づいてどのように行動するかについてのルールを作成する一連の「if-then」ステートメントとして表現されます。ルールベースのシステムを使用すると、人間の専門家の代わりに質問に対する回答を提供できるソフトウェアを作成できます。これらのシステムはエキスパート システムとも呼ばれます。特定の目標のためにデータを分析できる人間の専門家がいるが、その作業は比較的面倒な企業について考えてみましょう。ルールベースのシステムは、この専門知識を捕捉し、自動化することができます。

グラフィックスの原則

数学において、グラフ理論はオブジェクト間のペアの関係をモデル化する数学的構造の研究です。このコンテキストにおけるグラフは、エッジ、円弧、線分によって接続された頂点、ノード、またはポイントで構成され、非常に複雑で大きくなる可能性があります。グラフの原理を使用すると、データ間の関係性を簡単に理解できます。たとえば、複雑なコンピュータ ネットワークを考えてみましょう。グラフィカルな原理により、ネットワークのボトルネックがどのように他の問題につながるのか、また特定のボトルネックの根本原因について洞察を得ることができます。

パターン認識

名前が示すように、パターン認識はデータ内のパターンと規則性を検出するために使用され、機械学習の一種です。データを使用してパターン認識システムをトレーニングするプロセスは、教師あり学習と呼ばれます。また、データ内のこれまで知られていなかったパターンを発見するためにも使用できます。これは、教師なし学習と呼ばれるプロセスです。単一のデータ タイプにおける潜在的な異常に基づく異常検出方法とは異なり、パターン認識では、複数のデータでこれまで知られていなかったパターンを発見し、データ間のパターン (または関係) を考慮することができます。企業（およびあらゆる業界）は、消費者が突然ある商品と別の商品を一緒に購入し始めた場合など、何か異常なことが起こったときにそれを知りたいと思うかもしれません。このモデルは企業にとって興味深いものとなるかもしれません。

つまり、人工知能はビッグデータの世界で方向性を見つけ、パターンを収集する方法なのです。