ビッグデータとAIの連携

人工知能と機械学習は、組織がビッグデータからより優れたビジネス洞察を得るのにどのように役立つのでしょうか? AI とビッグデータ分析の今後の展望をご覧ください。

[[279479]]

ビッグデータ技術は数年前ほど人気はありませんが、普及していないわけではありません。むしろ、ビッグデータは大きくなっています。

ビッグデータはかつて大きな課題と考えられていました。しかし現在では、特に機械学習やその他の AI 分野の実験や実装を行っている組織では、望ましい状態であると見られるようになってきています。

「AI と機械学習により、既存のビッグデータを活用し、新しいデータタイプで新しいユースケースを開発する新たな機会が生まれました」と、Anexinet のシニア デジタル ストラテジスト、グレン グルーバー氏は語ります。「写真、動画、音声など、利用できるデータが増えました。これまでは、こうしたデータでできることがあまりなかったため、収集するデータの量を最小限に抑えようとしたかもしれませんが、保存には膨大なコストがかかっていました。」

AIがビッグデータに適応する方法

ビッグデータと AI の間には相互関係があります。AI はビッグデータの成功に大きく依存していますが、組織がこれまで面倒だったり不可能だったりした方法でデータ ストアの潜在能力を解き放つのにも役立ちます。

「今日、私たちはできる限り多くのデータを必要としています。それは、解決しようとしているビジネス上の問題に対するよりよい洞察を得るためだけでなく、機械学習モデルに入力するデータが増えるほど、より良い結果が得られるからです」とグルーバー氏は言います。「これは好循環です。」

AIがビッグデータを活用する方法

ビッグデータと分析に関連するストレージやその他の問題は、もはや同じではないようです。たとえば、グルーバー氏は、ビッグデータと AI を組み合わせると、インフラストラクチャ、データ準備、ガバナンスに関する新しい要件が生まれる（または既存の要件が強調される）と指摘しました。しかし、場合によっては、AI と機械学習のテクノロジーが、組織がこれらの運用上の複雑さに対処するための重要な部分となる可能性があります。

「Better Insights」について: 今日のビジネス界で最も重要な分野である人工知能と機械学習は、IT リーダーが現在または将来的に目標を達成するのにどのように役立つのでしょうか?

人工知能がより良い洞察をもたらす6つの方法

1. AIはデータ分析の新しい方法を生み出している

ビッグ データに関する基本的なビジネス上の問題の 1 つは、次のような単純な質問にまとめられることがあります。「さて、次は何をすればいいでしょうか。すでに大量のデータがあり、さらに増える予定ですが、それをどうすればよいのでしょうか。」ビッグ データをめぐる誇大宣伝が渦巻く中、この質問の答えを聞くのは必ずしも簡単ではありません。

さらに、この質問に答える（またはデータから洞察を得る）には、多くの場合、多くの手作業が必要になります。人工知能は新たなアプローチを生み出しています。ある意味では、AI と機械学習は、広義では新しいアプローチです。

これまで、エンジニアはデータを分析する際に、クエリまたは SQL (クエリ リスト) を使用する必要がありました。しかし、データの重要性が増すにつれて、洞察を得るための方法も多様化しています。 AI はクエリ/SQL の次のステップです。 「かつては統計モデルだったものが、今ではコンピューターサイエンスと融合し、人工知能や機械学習の一部となっている」と、AlluxioのCEO、スティーブン・ミー氏は語る。

2. データ分析の労働集約度は低下している

その結果、データの管理と分析に必要な人的時間が以前よりも短縮されます。データの管理と分析では依然として人間が重要な役割を果たしていますが、これまでは数日または数週間（あるいはそれ以上）かかっていたプロセスが AI のおかげでスピードアップしています。

「AIと機械学習は、企業が従業員単独で行うよりも迅速かつ効率的にデータを分析するのに役立つツールです」と、サンガードASのシニアアーキテクト、スー・クラーク氏は語る。

Exasol の最高技術責任者である Mathias Golombek 氏は、ビッグ データに関しては、組織がそこから何らかの価値を引き出すために管理しなければならない膨大な量の情報と格闘する中で、ストレージ層とその上にある運用分析層の 2 層戦略に向かう傾向があることに気づきました。

「ここでデータから洞察が抽出され、データに基づく意思決定が行われます」とゴロンベック氏は言います。「AI は、トレーニング データを通じて半自動の意思決定を行うまったく新しい機能で分析を強化します。これは、企業がデータに関して抱えるすべての問題に適用できるわけではありませんが、特定のユース ケースでは、複雑な人間の知識を必要とせずにルール、意思決定、予測を行う方法に革命をもたらします。」

言い換えれば、洞察と意思決定がより早く得られるということです。さらに、IT 部門では同様の原則 (AI 技術を使用して手作業による労働集約的な負担を軽減し、速度を向上させる) をバックエンドに適用できますが、正直なところ、IT 部門以外の人がそれを知りたいと思う人はほとんどいません。

「データ インサイトのリアルタイム性と、それが今やユビキタスになり、さまざまなラック、地域、クラウドにまたがるという事実は、企業が従来のデータ管理および分析方法から進化しなければならないことを意味します」と Alluxio の Mih 氏は言います。「ここで AI が登場します。データ エンジニアがデータを何度も手動でコピーする時代は終わり、データ サイエンティストが要求してから数週間以内にデータセットが配信されるようになりました。」

3. 人間は依然として重要である

Qlik Research の副社長である Elif Tutuk 氏も、他の人たちと同様に、AI と機械学習がビッグデータを処理するための強力な手段であると考えています。

「AIと機械学習は、他の新興技術とともに、企業がすべてのデータをより完全に理解し、主要なデータセット間のつながりを作る方法を提供する上で非常に重要になるだろう」とトゥトゥク氏は述べた。しかし、それは人間の知性や洞察力を低下させる問題ではないと彼女は付け加えた。

「企業は、人間の直感力と機械知能を組み合わせて、これらのテクノロジー、つまり拡張知能を強化する必要があります」とトゥトゥク氏は述べました。「より具体的には、AI システムは、その機能を実現するために、データと人間の両方から学習する必要があります。人間とテクノロジーの力をうまく組み合わせる企業は、データ サイエンティストやビジネス アナリストの分析から重要な洞察を引き出すスタッフを増やすと同時に、時間を節約し、ビジネス ユーザーがデータを解釈する際に生じる潜在的なバイアスを減らすことができます。その結果、ビジネス オペレーションがより効率的になり、データからより迅速に洞察が得られ、最終的には企業の生産性が向上します。」

4. AI/MLは一般的なデータの問題を軽減するために使用できる

変わっていない点としては、データの価値はその品質と密接に関係しているということです。品質が低いということは、価値が低いか価値がないことを意味します。これがいわゆるビッグデータと人工知能の共通点です。

「機械学習に関する議論は、常にデータの質に帰着します」とエンジニアリング会社 Ness Digital の CTO、モシェ・クランク氏は語ります。「データの質が悪ければ、そこから得られる洞察は信頼できません。機械学習プロジェクトの時間の 80% は、データのクリーニングと準備に費やされます。」

古いものはすべて新しく見える。しかし、この問題（およびおそらく同様の他の問題）の解決策はすでに存在しているかもしれません。

「幸いなことに、機械学習を使用してデータをクリーンアップすることができます」とクランク氏は言います。「機械学習アルゴリズムは、外れ値や欠損値を検出し、わずかに異なる用語で同じエンティティを説明する重複レコードを見つけ、データを一般的な用語に正規化することができます。」

5. 分析はより予測的かつ規範的になる

過去には、データ分析は「すでに起こったこと」を分析する事後分析よりも重要でした。将来の予測は、本質的には依然として歴史的分析です。人工知能と機械学習は、「何が起こるか。少なくとも、何が起こる可能性があるか」という新たな領域を切り開くのに役立っています。さらに、機械学習アルゴリズムは、将来を見据えた洞察に基づいて意思決定や行動をとるように教えることができます。

Sparkhoundのアナリティクス担当ゼネラルマネージャー、ショーン・ウェリック氏はこう語る。 「今日、AI は予測分析を使用することで、ビッグデータによる意思決定の精度をさらに高めています。従来、ビッグデータによる意思決定は過去と現在のデータ ポイントに基づいて行われ、多くの場合、線形 ROI をもたらしました。AI によって、これが壮大かつ指数関数的に実現されています。AI を活用した処方的分析は、ビジネスを前進させるのに役立つ、全社的な将来を見据えた戦略的洞察を提供できる可能性があります。」

それは「歩く前に這う必要がある」プロセスだとウェリック氏は指摘する。ウェリック氏によると、不正確または不十分なデータに基づいて AI を使用して予測的または規範的なビジネス上の意思決定を行うと、「壊滅的な」結果を招く可能性があるという。

「分析成熟モデルが進むにつれて、ビジネスへの価値は増大します。プロセスとデータのマッピングから始まり、記述的分析、予測的分析、そして最終的には処方的分析へと進みます」と Werick 氏は述べています。

6. AI とビッグデータの今後はどうなるのでしょうか?

ほとんどのチームがまだ這うこと（または歩くこと）を学んでいる段階だとしても、おそらくそれで問題ありません。なぜなら、AI とビッグ データの組み合わせは、その可能性を明らかにし始めたばかりだからです。

Scale Venture Partners のパートナーである Andy Vitus 氏は、よりスマートなエンタープライズ ソフトウェアに大きな可能性を感じています。彼は、多くの商用アプリケーションが依然としてアナログの DNA を示していると考えています。

「ほとんどのビジネス アプリケーションは、いまだに紙のフォームや台帳の設計言語を使用して構築されています」と Vitus 氏は言います。つまり、企業が収集して保存するすべてのデータについて、ユーザーは依然として、役立つ情報を見つけるために膨大なレポートを調べるのに多くの時間を費やしているということです。

インテリジェント ソフトウェアは、このすべてのデータを活用して問題を解決し、見栄えの良いレポートだけでなく、コンテキストと回答を提供します。エンジニアリングの観点から見ると、スマートエンタープライズ アプリケーションでは、個々の AI/ML システムを他のシステムに接続して、相互に通信し、学習できるようにする必要があります。企業は最終的に、保存するすべてのデータから大きな投資収益を得ることになります。 ”

これが基本的な約束です。AI はビッグデータに関する基本的な質問に答えるための進化する手段です。それで、次は何をするのでしょうか?

「これはまだ始まりに過ぎません」と、Alluxio の Mih 氏は言う。「将来的には、データを分析してリアルタイムの洞察を得るための新しいテクノロジーが登場しますが、洞察を得る方法は改善されるでしょう。」