2024年のビッグデータの不完全な予測

人工知能の進歩は2024年まで大きな原動力となる可能性が高く、ビッグデータの課題、つまりそれをどのように保存、管理、統制、使用するかが、かつてないほど差し迫った課題となっていることが浮き彫りになっています。なぜなら、人工知能の基盤となるデータが制御不能になってしまえば、人工知能は意味をなさないからです。もちろん、逆もまた真なりです。

ビッグデータは新年に何をもたらすのでしょうか? 技術の発展を予測することは困難ですが、業界の専門家はビッグデータの分野での予測を通じて私たちに未来を明らかにしようとしています。

データベースプロバイダーのPercona社の技術伝道師、デイブ・ストークス氏は、ベクターデータベースへの関心が急増するだろうと語った。しかし、それは「自立」することはできません。

「ベクター データベースは、多くの人が話題にする新しい注目の分野となるでしょうが、数年後にはリレーショナル データベースに吸収されるでしょう」と Stokes 氏は予測しています。「およそ 10 年ごとに、リレーショナル データベースとして「新しい」データベース テクノロジが発表され、開発者は時流に乗ってしまいますが、リレーショナル モデルは柔軟性が高く、リレーショナル データベース ベンダーが新しいテクノロジを自社の製品に簡単に組み込めることに気付くのです。」

さまざまなデータ サイロの存在は、データ エンジニアにとって常に悩みの種でした。しかし、Hammerspace のマーケティング担当上級副社長である Molly Presley 氏によると、2024 年には集中型のデータ オーケストレーションが中心的役割を果たすようになり、希望の光が見えてくるとのことです。

「組織は、保存と複製からデータ オーケストレーションの世界へと移行し始めるでしょう」とプレスリーは述べています。「現在、人工知能の進歩によって、データを分析し、実用的な洞察を引き出すための強力なツールが存在します。しかし、ファイル ストレージ インフラストラクチャは、これらの進歩に追いついていません。ファイルのコピーをある場所から別の場所に移動することでストレージ サイロと分散環境を管理しようとするソリューションとは異なり、データ オーケストレーションは、組織がさまざまなサイロと場所からデータを 1 つの名前空間に統合し、データが最も価値のあるタイミングと場所に自動的に配置できるようにすることで、分析と洞察の獲得を容易にします。」

私たちが保存するデータのほとんどは構造化されていません。データが蓄積されるにつれて、管理が非常に困難になりますが、2024年には管理に対する新たなアプローチがもたらされるだろうと、MinIOの共同創設者兼CEOであるペリアサミー氏は述べています。

「2024年までにAIアプリケーションが急速に成長するにつれ、企業内の真に非構造化データの量（音声、動画、会議メモ、スピーチ、プレゼンテーション）が爆発的に増加するでしょう。これはAIの観点から見ると非常に「学習可能な」コンテンツであり、これをAIデータレイクに収集することで企業全体のインテリジェンス機能が大幅に向上しますが、独自の課題も生じます」とペリアサミーは述べています。「数十ペタバイトのデータのパフォーマンスを維持するには明らかな課題があります。これらの問題は通常、従来のSAN/NASソリューションでは解決できません。最新の高性能オブジェクトストレージの特性が必要です。これが、ほとんどのAI/MLテクノロジー（OpenAI、Anthropic、Kubeflowなど）がオブジェクトストレージを活用し、ほとんどのデータベースがオブジェクトストレージ中心に移行した理由です。」

Forrester の調査によると、企業が管理する非構造化データの量は 2024 年までに 2 倍になり、AI にとって潜在的に利益をもたらす新しい選択肢が生まれます。

「世界中のデータおよび分析の意思決定者によると、組織が管理するデータのうち非構造化データはわずか27%に過ぎない」と分析グループは述べた。企業が顧客や従業員向けにより多くの会話型エクスペリエンスを展開するにつれ、生成AIによってその数字は倍増するだろう。企業は、これらの膨大な量の非構造化データを保存、分析し、理解しようと躍起になるでしょう。この傾向はデータ パイプラインの分野でも見られ、2024 年までに新しいデータ パイプラインの 80% が非構造化データの取得、処理、保存に使用されるようになります。

ファクションのテクノロジーおよびオペレーション担当副社長ジェフ・ヘラー氏は、2024年までに世界中の多くの企業がデータファーストのアーキテクチャを実装し、データ管理戦略を簡素化するだろうと述べた。

「企業はパラダイムシフトを経験しています。ニーズを満たすために、1つのクラウドか別のアーキテクチャを選択するかのどちらかです」とヘラー氏は言います。「2024年までに、企業はデータを最大限に活用するためにどのクラウドが最適かを検討する必要があります。長期的な成長ではなく短期的な目標に基づいた決定は、データのロックインにつながります。タイムリーな決定を行うには、データが正確でアクセス可能である必要があります。組織にとって、データ管理はますます複雑になっています。効率的なデータ管理戦略の必要性は重要です。企業は、データの正確性を確保し、効率を高めるために、すべてのクラウドの優先場所から単一のデータセットにアクセスできるソリューションに目を向けるでしょう。」

データパイプライン企業マティリオンの最高製品責任者、キアラン・ダインズ氏は、AI革命はビッグデータ管理を含む生活のあらゆる側面に影響を及ぼしていると語った。

「データ エンジニアの役割は、過去 10 年間で劇的に拡大しました」と Dynes 氏は言います。「今後 12 か月は、テクノロジー企業がデータ エンジニアの仕事を楽にする時期になるでしょう。既存のプラットフォームに統合できる新しいツールが市場に登場し、既存のデータ パイプラインに生成 AI を追加したり、これらのモデルをオンプレミスで展開して、ユーザーが ChatGPT のようにリアルタイムで操作できるようにしたりできるようになります。市場に登場したツールに関係なく、今後 1 年間でデータ エンジニアを再教育し、キュー エンジニアリング、これらのモデルの微調整方法、および大規模に生産性を高める方法を習得する必要性が高まります。データ エンジニアの生活は、今後 1 年間でさらに面白くなるでしょう。」

データ エンジニアの価値はどのくらいですか? Snowflake の製品管理ディレクターの Jeff Hollan 氏によると、2024 年までにデータ エンジニアの価値はさらに高まるとのことです。

「AI 革命によってデータ エンジニアの役割が置き換えられるという憶測が広まっています」と Hollan 氏は言います。「しかし、そうではありません。実際は、データ エンジニアのデータ専門知識はこれまで以上に重要になります。ただし、その重要性は、新しい、これまでとは異なる方法で表れるというだけです。変化する状況に対応するために、データ エンジニアは、生成 AI がどのように価値を付加できるかを理解する必要があります。データ エンジニアが構築および管理するデータ パイプラインは、組織が価値を引き出すために大規模な言語モデルが接続される最初の場所になる可能性があります。データ エンジニアは、モデルの使用方法を理解し、それをデータ パイプラインにプラグインして自動的に価値を引き出す人です。また、AI がどのように機能するかを監督し、理解する必要もあります。」

データがクラウド内の第三者によって管理されている場合、データの制御を失ったように感じるかもしれません。 Ngrok の CTO である Peter Shafton 氏は、2024 年はデータの制御を取り戻す年になると予測しています。

「2024年のデータ管理は、アクセスと制御の強化に向けて大きくシフトするでしょう」とシャフトン氏は言います。「過去10年間は​​クラウドベースのデータソリューションが急増しましたが、振り子はより自己管理的な方向に戻っています。このシフトの背後にある理由は、プライバシーとコスト効率の2つです。データ侵害の脅威が継続し、アクセス制御を強化する必要があるため、企業は外部のクラウドプラットフォームのみに依存することに慎重になっています。さらに、クラウドデータの保存と処理コストが予測不可能なため、組織はより予測可能でコスト効率の高いソリューションを求めるようになりました。Uber、Netflix、Airbnbなどのテクノロジー大手が開拓したオープンソースソリューションから生まれた、アクセスしやすく使いやすいデータ管理ツールの普及も、この傾向に貢献しています。」

「データ インテリジェンス」という用語は、組織がデータに使用するさまざまなデータ管理ツールを指すものとして、ここ数年で進化してきました。ナスニの最高イノベーション責任者ジム・リドル氏は、このコンセプトが成功するか失敗するかは今後12カ月が重要になると語った。

「驚くほど多くの企業が、そのデータに何が含まれているのか、あるいはそれが必要なのかどうかわからないという理由だけで、膨大な量のデータを保管しています」とリドル氏は言います。「データは正確で最新のものでしょうか。適切に分類され、検索可能でしょうか。準拠していますか。個人を特定できる情報 (PII)、保護対象医療情報 (PHI)、その他の機密情報が含まれていますか。オンデマンドで利用可能でしょうか、それともアーカイブされていますか。今後 1 年間で、すべての企業は、デジタル変革や改善イニシアチブを進めて必要な競争上の優位性を獲得する前に、AI のデータ品質、ガバナンス、アクセス、およびストレージの要件を受け入れることを余儀なくされるでしょう。」

Coalesce の CEO 兼共同創設者である Armon Petrossian 氏は、データの品質と整合性を維持できない場合は、2024 年の GenAI 計画は諦めなければならないと述べています。

「2024年までに、データが貴重な資産から繁栄するビジネスの生命線へと進化するにつれ、テクノロジーの世界は変革を目撃するでしょう」と彼は言います。「データの品質、整合性、系統を無視する組織は、情報に基づいた意思決定を行うだけでなく、生成AI、LLM、機械学習のアプリケーションとユースケースの可能性を最大限に引き出すことが求められます。今年が進むにつれて、強力なデータ基盤と戦略の構築を怠る組織は、急速に進化するテクノロジー業界で生き残ることがますます困難になることを私は予測しています。データ基盤を適応させ、優先順位を付けることができなかった企業は、競合他社に勝つのに苦労し、この競争の激しい環境で生き残ることさえ危ぶまれるかもしれません。」

データ系統は継続的な課題をもたらします。 Altair Cloud ComputingのチーフエンジニアであるYeshwant Mummaneni氏は、2024年にはブロックチェーンが助けとなるだろうと予測している。

「AI/ML モデルは、人間の監視下でも完全に自律的な方法でも、重要な意思決定において重要な役割を果たすため、モデルの起源/系統が重要になります」とムマネニ氏は述べました。「ブロックチェーンに記録、デジタル ID、署名、暗号化によって検証された不変性を提供する基盤技術は、エンタープライズ AI に改ざん防止モデルの起源を提供する上で重要な要素になります。」

2024 年には、寒い冬の夜に氷の結晶のように成長するもう 1 つのビッグ データのトレンド、合成データが登場します。 SAS の高度分析製品マネージャー、ポタミティス氏はこう語った。

「組織が厳しい規制に直面し、国境を越えた機密データの共有が困難になるにつれて、合成データが大きな注目を集めるようになるだろう」とポタミティス氏は述べた。「合成データは、元のデータソースの統計的特性を高い精度で捉えることができるため、規制上の障壁を克服し、組織にイノベーションをもたらすことができる。」

ビッグデータリポジトリは良好だが、2024年はデータガバナンスが「左にシフトする」年になるとALTRのCEO、ビーチャム氏は語った。

「組織は、データ転送プロセスの早い段階で、クラウド データ ウェアハウスの左側でデータ ガバナンスとセキュリティ対策を実装します。これにより、機密情報が保護されるだけでなく、収集されたデータの全体的な品質も向上します」と Beecham 氏は述べています。「データのプライバシーとセキュリティに関する規制が強化されるにつれて、早い段階でデータ ガバナンスとセキュリティを優先する企業は、それらの規制に準拠する上で有利な立場になります。2024 年までに、かなりの数の企業がデータ ガバナンスとセキュリティの転送を優先し、クラウド データ ウェアハウスとレイク ハウスで強力なデータ アクセス ガバナンスとデータ セキュリティ機能を開始し、ソース システムを離れるデータにそれらを拡張できるようになると予想されます。」

2023年にはデータメッシュは他の技術トレンド（主にGenAI）に後れを取っていたが、2024年にはデータメッシュの利点が無視できないほど明白になると、DenodoのCEOであるAngel Viña氏は述べた。

「2024年は、データの本来の分散性を取り入れたデータ メッシュの台頭において極めて重要な年となるでしょう」とビニャは述べています。「データ メッシュ内では、IT の役割は、データ ドメインがその役割を果たすための基盤を提供することに移行し、企業全体にデータ製品を作成して配布します。ターニング ポイントとなるのは、データ製品が他の製品と同じレベルの重要性で扱われるべきだという認識です。このデータ中心の時代では、単にデータをパッケージ化するだけでは不十分であり、企業はエンド ユーザー エクスペリエンス全体を向上する必要があります。」