Cloudera China: データと AI は、企業が「反脆弱性」になるのにどのように役立つのでしょうか?

2023年には、個人にとっても企業にとっても「脆弱性」はほぼ普遍的な状態になります。

世界経済が大きな混乱を経験する中、ますます多くの個人や企業が「反脆弱性」の重要性を認識するようになっています。「反脆弱性」という概念は作家ニコラス・タレブは、それが回復力や強靭さよりも高レベルの概念であると提唱しました。簡単に言えば、反脆弱性とは、混沌とした不確実な環境でも生き残り、発展し、繁栄する能力を指します。

2024年、ビジネス界は依然として不安定性、無作為性、混沌、プレッシャー、リスクに満ちていることが予測されます。企業が生き残り、より良く発展したいのであれば、自社の「反脆弱性」能力の向上に注意を払わなければなりません。

コスト削減と効率性の向上は「脆弱性対策」の重要な部分である。

「現代の企業の『アンチフラジャイル』な能力は、テクノロジー、人材、プロセスに対する準備に反映されており、それが不確実性の中で企業が成功する鍵となるでしょう。」 Kenrui ChinaのCloudera Greater China地域副社長であるWang Gang氏は、現在の厳しい経済環境において、企業が将来の事業の方向性を計画する際には、長期的な事業戦略を実行するためのインフラとスキルにリソースを投資し、それによってコスト削減、効率性の向上、リソース利用の最大化を達成する必要があると考えています。

王剛、Kenrui China、Cloudera Greater China 地域副社長

データの収益化を例にとると、Wang Gang 氏は、ますます多くの企業がデータを資産や製品として捉え、その価値を測り、データの収益化を通じて企業の収益増加とコスト削減を支援するようになると予測しています。同時に、企業はデータを活用して重要なビジネス上の意思決定やイノベーションを推進する方法も検討しています。そのためには、企業は信頼できるデータを持つ必要があり、データの完全性、正確性、包括性、一貫性が保証されなければなりません。

しかし、現代の企業が徐々に発展するにつれて、データの種類とソースはますます多様化し、構造化テキストデータだけでなく、オーディオ、ビデオ、ドキュメントなどの非構造化タイプも含まれるようになりました。異なるタイプのデータがさまざまなソリューションやシステムを使用して管理されている場合、企業は従来のリレーショナルデータベースを数十個持つことになり、その後のデータ分析とマイニングが非常に困難になります。

すべてのデータを 1 つのプラットフォームで管理することで、データマイニングが容易になり、企業がデータから対応する価値を得ることが容易になります。「 Clouderaが提供する統合型レイクウェアハウスソリューションは、企業内のすべての構造化データ、非構造化データ、半構造化データを管理できます。」王剛氏は、データレイクウェアハウス技術ソリューションのプロバイダーとして、Clouderaはデータの観点から企業の脆弱性対策機能を向上させることができると述べました。

Kenrui ChinaのCloudera Greater ChinaテクニカルディレクターであるLiu Lifang氏は、今年初めからClouderaが多くの顧客に対して、従来のデータベースをより大きなデータプラットフォームに統合し、そのプラットフォームを使用して以前のデータをサポートする支援を行ってきたことを紹介した。同時に、数十の稼働中のデータベースから 1 つのプラットフォームに移行することで、ストレージ、管理、運用のコストが大幅に削減されました。

劉立芳、Kenrui China、Cloudera Greater China テクニカルディレクター

信頼できるデータは信頼できるAIにつながります。 2023年には生成AIが普及し、データの価値がさらに認識されるようになります。

大手企業が公開している大規模言語モデルを利用するのが最も直接的でシンプルなAI活用方法ですが、企業にとっては自社の内部データを活用してAI / MLモデルを構築することの方がビジネス上より価値があります。「今年は多くの企業が独自のビッグ言語モデルを構築し、この優れたツールをさまざまな部門に普及させて利用しているのを目にしました」と王剛氏は明らかにした。 2023年には、多くの顧客がClouderaのビッグデータプラットフォームとテクノロジーを使用して社内にプライベートなビッグモデルを構築し、ビジネス部門の効率向上に貢献した。

シンガポールのOCBC銀行を例にとると、 Clouderaのビッグデータプラットフォームとテクノロジーによって構築された民営化ビッグモデルが3つの典型的なシナリオに適用され、複数の部門で業務効率の向上が実現しました。

クラウドシステム: AI は、IT 担当者がプログラムの問題を迅速に特定し、プログラムの品質を向上させるのに役立ちます。
ドキュメント AI : AI が企業の財務レポートの概要を生成し、投資リスクの迅速な判断を可能にします。
アフターサービス： AI が顧客の感情を認識し、会話スクリプトを生成して、顧客の問題を迅速に解決し、顧客体験を向上させます。

全体として、AI やビッグデータなどのテクノロジーは、企業がコストを削減し、効率性を高めるのに役立ち、不確実な環境でも企業が成長し、利益を上げるのに役立ちます。では、企業は独自のデータや AI 戦略をどのように策定すべきでしょうか?

「大きなモデルは1秒で生成されない」

「競合他社の大きなモデルをそのままコピーすればいいのでしょうか？」劉立芳さんは、これは顧客からよく聞かれる質問だと笑顔で答えた。

「しかし、0から1までの大規模なモデルを構築するプロセスは非常に複雑です。データの処理と、最終的にモデルの生成が含まれます。これは完全なプロセスです。」この素晴らしい成果の裏には、大量のデータの生成、収集、クリーニング、モデリング、その後の処理という初期段階における多大な作業があります。

OCBCを例に挙げると、ビッグモデルが構築される前に、そのビッグデータプラットフォームは長年にわたって構築されており、非常に成熟し安定していました。すべてのAI技術は、その元のデータに基づいてさらに開発されました。たとえば、 Document AI システムは最近開発されたものではなく、長年にわたって実践され、改良されてきました。当初、文書の自動処理は OCR テクノロジに基づいていましたが、その後、処理効率を向上させるアルゴリズムが導入されました。現在、生成 AI テクノロジーにより、システムは文書をより速く処理し、質疑応答方式を通じてプロセスをスピードアップできます。

そのため、データ量が少なく、データソースが分散しており、データがまだ十分に管理されていない企業に対しては、AIを導入する前に、より強固なデータ基盤を構築することを王剛氏は提案しました。「企業は AI を導入する際に、盲目的に大衆に従うのではなく、ビジネス戦略に沿っている必要があります。1 つまたは複数の異なる AI ユースケースを急いで導入すると、企業にさらなるメリットをもたらさない可能性が高くなります。」