中国の「データブリックス」：AIインフラの構築に真剣に取り組む

AI導入の最大の推進要因はインフラのアップグレードです。

近年、ビッグデータ分析やAIなどの分野が注目を集めており、目を引く資金調達イベントも頻繁に発生しています。アメリカのデータサイエンス企業である Databricks は、今年 8 月末に 16 億ドルのシリーズ H 資金調達を完了したばかりです。同社の最新の評価額は 380 億ドルに上り、7 か月前の G ラウンドの資金調達時の評価額 280 億ドルと比べると 100 億ドルの増加となっています。

Databricks が人気となり、データサイエンスも注目されるようになりました。データ サイエンスは複雑なテーマですが、現在では金融、産業、さらには何千もの業界にまで浸透しています。このプロセスは、AI が「使用可能」から「使いやすい」へと移行する過程の縮図とも言えます。

「AI 実装の鍵は、その価値を実証し、適切な商業実装の道を見つけることです」と、DataCanvas の会長である Fang Lei 氏は語ります。「以前は、アルゴリズムが障壁になると考えられていました。しかし、技術の急速な反復とオープンソース化により、アルゴリズムは手の届かないものではないことが証明されました。AI 実装の最大の推進要因は、インフラストラクチャのアップグレードです。」

AIインフラのアップグレードが急務

現在、中国は企業のデジタル変革時代の転換点にあります。情報化の発展を振り返ると、1980年から2000年までは基礎情報化の時代であり、サーバー、ストレージ、オペレーティングシステム、データベースなどのインフラストラクチャのハードウェアとソフトウェアが急速に発展しました。2000年から2020年まではプロセスのデジタル化の時代に入り、クラウドコンピューティングが普及し始め、クラウドがインフラストラクチャとなり、さまざまなSaaSアプリケーションが繁栄しました。2020年以降、市場は「インテリジェントな意思決定」を特徴とする新しい段階に入り、データサイエンスプラットフォーム、クラウドネイティブデータウェアハウス、オープンソーステクノロジーなどの関連分野が爆発的な成長の機会を迎えています。

インテリジェントな意思決定を実現するには、AI インフラストラクチャと呼ばれることが多い「インテリジェント ベース」が必要です。 AI インフラストラクチャの継続的な改善とアップグレードにより、AI アプリケーションの実装がより効率的かつ容易になります。 「AIインフラの価値は、企業がその上でAIアプリケーションを独自に開発できることにある」とファン・レイ氏はまとめた。

AI 実装の探求はアルゴリズムの革新から始まり、その後、顧客にカスタマイズされたエンドツーエンドの AI アプリケーション開発を提供することに専念する AI 企業グループが登場しました。これにより、目に見えない形で AI の実装に対する高いハードルが生まれています。あらゆる分野でインテリジェンスに対する需要がますます高まる中、多くの業界の主要顧客にとって AI は必須の要件となっています。しかし、これらの主要顧客は、ビジネス規模が大きく複雑であるだけでなく、ニーズも異なります。 「ワンサイズですべてに対応」という古いカスタマイズされたエンドツーエンドのアプリケーション開発モデルを使い続けると、これらのトップ顧客のビジネスニーズに迅速に対応することが難しくなります。さらに、AIアプリケーションの敷居は依然として高く、顧客が主導権を握ることはできません。

「各業界の大手顧客のニーズから見ると、彼らは自社のビジネスを中心に独自のAIアプリケーションを開発することを好んでおり、そのためには独立した制御可能なインフラストラクチャが必要です。」Fang Lei氏は、「AIインフラストラクチャに依存して、企業は独自にAIアプリケーションを開発し、独立したAI機能を発揮して形成します。これが市場の主流であり、AIアプリケーションの実装の内なる原動力です。」と述べました。

Databricks が市場で人気を博している理由は、同社が最も得意とするストリームデータ処理を起点として、機械学習とモデリングを上方向に展開し、データレイクとウェアハウスの統合を下方向に構築し、AI インフラストラクチャを継続的に拡張および改善し、トップレベルの AI アプリケーション向けに最適化されたキャリア プラットフォーム、つまり AI Foundation を提供しているからです。

出典: Databricks

実際のところ、業界内では AI インフラストラクチャに関する統一された明確な定義が現在存在しません。しかし、アプリケーションの実践や、Databricks などのベンチマーク企業の実践から判断すると、AI インフラストラクチャには少なくとも「データ」と「アルゴリズム」という 2 つの基礎が含まれています。

以前は、マーケティング リストの取得など、ほとんどのアプリケーションはオフラインでした。しかし現在、オンライン アプリケーションに対する顧客の要求はますます緊急になっています。モデルは構築されていますが、データが「不足」していることが判明することが多々あります。 AIアプリケーションはリアルタイムデータベースから切り離せないことがわかり、この時点でAIインフラストラクチャの重要性が強調されます。 4年前、Jiuzhang Yunji DataCanvasは、高い同時実行性をサポートするリアルタイムデータウェアハウスの構築を開始しました。現在、ブランドアップグレードを経て、より充実した機能とパフォーマンスを備えたHSAP（ハイブリッドサービング/分析処理）リアルタイムデータウェアハウス製品DingoDBが発表されました。これは、Jiuzhang Yunji DataCanvas にとって、AI アプリケーションに不可欠なデータ基盤です。

AIインフラの限界について、ファン・レイ氏は次のように述べた。「アルゴリズムは技術的な限界ですが、私たちは突破口を開いたのです。当社の自動機械学習製品は、性能やその他の指標の点で外国の類似製品に劣らず、むしろ強力です。実際、より高い限界は依然として顧客、つまりアプリケーションレベルにあります。現在、自社構築のAIインフラの需要は、主に各業界のトップ顧客に集中しています。AIメーカーとして、私たちはこれらのトップ顧客に十分なサービスを提供する意欲と能力を持たなければなりません。当社は2014年からこの分野に注力し、深化させてきました。」

Jiuzhang Yunji DataCanvas と Databricks はどのようなものですか?気に入らない？

市場動向の観点から見ると、革新的なAIインフラストラクチャを使用してAIとビッグデータアプリケーションの実装をサポートするSnowflakeやDatabricksなどのデータ駆動型企業が資本市場の寵児となったのは、インテリジェントな意思決定の時代の到来によるものです。

Databricksが設立された2013年には、同じくデータサイエンスを提唱するJiuzhang Yunji DataCanvasも中国で急成長を遂げた。両社は異なる場所に所在しているにもかかわらず、特に能力構築とビジネスモデルのビジョンの点で多くの類似点があります。Jiuzhang Yunji DataCanvas と Databricks の間には、ある種の暗黙の了解があります。これは偶然でしょうか?それとも目的地は同じですか?

まず、両社は似たようなポジショニングをしています。どちらもデータサイエンスの開発者、ユーザー、プロモーターであり、AIインフラのアップグレードに注力しています。しかし、出発点や専門技術分野が異なるため、Databricksはストリームデータ処理で最初に有名になり、Jiuzhang Yunji DataCanvasはオープンソースの自動機械学習に優れています。そのため、具体的なAIインフラストラクチャの構築に関しては、両者が選択する道は異なります。

第二に、製品ラインの観点から見ると、細部には若干の違いがあるものの、全体的な能力構築の観点から見ると、両社の製品はまったく同じであり、どちらも分析とデータという2つの主要な部分をカバーしていると言えます。分析部分では、Jiuzhang Yunji DataCanvas は業界で高く評価されているオープンソースアーキテクチャの機械学習プラットフォーム DataCanvas APS を活用しています。このプラットフォームには、オペレータウェアハウス、モデルトレーニング、データ処理、自動機械学習などが含まれており、データレベルで DingoDB リアルタイムデータウェアハウスと連携して、リアルタイムデータコンピューティングと分析のクローズドループを構築します。 Databricks には、よく知られている Spark に加えて、同様によく知られているデータ レイクとウェアハウス イン ワンの Delta Lake、さらに機械学習、データ テストと管理、データ解釈とモデリングの製品もあります。両社は継続的なイノベーションを通じて、本質的に類似するAIインフラをより「強固で充実した」ものにすることに注力しています。

出典: Jiuzhang Cloud DataCanvas

「データサイエンスの分野では、当社はデータブリックスと同様のビジョン、目標、戦略を持ち、同じことをしたいと考えています。それは、AIインフラを構築し、コンピューティングパワーとネットワークを最大限に活用することです」とファン・レイ氏は述べた。「誰かが私たちを『中国のデータブリックス』と呼んでくれることは非常に光栄です。これは私たちへの評価です。しかし、AIインフラの市場スペースは巨大であり、まだやるべき『詳細な作業』がたくさんあることも私たちははっきりと認識しています。これは、私たちが急速に前進し続けるための原動力でもあります。」

クラウドにAIを組み込む

違いを生み出したいと願う企業は、決して「他の誰かになる」だけでは満足しないでしょう。Jiuzhang Yunji DataCanvas も同様です。「中国のデータブリックス」になることが目的ではなく、「自分自身になる」こと、そしてユニークな存在になることが究極の目標です。

実際、市場や競争環境から企業のAI応用ニーズに至るまで、中国と米国の間には違いがあります。 2 つの異なる土地で育った苗木は同じ種に属する可能性がありますが、個体間には大きな違いがあります。たとえば、米国市場では、AWS、Azure、Google Cloud が常に市場を支配する「3 つのクラウド」でした。 Snowflake と Databricks はどちらも、これらの「3 つのクラウド」上で成長します。しかし、中国ではクラウド コンピューティング市場は大きく異なります。クラウドの断片化は明らかで、さまざまな地域や業界が何千ものクラウドを作成している可能性があります。 AIアプリケーションの実装の観点から見ると、中国とアメリカの顧客のニーズに違いはありませんが、具体的なパスの選択と実装方法に関しては、依然として独自の好みと習慣があります。

方磊氏は、現段階では九張雲吉データキャンバスは主に各業界のトップ顧客グループに焦点を当て、彼らのためのAIインフラを構築すると認めた。これらの顧客のニーズは最も緊急であり、AIの独自開発を実現するための資金と技術力の両方を備えているためです。 Jiuzhang DataCanvasは、中国のAI産業エコシステムの将来の発展予測に基づき、「クラウド内のAIクラウド」戦略を建設的に提案しました。これは、さまざまな業界クラウド、地域クラウド、エンタープライズクラウド、アライアンスクラウドなど、数千のクラウドにAIインフラストラクチャと関連するAI機能を組み込むというものです。さまざまなクラウド エコシステムのニーズを満たすために、Jiuzhang Cloud DataCanvas はソリューションをより柔軟かつ効率的に提供できるようにする必要があります。 「クラウド内のクラウド」は明らかに、他者の力を活用し、Jiuzhang Yunji DataCanvas の AI 機能をクラウドを通じて出力できる、より効率的なアプローチです。

出典: Jiuzhang Cloud DataCanvas

多くの業界ユーザーは、最初は AI インフラストラクチャについて漠然とした理解しか持っておらず、継続的な教育が必要です。しかし、新しいことへの挑戦を先導してきた業界大手企業の中には、すでに AI インフラストラクチャのアップグレードによるメリットを享受しているところもあります。例えば、銀行業界では、これまで承認に数日かかっていた融資がリアルタイムで承認されるようになったり、製造業界では、工業品質の検査能力の向上や設備の予知保全の実現など、AIの活用によってメリットが得られている…このような活用事例は数え切れないほどあります。

「AIインフラの構築を基盤として、ユーザーはデータ、シナリオ、予算、チームを駆使して独自のAIアプリケーションを開発できる」とファン・レイ氏は語る。「ユーザーはかつてメーカーにターンキーAIソリューションを求めていた。しかし、このような個別にカスタマイズされたソリューションは長期的なソリューションではない」。例えば、ある大手鉄鋼会社は世界中に300以上の生産ラインを持ち、各生産ラインは異なる設備とサプライヤーを使用している。モデリング、分析、アプリケーション開発、管理をサポートする統合プラットフォームがなければ、システムは圧倒されてしまいます。結局のところ、ユーザーは依然として、独自の AI 機能の向上、一般的なテクノロジの使用、および AI アプリケーション開発の独自習得に頼る必要があります。この場合、AI インフラストラクチャは必須です。これは、Jiuzhang Yunji DataCanvas にとってもビジネスチャンスです。

良い例は、半分の労力で2倍の結果を得るのに役立ちます

何千ものクラウド エコシステム向けの AI インフラストラクチャを構築することが、Jiuzhang DataCanvas のビジネス上の位置付けであり、中国初のオープン ソース データ サイエンス プラットフォームを構築することが、Jiuzhang DataCanvas の本来の目的です。この二つは矛盾するものではありません。それどころか、データ サイエンスと AI インフラストラクチャは、規律とビジネス アプリケーションという 2 つの異なる次元から、Jiuzhang Yunji DataCanvas でバランスと統一を実現しました。

長い間、データサイエンスはニッチな分野でした。中国には、Jiuzhang DataCanvas のように長年データサイエンスの分野に取り組んできた企業はほとんどありません。 Databricks は、データサイエンスの分野で世界初の企業と言えます。その継続的な人気は、少なくともデータ サイエンス市場には大きな可能性があることを証明しています。

新しいインフラストラクチャ、クラウドネイティブ、デジタルアップグレード、オープンソースなどの有利な要素と、Databricks の前例、および Jiuzhang Yunji DataCanvas などの企業の長年にわたる努力が相まって、データサイエンスの未来は期待に値します。