AIモデリングはもはや困難ではない：Jiuzhang Yunji DataCanvasが2つのオープンソース成果をリリース

[51CTO.comより] 「ソフトウェアインフラは大幅なアップグレードを受け、AIの実装はソフトウェアインフラのアップグレードを通じて実現されます。千業種クラウドにおけるソフトウェアインフラのアップグレードは、データインテリジェンスの『新しいIT』にとって歴史的な機会となるでしょう。Jiuzhang DataCanvasはこの未来を予測し、このビジョンを抱きます。」Jiuzhang DataCanvasの会長であるFang Lei氏は、最近北京で開催された「2021 Digital Intelligence Summit Forum」でこのように述べました。

中国の AI エコシステムは急成長している。さまざまな業界のシナリオでAIの実装を総合的に加速する方法と、AI基本ソフトウェアを使用して企業のデジタルアップグレードを加速する方法は、現在AI分野で注目されています。

AI実装の多くの課題に対応するため、長年データサイエンスの分野に深く関わってきたJiuzhang Cloud DataCanvasは、2つの側面でブレークスルーを達成することに尽力しています。1つ目は、機械学習とディープラーニングの自動化を通じて、機械学習モデリングの能力を分散化し、AI機能の普及を実現することです。2つ目は、データ分析をより高速化し、サービスをよりタイムリーにし、準リアルタイムからミリ秒レベルのリアルタイム応答までを実現することです。

このサミットフォーラムで、Jiuzhang Yunji DataCanvasの共同創設者兼CTOであるShang Mingdong氏は、オープンソースで独自に開発した2つの技術成果、DAT自動機械学習ツールキットとDingoDBリアルタイムインタラクティブ分析データベースをその場で発表し、上記の2つの側面に新たなソリューションを提供しました。

[[432155]]

エンドツーエンドのAutoML: AIモデリングの敷居を下げ、アプリケーションの普及を促進

従来の AI モデルのトレーニングには、データの準備、特徴エンジニアリング、モデルの選択、パラメータの調整、評価などのステップが含まれることが多く、各ステップを省略することはできず、時間がかかり、数か月かかることもよくあります。そのため、自動機械学習 (AutoML) テクノロジが誕生し、機械がこれらの問題を自動的に解決できるようになりました。 AutoMLは、業界におけるAIアプリケーションの実装を促進するための重要な技術的道筋であると言えるでしょう。また、AIアプリケーションの敷居を下げ、AIエコシステムを繁栄させる上で大きな意義を持っています。

Jiuzhang Yunji DataCanvas のシニア アーキテクトである Yang Jian 氏は、DataCanvas AutoML Toolkit (DAT) は、一連の強力な AutoML オープン ソース ツールを含む自動機械学習ツール スイート パッケージであると紹介しました。この自動モデリングツールは、基盤となる一般的な自動機械学習フレームワークから構造化および非構造化分野までエンドツーエンドのカバレッジを実現し、機械学習モデリングプロセスにおける「不均衡、概念のドリフト、一般化能力、大規模データ」という4つの主要な困難を初めて突破しました。

DAT は、Hypernets、DeepTables、HyperGBM、Cooka などのさまざまな「魔法の武器」を含む、充実した「武器庫」のようなものです。

モデルを組み立てることは、積み木で遊ぶことに似ています。最初のステップは、どのパーツが使用できるかを決定することです。これを行うには、まず利用可能なコンポーネントをエンコードし、この範囲内でスクリーニングするための検索空間を定義する必要があります。次に、検索戦略を決定します。つまり、特定の方法を使用して、多数のビルディング ブロックの中から最も適切なコンポーネントを見つけ、それらを適切に組み合わせます。最後に、構築されたモデルが使用可能で使いやすいかどうかをテストするための評価基準が必要です。したがって、優れた AutoML フレームワークには、表現力豊かな検索空間記述言語、効率的な検索アルゴリズム、高性能な評価戦略が備わっている必要があります。 Hypernets は、自動機械学習の基盤となる一般的なフレームワークです。さまざまな機械学習およびディープラーニング フレームワークと組み合わせて、専用の自動機械学習ツールを開発できます。また、シングルノードおよび分散型の高性能モデル トレーニングのニーズを満たすオープン トレーニング サービス フレームワークも提供し、AutoML ツールの開発ハードルを大幅に下げます。最新のニューラル ネットワーク アーキテクチャ検索 (NAS) アルゴリズムのサポートにより、ディープラーニング ネットワーク アーキテクチャの設計も自動化されます。

さらに、構造化データモデリングのためのディープラーニングツールとして、DeepTables はすぐに使用でき、柔軟なアーキテクチャを備え、使いやすいという特徴があります。構造化データに対するディープラーニングのパフォーマンスが低いという問題を解決し、多数の公開データセットでは XGBoost や LightGBM などの従来のアルゴリズムよりも優れています。

HyperGBM は、複数の高度な GBM モデルを統合した Hypernets フレームワークに基づく自動モデリング ツールです。完全自動機械学習のワンクリック トレーニングを実現するだけでなく、パイプライン全体を 1 つのモデルに合成してワンクリックで起動できるため、生産上の問題を完全に解決できます。

プログラミングの基礎知識がない非専門家でも、Cooka を選択すると機械学習モデリング作業を簡単に完了できます。 Cooka は、ユーザーフレンドリーなインターフェースを備えたオープンソースのインタラクティブ自動機械学習システムであり、操作が簡単で、ポータブル コンピューターにインストールして実行できます。 Cooka を使用すると、HyperGBM と DeepTables の使用も簡単になります。

まとめると、優れた AutoML プラットフォームは機械学習のすべてのステップをカバーできることがわかります。 IT に詳しくない人でも、データさえ準備すれば、タスクの目的に適したモデルを入手できます。これは、何千もの業界への AI の統合と AI アプリケーションの繁栄に多大な影響を与えることは間違いありません。

リアルタイムデータ分析：AIモデルにより、より効率的な世界洞察と予測が可能に

ファン・レイ氏は会議の基調講演で、リアルタイムのデータ処理が非常に重要であると述べた。モデルをトレーニングした後、結果を出力するまでに長い時間がかかると、間違いなくがっかりするでしょう。例えば、無人油田で緊急事態が発生し警報が必要な場合、データ収集、データ処理、モデル予測がリアルタイムで行われて初めて、最終結果を関係者やチームにリアルタイムで通知したり、他の機械に反映させたりすることができます。このプロセスに関係する中核技術はリアルタイム データベースです。データをリアルタイムで流し、インテリジェントなモデルと連携することによってのみ、人間は世界をより良く認識し、より自動化されインテリジェントな方法で予測を行うことができます。

Jiuzhang Yunji DataCanvas のプロダクトディレクター Hu Zongxing 氏は、参加者にリアルタイム分析データベース DingoDB について詳しく説明しました。

DingoDB は、分析とサービスを統合した新世代のリアルタイム分析データベース HSAP (Hybrid Serving & Analytical Processing) です。高頻度の変更とクエリ、リアルタイムのインタラクティブ分析、リアルタイムの多次元分析をサポートします。

具体的には、このリアルタイム分析データベースの主な革新は次のとおりです。まず、インテリジェント オプティマイザーが行と列の最適化選択を実現します。 DingoDB データベースには、分析 SQL とレコード レベルの SQL を自動的に最適化し、さまざまなビジネス シナリオに基づいて行ストレージ モードと列ストレージ モードをインテリジェントに選択できるインテリジェント SQL オプティマイザーが組み込まれています。 DingoDB は、列ストレージ モードを通じてデータ集約計算と効率的な分析を実現できます。レコード レベルのクエリと更新操作の場合、DingoDB は行ストレージ モードを通じて迅速なデータ配置を実現し、データのクエリと更新操作を実現します。2 番目は、高頻度のポイント クエリと変更操作です。データの適時性要件を満たすために、DingoDB データ ストレージはキー値モデルを採用してストレージを実装し、同時にデータ複製戦略に基づいてデータの行と列の混合ストレージを実装します。データの関連付けやレコードの変更などの高頻度のレコード レベルのシナリオでは、レコード レベルでの高同時性と高頻度のクエリおよび変更操作を実現できます。さらに、マルチコピー メカニズムにより、ストレージとコンピューティングの柔軟な拡張が可能になります。 DingoDB データ テーブルは、マルチパーティションおよびマルチコピー メカニズムを使用してデータのセキュリティと安定性を確保します。同時に、ストレージとコンピューティングの分離モードにより、コンテナー化された展開の水平拡張が保証され、コンピューティングとストレージのデータの弾力性が実現されます。

あらゆるクラウドにAIを組み込み、真のデジタルインテリジェンス時代を先導する

AutoML であれ、AI 基本ソフトウェアであれ、データ インテリジェンスであれ、当初は多くの業界ユーザーの理解が明確ではありませんでした。会議後のインタビューで、DataCanvasの共同創設者兼CTOであるShang Mingdong氏は、ユーザーは特定のビジネスシナリオに基づいたAIソリューションを好むかもしれないが、この個別にカスタマイズされたソリューションは長期的なソリューションではないと述べました。その後の運用と保守管理で無限のトラブルを引き起こす可能性があるだけでなく、大規模な実装の面でも多くの障害に直面しています。そのため、あらゆる企業のデジタル変革には、AI基本ソフトウェアの構築を強化し、AIの自立開発能力を向上させることが必要です。

現在、業界をリードする一部の企業では、AI基本ソフトウェアの改善とアップグレードにより、金融業界ではインテリジェントなリスク管理とリアルタイム承認を実現し、製造業界では設備のインテリジェントな部品検出と予知保全が可能になるなど、目に見えるメリットが生まれています。 AIアプリケーションの導入により、コスト削減や効率化は単なる話ではなくなりました。

これらの業界の大手グループも、Jiuzhang Yunji DataCanvas の主なサービス対象です。これらの顧客のニーズは最も緊急であり、データ資産が十分に強力であり、AIの独自の開発を実現するための資金と技術力の両方を備えているためです。 Jiuzhang DataCanvas は、中国の AI 産業エコシステムの将来の発展予測に基づき、AI インフラストラクチャと関連する AI 機能をさまざまな産業クラウド、エンタープライズ クラウド、その他のクラウドに組み込む「クラウド内のクラウド」戦略を建設的に提案しました。 Jiuzhang Yunji DataCanvas の AI 機能をクラウドに出力すると、半分の労力で 2 倍の結果を達成でき、他者の力を活用できます。

技術力の面では、九張クラウドデータキャンバスはオープンソースデータサイエンスの分野での成果をさらに深め、AIアプリケーションの実装のためのより普遍的なツールプラットフォームを構築していきます。長期計画の面では、千多クラウドエコシステム向けのAI基本ソフトウェアの構築により、より広いビジネススペースとより想像力豊かな創造空間が開かれます。デジタル化の波の中、期待に胸を膨らませ、全力で前進してまいりましょう。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]