ソフトウェアとハードウェアを組み合わせたCDS Shouyun AIクラウドサービスの技術実践

人工知能は新たな変化を先導しています。近年、人工知能はテクノロジー業界から始まり、急速に生活の各分野に浸透し、私たちの生活はすでにAIの息吹に満ちています。現在、業界全体における人工知能技術の導入はクラウドの形で実施されるのが一般的であり、人工知能クラウドサービスAIaaS（AI as a Service）はクラウドサービスプロバイダーにとって新たな成長ポイントとなっています。人工知能のディープラーニングアルゴリズムはすでに比較的成熟しており、いかに効率性を向上させるかが鍵となります。業界ではよく知られたクラウドサービスプロバイダーである CDS は、ソフトウェアとハードウェアを組み合わせた AI クラウドサービス技術の探求を通じて方向性を示してきました。

1. AI のクラウド化は明らかなトレンドです。

ソフトとハードを組み合わせることが鍵

人工知能は、技術探索から大規模応用へと移行しています。人工知能はインフラストラクチャとなり、AIのクラウドコンピューティングが明確なトレンドとなっています。

1つ目はユーザーの需要です。企業にとって、競争力を継続的に高め、デジタル変革を深める必要があります。人工知能は避けられない選択肢となり、多くの需要を生み出しています。クラウドの活用が進むにつれ、企業は人工知能がクラウドと同じくらい使いやすく便利になり、従量課金制になることを期待しています。

2 つ目は、クラウドベンダーの成長ポイントです。クラウドベンダーにとって、人工知能の機能を強化し、企業に力を与えることは、新たな成長ポイントです。多くのクラウドベンダーが自社の名前に「インテリジェンス」を付け加えているのはそのためです。

3 つ目は、人工知能にはハードウェアとソフトウェアが関係しており、技術が複雑で継続的な最適化が必要です。この分野でリソースと技術力を持っているのはクラウドベンダーだけです。

IaaS の基盤となるテクノロジーが仮想化であるのと同様に、AI クラウドサービスはディープニューラルネットワークアルゴリズムとソフトウェアとハードウェアのコンピューティング能力の組み合わせに依存しています。アルゴリズムの実装はソフトウェアに依存します。人工知能用のオープンソースソフトウェアがトレンドであり、計算能力はソフトウェアとハードウェアを組み合わせる能力に依存します。

2. オープンソースとソフトウェアとハードウェアの組み合わせは、AI テクノロジーのトレンドです。

OpenVINO™には

人工知能技術においては、TensorFlow、Caffe、MXNet、Kaldiなどの有名なディープラーニングフレームワークなど、オープンソースが主流となっています。一方、計算能力は人工知能アプリケーションの速度を決定するため、非常に重要です。したがって、人工知能の有効性はソフトウェアとハードウェアの組み合わせに依存します。しかし、オープンソースフレームワークは数多く存在するため、ユーザーにとっては、異なるディープラーニングフレームワークや異なるハードウェアを使用する場合、それらを一つずつ最適化する必要があり、作業負荷が重くなります。

OpenVINO™ ツールキットの登場により、この問題は解決しました。OpenVINO™ ツールキットはオープンソースであり、主流のディープラーニングフレームワークをサポートし、Intel アーキテクチャ内のさまざまなハードウェアをサポートし、統一されたインターフェイスを提供し、オープンソースとハードウェアおよびソフトウェアのトレンドを組み合わせています。

OpenVINO™ ツールキットの紹介

OpenVINO™ ツールキットは、高性能コンピューティングおよびディープラーニングアプリケーションの開発を加速するために、Intel が既存のハードウェアプラットフォームに基づいて開発したツールキットです。人間の視覚シミュレーション、自動音声認識、自然言語処理、推奨システムなど、さまざまなタスクを解決するアプリケーションとソリューションを迅速に開発するための包括的なツールキットです。

このツールキットは、畳み込みニューラルネットワーク (CNN)、再帰型ネットワーク、アテンションベースネットワークなどの最新世代の人工ニューラルネットワークに基づいており、Intel ハードウェア全体でコンピュータービジョンと非ビジョンのワークロードを拡張してパフォーマンスを最大化します。エッジからクラウドに展開された高性能な人工知能とディープラーニング推論により、アプリケーションを高速化します。

OpenVINO™ ツールキットの利点

OpenVINO™ ツールキットには、主に 4 つの利点があります。

畳み込みニューラルネットワークに基づくディープラーニング推論をサポートします。

Intel CPU、Intel グラフィックス、Intel Neural Compute Stick、Intel Movidius™ Vision プロセッサー間での実行をサポートします。

使いやすいコンピュータービジョン機能と事前に最適化されたカーネルのライブラリを使用して、市場投入までの時間を短縮します。

OpenCV* や OpenCL™ などのコンピュータービジョン標準に合わせて最適化された呼び出し。

次の図は、典型的なOpenVINO™ワークフローを示しています。

図 OpenVINO™ ワークフロー

Intel Distribution of OpenVINO™ ツールキットには、次の主要コンポーネントが含まれています。

ディープラーニングモデルオプティマイザー: モデルをインポートし、推論エンジンで最適化された実行のために準備するためのクロスプラットフォームのコマンドラインツール。モデルオプティマイザーは、Caffe、TensorFlow、MXNet、Kaldi、ONNX などの一般的なフレームワークでトレーニングされたモデルをインポート、変換、最適化します。
ディープラーニング推論エンジン: さまざまな種類のハードウェアで高性能な推論を可能にする統合 API。
推論エンジンサンプル: アプリケーションで推論エンジンを使用する方法を示すシンプルなコンソールアプリケーションのセット。
追加ツール: 精度チェッカーユーティリティ、トレーニング後の最適化ツールのガイド、モデルダウンローダーなどを含む、モデルコラボレーション用のツールスイート。

OpenVINO™ ツールキットはオープンソースであり、AI 開発者の間で非常に人気があります。現在、Github で 1.9k のスターと 787 のフォークを獲得しています。

図 OpenVINO™ Github インターフェース

有名なクラウドサービスプロバイダーである CDS が、OpenVINO™ を使用して AI クラウドサービス機能をどのように向上させているかを見てみましょう。

3. CDS初のクラウド事例

テクニカル分析

AI 機能の出力における重要なリンクとして、AI モデルの展開と推論効率は、全体的なパフォーマンスに直接影響を及ぼします。CDS Shouyun は Intel と共同で、高性能 K8S コンテナプラットフォームに OpenVINO™ モデルサーバーを導入し、AI モデルの迅速な展開と推論効率の向上を支援しています。

現在、この新しいソリューションは、CDS Capital Cloud 内の AI アプリケーションシナリオで最初に導入され、検証されています。実際の結果では、OpenVINO™ Model Server に基づく新しいソリューションは、ユーザーの同時アクセス機能の点で従来の AI モデル導入ツールよりはるかに優れているだけでなく、検出遅延などの主要なパフォーマンス指標でも優れたパフォーマンスを発揮することが示されています。

Shouyun AIクラウドサービスソリューションアーキテクチャ

AIクラウドサービスは、AIアプリケーションを加速するためのハードウェアインフラストラクチャの提供に限定されるものではありません。基盤となるインフラストラクチャリソースを効率的に割り当て、スケジュールできるクラウドプラットフォームと、このクラウドプラットフォーム上のAIアプリケーションとモデルに完全な動作環境を提供できるミドルウェアまたはフレームワークも導入する必要があります。クラウドプラットフォームとAI動作環境の組み合わせが合理的で、連携が効率的であるほど、AIクラウドサービスの全体的なパフォーマンスは向上します。 CDS は、AI クラウドサービスソリューションを構築するプロセスにおいてこの原則を順守しています。そのアーキテクチャを下の図に示します。

図 CDS First Cloud AI クラウドサービスソリューションアーキテクチャ

インフラストラクチャアーキテクチャレベルでは、Intel は強力なデータ処理、ストレージ、および転送機能を実現する一連の高度なコンピューティング、ストレージ、およびネットワーク製品を提供しています。
K8S 仮想化レイヤーは、基盤となるアーキテクチャのノード管理および拡張サービスを提供する役割を担い、インフラストラクチャレイヤーの機能を最大限に活用しながら、ソリューションの優れたスケーラビリティを実現します。
このソリューションが提供する AI サービスは、コンテナを通じて上位層で多様なアプリケーションシナリオ向けの AI 機能を出力します。

このアーキテクチャに基づいて、CDS Shouyun の AI クラウドサービス機能は、ソリューションの形でクラウドプラットフォームまたはベアメタルプラットフォームを選択したユーザーに追加のローカルサービス機能を提供できるだけでなく、サービス API の形でユーザーにリモート AI 機能の出力を提供することもできます。

OpenVINO™モデルサーバーはソリューションの中核です

OpenVINO™ モデルサーバーは、OpenVINO™ ツールキットの重要なコンポーネントです。OpenVINO™ ツールキットの役割は、ユーザーがモデルを最適化および高速化して、コストを削減し、効率を高めるという目標を達成できるようにすることです。OpenVINO™ モデルサーバーは、Intel®️ アーキテクチャインフラストラクチャが提供するコンピューティングパワーをベースとして活用し、CDS の新しい最初のクラウドソリューションがモデル展開プロセスを大幅に簡素化できるようにすることで、AI モデルをより効率的かつ便利に実稼働環境に展開し、推論パフォーマンスを効果的に向上できるようにします。

図 OpenVINO™ モデルサーバーのアーキテクチャ

図に示すように、OpenVINO™ モデルサーバーは、ユーザーがさまざまなシナリオで呼び出すことができる 2 つの標準ネットワーク API インターフェイス (gRPC と REST) を提供します。ユーザーが AI タスクをローカルで開始するかリモートで開始するかに関係なく、これらのタスクはコンテナーに展開された OpenVINO™ モデルサーバーサービスに接続されます。

上記のアーキテクチャ設計とワークフローにより、OpenVINO™ モデルサーバーは、AI クラウドサービスの展開とアプリケーションにおいて次の 4 つの利点を実現できます。

Intel アーキテクチャ内のさまざまなタイプのハードウェアインフラストラクチャのパフォーマンスを最適化します。この利点により、ユーザーはモデルトレーニング後にさまざまなシナリオでモデルを展開して高速推論を行うことができ、展開と運用のコストを効果的に削減できます。
OpenVINO™ モデルサーバーは K8S と適切に統合されており、ミラーリングを通じて迅速なモデルの展開、保守、拡張を簡単に実現できます。また、水平方向のスケーラビリティも向上しているため、ユーザーに集中的なコンピューティングホスティングサービスを提供しやすくなります。
一般的な主流のディープラーニングフレームワークを適切にサポートしているため、ユーザーは AI ソリューションの設計と展開時にフレームワークの制約を取り除き、ニーズに応じて最適なフレームワークを導入し、AI サービス機能を強化できます。
統合ネットワーク API アクセス機能により、エンドユーザーは CDS First Cloud のクラウドプラットフォームまたはベアメタルプラットフォームに基づいてローカライズされた AI 機能を展開したり、リモートネットワークを使用してこの機能を呼び出したりすることができます。 gRPC や REST などのさまざまな API インターフェースモードのサポートにより、ソリューションの使いやすさも大幅に向上します。

実践: 不正コンテンツ検出で高性能と低コストの両方を実現

新しいAIクラウドサービスソリューションが形成された後、CDS Shouyunはターゲットを絞った実践的な検証作業を開始し、より緊急な内部アプリケーションのニーズがある不良コンテンツ検出シナリオを「実験分野」として優先しました。

図 CDS Shouyun AI の不正コンテンツ検出プロセス

これまで、CDS Shouyun は主に TensorFlow Serving フレームワークなどのオープンソースツールを使用して、ディープラーニングモデルを推論用の本番環境にデプロイしていました。しかし、このプロセスでは、ユーザーは次のような課題に直面することがよくありました。

まず、モデルのトレーニングと推論のプロセスでは、どのようなツールを使用しても、パフォーマンスと精度が異なる場合があります。適切に調整しないと、作業効率を十分に活用できません。
第二に、アプリケーションシナリオの変化に応じて、ユーザーは異なるディープラーニングフレームワークを選択する必要があるかもしれません。
特に重要なのは、異なるアーキテクチャのハードウェアインフラストラクチャ上に構築された本番環境での AI モデルの推論パフォーマンスが大きく異なることです。ソリューションユーザーがハードウェア環境ごとに繰り返して面倒な構成とデバッグを実行しなければならない場合、必然的に多くの時間がかかり、作業効率に悪影響を及ぼします。

これらすべての問題は、CDS Shouyun が作成した新しい AI クラウドサービスソリューションで適切に解決されました。 OpenVINO™ モデルサーバーの導入とアプリケーションの利点により、この新しいソリューションでは、ユーザーが AI アプリケーションの高可用性、容易なメンテナンス、ワンクリック導入を実現できるだけでなく、推論パフォーマンスが大幅に向上し、TCO の削減にも役立ちます。

図1. CDS Shouyunの不正動画コンテンツ検出シナリオの検証テスト結果

テスト結果を図に示します。OpenVINO™ Model Server を使用したソリューションは、比較グループよりもはるかに多くの同時ユーザーをサポートしており、これは TensorFlow Serving を使用したソリューションの 2.4 倍です。同時に、各同時クライアントの遅延も 30 ミリ秒以内に制御されているため、検出プロセス全体がビデオ再生の速度に追いつき、リアルタイム検出を実現できます。

将来、CDS Cloud がパブリッククラウド市場に完全に参入すると、OpenVINO™ モデルサーバーソリューションによってもたらされるアプリケーションの利点も競争上の優位性に変換されます。次に、CDS Shouyun は、より多くのアプリケーションシナリオで新しいソリューションのパフォーマンスをさらに最適化することに加えて、Intel と協力して、OpenVINO™ モデルサーバーに基づく AI クラウドサービスとエッジコンピューティングを統合するソリューションを模索する予定です。このタイプのソリューションは、AI クラウドサービスの適用範囲をセキュリティ、自動検出、アクセス制御システムなどのアプリケーションシナリオにさらに拡大し、ユーザーにさらに多様で差別化されたクラウドサービス機能を提供します。

4. 結論: OpenVINO™はAIクラウドサービスの未来です

進化の方向

業界でよく知られているクラウドサービスプロバイダーとして、CDS Shouyun は AI クラウドサービスに対するユーザーの切実な需要を迅速に捉え、Intel と提携して OpenVINO™ モデルサーバーを使用し、ユーザーにとってより効率的で便利かつ完全な AI クラウドサービス機能を実現し、競争力を強化しました。

AI 機能はクラウドサービスの新たな領域であり、OpenVINO™ スイートは AI クラウドサービスを構築するための強力なツールです。 OpenVINO™ をベースとしたクラウドサービスは、Intel アーキテクチャ内のさまざまなハードウェアをサポートし、K8S をサポートし、主流のオープンソースディープラーニングフレームワークをサポートし、統合された API を提供できます。 OpenVINO™ をベースとした AI クラウドサービスが今後の進化の方向になると信じています。ユーザーがこのような AI クラウドサービスを選択すれば、投資に対する良い保証となるでしょう。

<<: 世界トップクラスのAI研究所？ DeepMind、OpenAI、FAIRがトップ3を占める

>>: オープンソースのコラボレーションを通じて AI を進化させる方法