人工知能の主な発展とその原動力

本日の講演は、アリババCIOアカデミーが開催した人工知能（AI）技術に関する特別研修コースのために賈陽青氏が準備したものです。 ライブ放送中、Jia Yangqing 氏は AI に関わるエンジニアリングと製品の実践について説明しました。 まず、AIとその応用について紹介しました。 その後、参加者は、アルゴリズムの革新を推進するコンピューティング能力の飛躍的進歩やクラウド プラットフォームが提供できる価値など、AI システムにおける重要な問題について議論しました。 最後に、賈氏はビッグデータとAIの関係を分析し、企業がAIをどのように受け入れるべきかを議論し、同社のインテリジェント戦略の要点を提示した。

[[333533]]

人工知能の 5 つのビジネス価値と原則 | データ駆動型投資家

商業的価値を得ることが難しい。 それは非常に難しいことです…高度な分析に関しては、プロセスはさらに…

アルゴリズム

人工知能は重要な技術トレンドとなっています。 現在、あらゆる分野で AI が受け入れられ、AI とのつながりがさらに深まっています。 下の図は、AI が重要な役割を果たす分野を示しています。AI と密接に関連する分野だけでなく、AI によって間接的に強化される分野も含まれています。

先走る前に、AI、そのアプリケーション、システムの背後にある考え方を理解する必要があります。

過去80年間にわたりAIが発展するにつれ、チューリングテストから国家全体の変化への対応まで、さまざまな成果が生まれてきました。 機械は人間と同じように AI を使用して質問に答え、計算や分析のタスクを作成または実行します。 いくつかの分野では、コンピューターはすでに人間の能力を達成しています。 例えば、2019年にリリースされた顔を変えるアプリケーションは、AI分野におけるディープラーニングとニューラルネットワークの広範な応用に基づいています。

現在、多くの AI アプリケーションが人間の仕事の代わりとして私たちの日常の仕事や生活で使用されています。 たとえば、イーロン・マスクの AI プロジェクトは、人間の脳の働きをシミュレートすることができます。 しかし、AI の急速な発展に伴い、いわゆる「偽 AI」の例もいくつか登場してきました。

AIの開発の過程で、私たちはいくつかの偽のAIプロジェクトに直面してきました。たとえば、深刻な偽のAIプロジェクトでは、投資家から2億人民元（2,800万米ドル以上）が詐取されました。 したがって、AI とは何か、そして AI をどのように使用するのかをより深く理解する必要があります。

学術界では、人工知能の定義は多少異なります。 人工知能は人間の知能をシミュレーションしたもので、情報を受信して​​分類し、さまざまなタスクを合理的に実行し、それに基づいて意思決定を行うことができます。

その主な特徴の一つは合理的に行動する能力です。

AI プロセスは、認識から意思決定のフィードバックまで行われます。 AI システムが適切なアクションをとれるかどうかを決定する重要な要素は、AI システムが外界に関する情報をどのように認識するかです。 AI は人間の脳をシミュレートしようとするため、知覚プロセスは実際には理解と学習のプロセスになります。 これはディープラーニングが AI を通じて解決しようとしている問題です。

ディープラーニング

ビデオ、テキスト、音声コマンドなどの外部情報が機械言語に変換された場合にのみ、AI はそれを受け入れて応答できます。 科学者たちは、AI の初期の頃からこの問題を検討し、研究してきました。

その後、人々は視覚を通じて情報を入力する方法について議論し、研究し始めました。 2012年、カナダのトロント大学で開催されたImageNetコンテストで優勝したジェフリー・ヒントン氏と彼の学生アレックス・クリジェフスキー氏が解決策を考案しました。 その年以降、有名な VGG や GoogLeNet などのより深いニューラル ネットワークが提案されました。 これらのニューラル ネットワークは、従来の機械学習分類アルゴリズムよりも優れたパフォーマンスを提供します。

AlexNetディープラーニングの歴史

つまり、AlexNet の目的は、多数のオブジェクトの中からコマンドに必要なオブジェクトを正確に識別することです。 このモデルの応用により、画像認識分野の発展が加速し、現在では広く使用されています。

人間の脳と同様に、ニューラル ネットワークは複数の層の学習モデルを使用し、学習を続けるにつれてますます複雑になります。 数百万枚の画像の中から「猫」というラベルの付いた画像を見つけ、非常に大規模なデータセットで編集されたビジョン ネットワーク モデルをトレーニングするとします。 次に、モデルの反復を通じて、より複雑なトレーニングが実行されます。

現在、一般的に使用されている RestNet モデルは 100 層以上の深さを持ち、下の図の下部に示されている高速ブリッジ接続など、最新の科学的研究の成果がいくつか組み込まれています。 これにより、ユーザーはディープ ネットワークを迅速かつ効率的にトレーニングできます。 最終的に、これによって視覚の問題が解決されます。

Alibaba Cloud: インテリジェントな航空エプロン管理

このソリューションは、AI を使用して航空機の種類、ゲート、空港車両を識別し、それらを現実世界の地図に反映します。 また、飛行中の航空機の軌道を確認することもできます。 この情報はAI管理の入力として使用でき、空港運営をより便利かつ効率的にします。

前述したように、ディープラーニングは重要な認識モードと方法です。 ディープラーニングアルゴリズムには主に以下のものが含まれます。

• データマーキング
• アルゴリズムモデル開発
• 高性能分散トレーニング
• モデルの最適化
• モデルの展開

認識後、AI システムは決定を下す必要があります。 ディープラーニングは、外部情報を学習して認識することはできますが、認識の問題の理由を説明するフィードバックを提供することができないブラックボックス操作です。 したがって、分析とフィードバックには意思決定能力が必要です。

従来の機械学習の例としては、主に決定木アルゴリズムとロジスティック回帰が挙げられます。 たとえば、銀行が融資を行うプロセスは、さまざまな要素を比較検討した上で決定を下す意思決定プロセスです。 決定木を使用して、「はい」または「いいえ」の回答を出力し、融資を承認するかどうかを決定できます。ロジスティック回帰は、2 種類のデータ間の相関関係を指します。 これは正確な解を出力する数学的手法です。

実際、ディープラーニングと機械学習は補完的です。 ディープラーニングは、コンピュータービジョンや音声認識などの知覚の問題を解決できます。 ニューラル ネットワーク アーキテクチャを使用して多くの知覚問題を解決しますが、知覚を説明することはできません。 従来の機械学習では、このようなユーザーフレンドリーな認識機能は提供されません。 ただし、そのモデルは比較的小規模で直接解釈できるため、財務およびリスク管理のシナリオでは必要です。

人工知能は広告の分野で長い間使用されてきました。 Taobao は最も一般的な広告シナリオの 1 つです。 販売者はまず、消費者の個人的な閲覧情報に基づいてユーザーの好みを調査し、次にインテリジェントな推奨システムを通じて消費者の検索に関連する製品をプッシュします。 このインテリジェントなアルゴリズムを広く適用することで、ユーザー情報のマイニングがより効率的かつ正確になります。

認識と意思決定はどちらもアルゴリズムに依存します。

• 認識: 認識プロセスはディープラーニング アルゴリズムに関連しており、データのラベル付け、アルゴリズム モデルの開発、高性能分散トレーニング、パフォーマンスの最適化、モデルの展開が含まれます。
• 意思決定: 意思決定プロセスは、従来の機械学習アルゴリズムとディープラーニング アルゴリズムに関連しています。 これには、業界行動データの収集、構造化データと非構造化データの処理、データとアルゴリズムの組み合わせモデリング、アルゴリズム開発のトレーニングと調整、モデルの展開、リアルタイムのトレーニング フィードバックが含まれます。

人工知能システム

アルゴリズムが急速に進化するにつれて、対応するインフラストラクチャのサポートがますます重要になります。 これには AI システムのサポートが必要です。 AI または機械学習システムを構築する上で重要な要素は、アルゴリズムと計算能力の 2 つです。 アルゴリズムの革新は、計算能力の飛躍的進歩によって推進されます。

次のグラフは、2019 年までに AI に必要な計算能力を示しています。 AlexNet には、AlphaGo Zero よりも 30 万倍の計算能力が必要です。 この場合、アルゴリズムの反復とアルゴリズムの実装のソリューションにより、システムに高い要件が課せられます。

下の図は、2013 年の AlexNet システムを示しています。マシンに GPU を追加するだけで、トレーニング コストは 7 日間で 1 日あたり約 500 ワットになりました。 つまり、ビジネス モデルの反復サイクルは約 1 週間になります。

企業が広告推奨やその他のモデルを迅速に開発する必要がある時代において、1 週間のモデル反復サイクルは長すぎます。 その結果、AI システムに高い計算能力を提供するために、大規模なクラスターやチップを使用することへの関心が高まっています。 2014 年に MIT が実施した比較によると、人間は 1 分間に約 77 枚の画像を処理できますが、単一の GPU は同じ期間に 230 枚の画像を処理できます。 単一の GPU の処理速度は人間の処理速度よりはるかに速いわけではありませんが、GPU クラスターを使用することで、より大規模で高速な計算を実現できます。 下の図に示すように、512 個の GPU のクラスターは 1 分間に 600,000 枚の画像を処理できます。

AI システムを設計する際には、高性能なストレージを実装し、マシン間の高速通信を実現し、分散クラスターの安定性を維持する方法に重点を置く必要があります。 現在、Alibaba Cloud には、1 分あたり 128 KW の電力を消費し、3 分で 10×1 の計算を実行できる社内 EFLOPs プラットフォームがあります。 このようなシステムは 2015 年以前には考えられなかったでしょう。この機能を実現できるのは、主にシステムの基盤となるシリコンの大規模なクラスタリングとスケーラビリティのおかげです。

現在、世界中の多くの企業、特に中国企業が高性能チップの研究開発に取り組んでおり、アリババも例外ではありません。 2019年、アリババは世界最高性能のAI推論チップ「Hanguang 800」をリリースした。このチップは実際の都市脳と航空脳のシナリオでテストされ、1秒あたり約80万枚の画像というピーク性能を達成しました。 これは、前世代に比べて約 4000% のパフォーマンス向上を意味します。

システムの複雑さが増すと、ソフトウェアとハ​​ードウェアの複雑さ、リソース管理、効率的なスケジュール設定、システム全体の最適化が増し、さまざまな問題が発生します。 これは、システム開発プロセスに関わるすべての関係者が直面しなければならない課題です。

AI クラスターは汎用クラスターではないことに注意する必要があります。 AI トレーニング中は、サブタスクを定期的に同期する必要があり、異なるマシン間で高性能な通信が必要です。 ほとんどの場合、GPU または NPU をベースにした特殊なコンポーネントが使用されます。 現在、さまざまなコンピューティング モデルとインタラクション パターンが AI トレーニングに大きな課題をもたらしています。

人工知能は、Alibaba のさまざまなビジネス シナリオで使用されています。 したがって、実用的な AI アプリケーションを使用してプラットフォーム設計を最適化できます。 たとえば、Taobao Mobile の Pailitao (スナップ アンド 検索) 分類モデルには数百万のカテゴリがあり、Taobao の音声 + NLP ソリューションや Alimama の広告推奨システムなどがあります。

最適化された Apsara AI プラットフォームは、基盤となるインフラストラクチャ、中間のトレーニングおよび推論フレームワーク、最上位の開発プラットフォームの 3 つの層に分かれています。 AI プラットフォームには、次の 3 つの重要な種類があります。

• 軽量 AI 開発プラットフォーム: これらのプラットフォームは、アルゴリズム サイエンティストやデータ サイエンティストがワンクリックで開発、デバッグ、展開を実行できるように支援します。
• 人工知能とビッグデータの共同開発プラットフォーム: これらのプラットフォームは、ユーザーがビッグデータ用のビジネス システムを迅速に開発するのに役立ちます。
• AI 推論サービス プラットフォーム: これらのプラットフォームは、コンピューティング リソースの問題を解決し、推論に必要なモデルのトレーニング、展開、パフォーマンス監視を提供します。

これら 3 種類のプラットフォームは、アルゴリズム API の出力と、垂直ドメイン プラットフォームおよびブレイン ソリューションの開発をサポートします。

ディープラーニングの分野では、スタンフォード大学がDAWNBenchと呼ばれるベンチマークを立ち上げました。 これまでの優れたパフォーマンスと比較すると、Alibaba Cloud の機械学習ソリューションはパフォーマンスが約 10% 向上します。

今日、人工知能技術機能は、資産活用の向上とさまざまなシナリオのニーズへの対応において重要な役割を果たしています。 包括的な AI テクノロジーの機能は、主に次のインフラストラクチャとサービスに依存します。

• 基本ハードウェア: 一般的なコンピューティング能力と AI コンピューティング能力を提供します。 また、Infrastructure as a Service (IaaS) を通じてクラウド機能も提供します。
• AI クラウド サービス: この基本的な Platform as a Service (PaaS) レイヤーは、簡単にアクセスできるソフトウェアおよびハードウェア環境を通じて、大多数のユーザーに適したコンピューティング パワーを提供します。
• 高性能コンピューティング: これにより、コア AI コンピューティング エンジンが高速化されます。
• AI システム フレームワーク: AI 計算モデルとクロスアーキテクチャ モデリング、反復、およびデプロイメントの完全な抽象化を提供します。
• AI ホスティング プラットフォーム: アルゴリズムの研究開発の共有展開と出力効率が向上します。 また、ユーザーの定着率が高い開発プラットフォームも提供します。

インテリジェントコンピューティングとデータコンピューティング

人工知能はインテリジェントコンピューティングに使用され、ビッグデータはデータコンピューティングに使用されます。 2 つの機能は互いに補完し合います。

人工知能のためのデータサポート

上記のアルゴリズムと計算能力には、大量のデータのサポートが必要です。 データは、アルゴリズムと計算能力の価値を反映する重要な要素です。

次の 2 つの画像は、それぞれ 2005 年と 2013 年の教皇謁見を示しています。 モバイルインターネットの発展により、データは飛躍的に増加し、利用可能なデータの量が増えたことでディープラーニングのパフォーマンスが向上しました。

1998 年には、小規模な MNIST システムのトレーニング データはわずか 10 MB でしたが、2009 年には ImageNet のトレーニング データは 200 GB、2017 年には WebVision のデータセットは 3 TB になり、一般的な製品のビジュアル システムには 1 PB のデータが必要です。 大量のデータにより、アリババはパフォーマンスをほぼ直線的に向上させることができました。

データのボリュームを増やすとパフォーマンスがどのように向上するかを説明するために、誰もがよく知っている一般的なシナリオを見てみましょう。 X 線医療診断の分野では、医師が X 線画像から病気を診断する能力は、医師が見る X 線画像の数に直接関係していることが研究でわかっています。 検査する画像が多ければ多いほど、診断の精度は高まります。 同様に、現在の医療エンジン システムは、大規模なコンピュータ システムを通じてより多くのデータでトレーニングされ、より正確な医療診断が可能になります。

AIがビッグデータをよりスマートにする

次の図はビッグデータ分野の動向を示しています。 現在、ビッグデータの分野では、より多くの情報を抽出し、リアルタイムコンピューティング、AIプラットフォームを実現し、オンライン予測を行うことが期待されています。 これらすべての傾向は、ビッグデータがますますインテリジェントになっていることを示唆しています。

現在、構造化データ、半構造化データ、非構造化データなど、さまざまな種類のデータが複数のデータ ソースから取得され、データ ウェアハウスに保存されています。 このデータの潜在的な価値を活用するには、インテリジェントなコンピューティングが必要です。 広告推奨の場合、データソースは Taobao でのユーザーのクリック、閲覧、購入です。 データは、オフラインまたはリアルタイムの同期と、オフラインまたはリアルタイムの抽出、変換、ロード (ETL) を通じてデータ ウェアハウスに書き込まれます。 次に、データ ウェアハウスまたはデータ レイク ソリューションに基づいて、さまざまなデータ モデルが生成およびトレーニングされます。 最後に、トレーニング結果がデータ サービスを通じて出力されます。 ご覧のとおり、データを理解し使用するプロセスはよりスマートになっています。

数年前、ハイブリッド トランザクション/分析処理 (HTAP) には OLTP と OLAP の両方が含まれていました。 OLAP はさらに、ビッグデータ、オフライン、リアルタイム分析に分類できます。 データ量が異なるユースケースには、それぞれ適したエンジンが異なります。 現在、データサービスはますます重要になっています。 一部のインテリジェントな顧客サービス シナリオでは、リアルタイム AI 推論サービスとアプリケーションにデータ抽出モデルが必要です。 したがって、分析とサービスを組み合わせる方法を見つけることが重要です。 そのため、当社は現在、ハイブリッド サービングおよび分析処理 (HSAP) を追求しています。 AI と組み合わせることで、オフラインおよびリアルタイムのデータ ウェアハウスを通じてデータから洞察を抽出し、オンライン サービスを通じてユーザーにその洞察を提示することができます。

Alibaba は独自のアプリケーションで AI ベースのビッグデータ手法とソリューションを開発しました。ダブル11ショッピングフェスティバルにおけるオフラインコンピューティング（バッチ処理）、リアルタイムコンピューティング（ストリームコンピューティング）、インタラクティブ分析、グラフコンピューティングのシナリオがApsara AIプラットフォームと統合され、Apsara AIを搭載した新世代のApsaraビッグデータ製品が提供されます。

人工知能と同様に、ビッグデータもパフォーマンスに重点を置いています。 TPCベンチマークテストによると、2019年、Alibaba CloudのビッグデータプラットフォームMaxComputeとE-MapReduceは、コンピューティングパフォーマンスとコスト効率において大きな優位性を示しました。 次の図はベンチマーク結果を示しています。

Alibaba の AlimeBot は現在、AI ベースのディープラーニングとインテリジェント認識技術を適用して、ユーザー サービス シナリオでユーザーにインテリジェントな音声対話サービスを提供しています。 インテリジェントなパフォーマンスを実現するには、物流やユーザーデータシステムなどのビッグデータビジネスシステムと密接に接続する必要があります。

ここから次の疑問が生まれます。企業はどのように AI を取り入れるべきでしょうか? つまり、AI を現実のものにするには、エジソンが電球を改良したように、アプリケーションのニーズから始めて、段階的に技術を革新していく必要があります。 クラウドは低コスト、高性能、高安定性のインフラストラクチャを提供しますが、私たちにとって重要なのは要件を明確に定義することです。

ここ数年、AI分野ではアルゴリズムの革新と実証に注力してきましたが、これではまだ十分ではありません。

AI アルゴリズムはシステムの一部にすぎません。 AIを導入するにあたっては、データの収集方法、有用な機能の導出方法、検証、プロセス管理、リソース管理なども考慮する必要があります。

人工知能は万能ではありませんが、無視することはできません。 企業が AI を導入する場合、まずビジネス上の考慮から始める必要があります。 データ量とアルゴリズムの数が増えるにつれて、ビジネスを理解しているデータ エンジニアとアルゴリズム エンジニアのチームを構築することが重要になります。 これがインテリジェントエンタープライズの成功の鍵です。 これまでに説明したすべてのアルゴリズム、コンピューティング能力、データ ソリューションは、現在クラウドで利用可能なサービスとソリューションを使用して実装できます。 これにより、企業は AI をより迅速に実装できるようになります。