テラデータCTO バオ・リミン：分析エンジンを使用して機械学習とディープラーニングを実現する

[51CTO.comよりオリジナル記事] 近年、機械学習、ディープラーニング、ビッグデータ分析が話題となっており、金融、マーケティング、ソフトウェア開発、戦略的意思決定などの分野で人工知能の応用がますます一般的になっています。

データインテリジェンス技術プロバイダーのテラデータは昨年、記述的分析、予測的分析、指標分析、自律的意思決定、機械学習、可視化ツールなど幅広い機能を提供する次世代分析プラットフォーム「Teradata Vantage」を発表し、現在の分析ソリューションのさまざまな問題の解決に取り組んでいます。 Teradata Vantage の高度な分析では、分析処理エンジンを使用して機械学習とディープラーニングをどのように実現するのでしょうか。発売から 6 か月でどのような中間成果が達成されましたか。これらの質問に対する詳細な回答は、最近の Teradata メディア カンファレンスで発表されました。

高度な分析開発の3つの段階

テラデータの最高技術責任者であるスティーブン・ブロブスト氏は、高度な分析の開発は3つの段階に分けられると考えています。第1段階は記述的分析で、過去についての洞察を得るために使用されます。第2段階は予測的分析で、将来を理解することができます。第3段階は規範的分析で、起こり得る結果についての提案を提供します。 Teradata が開発した Vantage ソフトウェア プラットフォームは第 3 フェーズの製品であり、企業に最高の高度な分析機能を提供できます。

テラデータ最高技術責任者、スティーブン・ブロブスト氏

機械学習技術は急速に進歩しており、その能力が人間の能力を上回る例も数多くあります。鮑黎明氏に最も感銘を与えたのは、ある国際チェス大会で、ノルウェーとアメリカの二人のチェス名人が最後の対局で引き分けに終わったことです。ソフトウェア分析の結果、ノルウェーのチェス名人は60手以内に相手を倒すことができたのに、数十手以内の可能性しか予測できなかったため、60手の結果に対して全く無力であり、最終的に対局は引き分けに終わりました。

業界の予測によれば、レジ係、トラック運転手、簡単な翻訳、放射線技師、個人の信用評価など、単純な肉体労働や精神労働を必要とする職業の一部は機械に置き換えられると予想されています。実際、機械学習の予測能力は企業の実際の業務に応用され、将来の発展への指針を提供しています。

現在、いわゆる人工知能は強化された人工知能であり、人間に完全に取って代わることはできず、人間の能力を強化することしかできません。例えば、ソフトウェアは医師がいくつかの病気を診断するのに役立ちますが、機械の診断分析は参考情報を提供するだけです。最終的には、治療計画を選択して治療を行うのは医師次第です。この例を拡張すると、人々が戦略や戦術を策定する際に、インテリジェント ソフトウェアがこれらの戦術の実装を支援できるようになります。AI は、企業のスピードアップ、コスト削減、効率性の向上に役立つだけでなく、企業の管理者がより長期的かつ完璧な方法で戦略を策定するのにも役立ちます。Teradata Vantage は、この目標のために存在します。

Teradata Vantage 高度分析プラットフォーム

Teradata Vantage 高度分析プラットフォームは、アーキテクチャの観点から、下から順にデータ ソース、分析エンジン、分析言語、分析ツールの 4 つのレイヤーに分けられます。以前、テラデータはスタンフォード大学発のスタートアップ企業である Aster Data を買収しました。同社は Map-Reduce エンジンと ANSI SQL エンジンを同時に革新的に統合し、上位レベルの分析エンジンを基盤となるストレージ デバイスに接続してビッグ データ分析とコンピューティングを実現しました。

Teradata Vantage の分析エンジン層には、NewSQL エンジン、機械学習エンジン、グラフ エンジン、Spark エンジン、TensorFlow エンジン、および一連のカスタマイズされたエンジンが含まれます。 Bao Liming氏は、Teradata Vantageの機械学習エンジンは幅広い分析機能で構成されていると強調した。データ準備や非構造化データ分析機能に加え、人工知能、統計、テキスト、感情識別などの200以上の分析エンジンもカバーしており、科学者が記述分析や予測分析を行うことを容​​易にする。グラフ エンジンにより、相関分析が可能になり、これらの関係がネットワーク ユーザー、製品、プロセス、またはネットワーク化されたエンティティ間の結果にどのように影響するかを理解できるようになります。このうち、各エンジンは Docker を使用してコンテナにカプセル化され、継続的に反復されます。同時に、オープンソースの OpenStack プラットフォームとビジネス分析エンジンに基づいて、開発者はいくつかの内部エンジンとツールセットを開発できます。

分析言語の面では、Teradata は早い段階で高性能で信頼性の高い Teradata リレーショナル データベース管理システムをリリースしました。このシステムは標準の SQL クエリ言語を使用しており、複雑なクエリを処理するデータ ウェアハウス アプリケーションに適しています。予測的および処方的な高度な分析の需要が高まるにつれて、構造化クエリ言語 SQL ではもはやその需要を満たすことができません。Teradata は、NoSQL、R、Python、NewSQL、SAS などの言語を徐々に取り入れ、トップレベルの分析ツールと幅広いビジネス インテリジェンスおよび視覚化ツールを組み合わせて、企業のアナリストやデータ サイエンティストが機械学習アルゴリズムをあまりよく理解していなくても機械学習機能を使用できるようになり、ユーザーに予測的および処方的な高度な分析機能を提供しています。

Teradata Vantage ローカリゼーションのベストプラクティス

中国市場のローカライズされたニーズを満たすために、Vantage プラットフォームは、数百万、さらには数億人のユーザーの高度な分析ニーズをサポートします。テラデータの中国における銀行顧客の多くが関連分析エンジンを開発しており、データサイエンティストは使い慣れたオープンソースや商用の言語やツールを自由に使用し、さまざまなデータソースを最大限に活用し、さまざまな分析エンジンを介してさまざまなアプリケーションと組み合わせることで、分散ストレージやオブジェクトストレージにあるさまざまな形式のデータにアクセスして共有できるようになっていると報告されています。

Bao Liming 氏は、機械学習の高度な分析機能を通じて、Teradata が銀行顧客のクレジットカード詐欺の診断率を 50% 向上させ、誤報率を 80%～90% 削減するのに役立ったことを明らかにしました。銀行の顧客は、機械学習とニューラル ネットワークのアルゴリズムとエンジンを使用して、解約率、解約の理由、ユーザーの移動先を予測できます。クレジットカード取引の時間、場所、頻度を分析することで、疑わしい取引を迅速に特定し、不正行為を判定できるため、取引リスクを回避し、顧客体験を向上させることができます。

銀行の顧客に加えて、製造、物流・運輸、通信などの業界でも、どのコンポーネントがいつ故障するかを予測するなど、リスク予測の分野で高度な分析機能が使用されています。Teradata は、これらの高度な分析機能をパッケージ化して顧客に推奨し、企業がビジネス効率を迅速に向上できるように支援しています。

Teradata Vantage の主な分析ユースケースは次のとおりです。

1. 関数予測。どの顧客が解約するか、どのローンが不履行になるかを予測するほか、顧客の位置付け、財務予測、マーケティング ミックスのモデリング、顧客苦情の予測、ネット プロモーター スコアに影響する要因、リスク モデリング、予測メンテナンスなどを行います。

2. 顧客のセグメンテーション。従来の顧客セグメンテーションとは異なり、Vantage の顧客セグメンテーションには数百または数千の属性を含めることができ、それらを多次元的にアーカイブおよび分類して、最も潜在的な顧客を選択できます。詳細な使用事例には、市場セグメンテーション、顧客離脱要因セグメンテーション、オンライン購入放棄、スポイラープロセスの主要な影響要因などが含まれます。

3. 原因と結果を理解する。機械学習エンジンを通じて因果関係を理解し​​、最適な顧客経路を開発して顧客離れを回避します。マーケティングアトリビューション、ROI、顧客離脱、不正行為の経路、リアルタイム最適化などを含みます。

4. 状況。テキスト、音声、電子メールを通じてデータを収集し、顧客が製品やサービスに満足しているかどうかを把握できます。テラデータは、感情分析を実施し、顧客スコアリングを行うために、中国で中国語ベースの自然言語分析を開発したと報じられている。

5. オンラインソーシャルネットワーキング。オンライン ソーシャル ネットワークの相互関係を活用して、フィードバック/レビュー クラスター、私を気に入っているユーザーの理解、詐欺ネットワーク、オンライン詐欺などの分野を含む、潜在的なユーザーと犯罪組織を理解します。

6. 仮説検定。変数分析、相関、主成分分析、サンプリングなどの機能を通じて、実験、影響測定、根本原因分析、プロセス最適化を可能にします。

Teradata Vantage の代表的な 3 つのケーススタディ

最後に、Bao Liming 氏は、顧客が Teradata Vantage プラットフォームを使用して高度な分析を実装した典型的な事例を 3 つ挙げました。

製造：プロアクティブメンテナンス

大手グローバルメーカーの生産設備は世界中に点在しており、これらの機械は24時間365日連続稼働状態にあります。部品の故障を検出し、予期せぬダウンタイムを防ぐために、同社はソフトウェアを使用して複数の設備センサーとパフォーマンスデータを監視しています。ログ分析、一般化線形モデル、さまざまな分析エンジンを通じて、ダウンタイムイベントのセンサーパスを安定動作イベントのセンサーパスと比較し、パフォーマンスボトルネックの重要な指標を分離し、問題が発生する可能性のある設備を予測することで、プロアクティブなメンテナンスを実現し、ダウンタイムを短縮し、コストを節約します。

小売業: マルチチャネル統合

大手小売業者は販売チャネルを多数持っていることが多いですが、どの販売チャネルの影響力が大きいかを明確に判断することは難しく、異なるチャネルや異なる商品に対する顧客のさまざまなインタラクティブ行動を理解することはさらに困難です。オンラインとオフラインのチャネルを連携させて共同販売を行い、顧客体験を向上させることはさらに困難です。これらの問題を解決するために、大手小売業者は Teradata Vantage を使用してマルチチャネル統合を行い、完全な顧客購入経路を形成しています。また、新しいチャネル活動を継続的に測定して、顧客が最短時間かつ最低コストで商品を購入できるようにし、商品に関する顧客のコメントを追跡し、顧客満足度指数を継続的に向上させています。

金融業界: マルチチャネルモニタリング

口座閉鎖事件をいかに減らすかは、世界中の銀行業界における共通の懸念事項です。これまで、顧客アカウントの閉鎖と顧客満足度モデルには、常に手動での調整と介入が必要でした。Vantage プラットフォームの高度な分析機能により、オンライン バンキング、コール センター、ATM などの複数のチャネルからのデータを組み合わせて、アカウント閉鎖時からのデータを自動的に分析できます。アカウント閉鎖に関連する 20 を超える行動を特定し、これらの行動のリスクを評価して介入することで、アカウント閉鎖を大幅に削減できます。

要約:

機械学習とビッグデータの継続的な発展に伴い、さまざまな種類の分析エンジン、分析言語、分析ツールが次々と登場しています。Teradata Vantageは、主流の商用およびオープンソースの分析ツールを統合して簡素化し、さまざまな業界に適用します。業界の属性とニーズを組み合わせて、最も人気のある業界分析ツールを選択します。企業のデータ管理を支援するだけでなく、優れた分析機能を提供し、データアナリストとデータサイエンティストのユーザーエクスペリエンスを向上させます。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]