ビジネスが発展し、テクノロジーが成熟するにつれて、企業はデータの大幅な増加に直面しています。ビッグデータ、人工知能、モノのインターネットなどのテクノロジーと組み合わせることで、企業のデータの使用は監視と洞察から意思決定へと徐々に移行し、インテリジェントなデータアプリケーションの時代に入りました。 従来の企業は、さまざまなデータを適用する上で困難に直面しています。社内のデータサイロが深刻で、データを統合して業務を強化できない断片化データ、企業内のデータの処理と管理は通常 IT 部門が担当し、業務部門はデータを直接使用できないため、業務運営と計画に影響する、データ開発作業のコストが高い、ニーズが異なるため、企業内でデータサービス機能が重複して構築されるという問題などです。 データミドルプラットフォームは、データの集約、標準と基準の統一、データ資産の形成を実現し、ビジネスに効率的なデータサービスを提供することができます。同時に、データミドルプラットフォームはビジネスシナリオに合わせて構築され、データをサービスに抽象化してカプセル化し、データの資産化とサービス指向を実現できます。部門をまたがる普遍的なビジネス価値機能を備えており、ビジネス部門の担当者がデータ分析とデータアプリケーションを実行できるようにし、データのフロントエンドとバックエンドを接続して、会社のデータ開発能力の再利用を実現します。そのため、データミドルプラットフォームは、企業がデータインテリジェンスアプリケーションを実現するための中核となっています。 ビジネスシナリオアプリケーションに基づくデータセンター構築の計画 企業は、ビジネス戦略目標に基づいてデータミドルプラットフォームを構築および運用する必要があり、トップレベルの戦略計画、アプリケーションシナリオ計画、データガバナンスシステム構築、テクノロジープラットフォーム構築、ビジネス価値実現、持続可能な運用など、データミドルプラットフォームの構築と運用の全プロセスを通じてビジネスシナリオアプリケーションをガイドとして使用する必要があります。 まず、企業のデジタル変革において、データミドルプラットフォームを構築する中核的な目的は、企業の全体的な戦略目標とビジネス目標に応えることです。企業によるデータミドルプラットフォームの構築は、トップレベルの戦略計画から始まり、ビジネス目標に応じて、戦略レベルからデータミドルプラットフォームの構築パスを計画し、組織構造を調整し、関連するリソースを割り当てます。 第二に、データミドルプラットフォームの価値は、最終的にはビジネスシナリオにおけるデータアプリケーションを通じて反映される必要があります。さまざまな業界やさまざまな段階の企業は、異なるデータミドルプラットフォームを必要とします。したがって、まずアプリケーションシナリオを計画する必要があります。企業は、アプリケーションシナリオの実装の優先順位を明確にし、いくつかのシナリオアプリケーションの実現を主導し、ビジネスシナリオのクローズドループを作成し、ビジネス上のメリットを実現する必要があります。 特別な感謝(アルファベット順) 目次 1. データインテリジェンスは企業のデジタル変革の実現に役立ちます 2. データミドルプラットフォームがデータインテリジェンスの実装をサポート 3. データインテリジェンスアプリケーションの動向の展望 結論 iAnalysisについて 法的通知 1. データインテリジェンスは企業のデジタル変革の実現に役立ちます 1.1 データ駆動はデジタル企業の中核となる特徴である デジタルトランスフォーメーションとは、企業がデジタル技術を活用してビジネスモデル、ビジネスプロセス、組織構造などを再構築し、顧客に新たな価値を生み出すことを指します。近年、デジタルトランスフォーメーションはさまざまな業界でコンセンサスとなっています。企業はデジタルトランスフォーメーションに多くのリソースを投入しており、一部の業界の大手企業はデジタル化を通じて優れた顧客体験と俊敏な運用を実現することに成功しています。 情報ベースの企業とは異なり、デジタル企業の中核となる特徴はデータ駆動型です。情報化段階では、企業は主に業務システムなどのITインフラを構築し、業務プロセスの標準化やオンライン化を図り、業務効率を向上させます。しかし、この段階では、データは主にプロセスの副産物であり、実際には価値を提供しません。 デジタルステージにおいて、企業の中核となるのはデータ駆動型ビジネス、つまり情報化に基づいてより価値の高いデータを生成・収集し、デジタル世界の実際のビジネス状況を監視・把握し、データ分析と意思決定モデルを構築してビジネス運営を推進する能力です。デジタルステージでは、各事業部門でデータ分析やデータに基づく意思決定が求められ、データがビジネスを推進する生産手段となります。 近年、インターネット、モバイルインターネット、モノのインターネットなどの技術の応用により、膨大な量のデータが生成され、企業はデータ爆発の段階に突入しています。人工知能などの技術の発展もデータ応用の敷居を下げ、企業のデジタル変革を加速させています。 応用の深さの観点から見ると、企業によるデータの応用は徐々に深化しているプロセスです。全体的な発展は、収集、監視、洞察、意思決定の4つの段階を経てきました。データの応用価値は継続的に向上し、ビジネスのデータ化からビジネスインテリジェンスへと徐々に移行しています。 収集、監視、洞察の段階は、ビジネス データ化のプロセスであり、データの記述を通じてビジネスの発展を追跡します。主な技術アプリケーションは、ビッグ データ プラットフォームとデータ サービス、BI と視覚化、およびデータ業界アプリケーションです。意思決定と再構築の段階は、ビジネス インテリジェンスのプロセスです。データとアルゴリズムは、ビジネス プロセスを強化して変更し、ビジネス効率を向上させることができ、企業のデータ アプリケーションはデータ インテリジェンスと人間と機械のコラボレーションへと移行しています。現在、データ活用はすでにビジネス上の意思決定段階にあり、ビジネス再構築の段階へと進んでいます。 1.2 企業はデータインテリジェンスの時代へ 現在、エンタープライズ データ アプリケーションは、ビジネス上の意思決定段階に入っています。マシンは、データとアルゴリズムに基づいて独自に意思決定を行ったり、意思決定の推奨を行ったりできるため、より効率的なビジネス フィードバックとより大きなビジネス価値がもたらされます。 例えば、インターネット分野では、DidiやMeituanの配車システムは、フロントエンドの注文などの業務データに基づいて自動的に意思決定を行い、最適なタスクスケジュール計画とルートを提供し、ドライバーと乗客にタスク指示を送信できます。意思決定プロセス全体は極めて効率的で正確ですが、ビジネス担当者の関与はほとんどありません。 デジタル変革の進展に伴い、このデータ主導のビジネス意思決定シナリオは、伝統的な業界にもますます浸透しつつあります。たとえば、オフラインのスーパーマーケットでは、ビッグデータとインテリジェントなアルゴリズムを使用して売上を予測し、インテリジェントな補充を実現して、店舗の在庫切れ率を大幅に削減し、在庫回転率を向上させます。 AI モデルは調達専門家の経験に代わるもので、データとアルゴリズムに基づいた売上予測結果を提供し、予測精度を大幅に向上させ、調達効率を高めます。 1.2.1 データインテリジェンスの定義 iAnalysis は、データ インテリジェンスとは、ビッグ データ、人工知能、クラウド コンピューティング、モノのインターネットなどの複数のテクノロジを統合し、ミドル オフィス システムに基づいてデータを使用してインテリジェントな意思決定を行うことを指すと考えています。 データ駆動型の意思決定を実現するために、企業はデータを統一的に管理し、ビジネスを迅速に構成・展開し、企業の視点でデータ資産を形成し、データ機能を出力し、データの価値を十分に解放し、企業内にデータミドルプラットフォームを徐々に形成する能力を備える必要があります。 データミドルプラットフォームは、データがデータとして機能できるようにします。同時に、データ資産が企業機能の迅速な反復とアップグレードを可能にするために、デジタル資産の運用を最適化することも必要です。これには、ビジネスに密接に関連するテクノロジー プラットフォームのサポートが必要です。 テクニカルミドルプラットフォームには、ビッグデータ基本プラットフォーム、NLP およびナレッジグラフ、データサイエンスプラットフォーム、BI および可視化システムなど、データ収集と前処理、データストレージ、データ分析、データ可視化、BI のためのすべてのツールとプラットフォームが含まれます。 ただし、データ ミドル プラットフォームは均質なデータ サービスを出力します。データ ミドル プラットフォームとテクニカル ミドル プラットフォームだけでは、さまざまなビジネス シナリオに対応できません。データを真に活用するには、ビジネス システムと組み合わせる必要があります。したがって、データ インテリジェンスは、データ ミドル プラットフォームとテクニカル ミドル プラットフォームをベースとし、ビジネス ミドル プラットフォームと組み合わせて、企業の上位レベルのインテリジェントな意思決定とアプリケーションをサポートします。 ミドルプラットフォームは、企業のビジネスデータを収集し、自動化されたインテリジェントなデータ収集と集約を通じてリアルタイムとオフラインのデータを接続し、データの価値を深く掘り下げ、さまざまなビジネスシナリオにデータサービスを提供します。集約と統合、データの精製と処理、データサービスの視覚化、データ価値の実現などのコア機能を備えています。 データ インテリジェンス ステージでは、企業はデータ ミドル プラットフォームとビジネス ミドル プラットフォームに基づいて、ビジネス インテリジェンス クローズド ループを構築できます。最初のステップは業務データ化で、業務運営プロセス中にデータを収集・蓄積します。2番目はデータ資産化で、データミドルプラットフォームの統一的な収集とガバナンスを通じて業務データを使用可能なデータ資産に変換します。資産シナリオ化は、データミドルプラットフォームに基づいてデータ資産を処理および出力し、業務シナリオに適用できるデータサービスにし、業務ミドルプラットフォームを通じてシナリオでのデータ資産の適用を実現し、最終的に業務シナリオのインテリジェンスを実現します。ビジネス シナリオがインテリジェント化されると、継続的に新しいデータを提供してシステム全体を最適化し、ビジネス インテリジェンスのクローズド ループを形成できるようになります。 1.2.2 データインテリジェンスの技術応用システム データ駆動型の意思決定を実現するためには、大量の構造化データ、半構造化データ、非構造化データを集約・処理し、複雑なネットワークに基づいて推論や意思決定を行う必要があります。単純な数理統計に頼るだけでは、もはやニーズを満たすのに十分ではありません。したがって、データインテリジェンスは、ビッグデータ、人工知能、クラウドコンピューティング、モノのインターネットなどの複数のテクノロジーを統合し、データの収集と前処理、データの保存とコンピューティング、データ分析とマイニング、データの表示と相互作用のライフサイクル全体を実行する技術アプリケーションシステムです。 (1)データ収集と前処理 インターネット、モバイルインターネット、モノのインターネットなどの技術の発展に伴い、企業は膨大な量のデータに直面しており、データのほとんどは独立したシステムとプラットフォームに存在しています。システムによってデータ収集方法は異なります。 データ収集には、特定のデータ生成属性があります。オンライン データは通常、データベース、PC ウェブページ、H5、アプリ アプリケーション、アプリケーションとサービス、スマート ウェアラブル デバイスなどの資産レイヤーから取得されます。主な収集方法には、クライアント SDK トラッキング、サーバー トラッキング、Web クローラーなどがあります。オフライン データは主に、センサー、カメラ、Wi-Fi 信号収集などのハードウェア デバイスを通じて収集されます。 データ収集後、中間システムを経由して転送し、データ集約のためにターゲット ストレージに書き込む必要があります。さまざまなデータ ソース タイプは、オフライン データ同期とリアルタイム データ同期という 2 つの戦略に基づいてデータを交換できます。 しかし、ほとんどのエンタープライズ データはダーティ データであり、計算やモデル トレーニングに直接使用することはできません。モデリングの前にデータを前処理し、ELT (抽出、ロード、変換) モードでデータをクリーンアップして処理する必要があります。 人工知能技術はデータ処理のプロセスにも応用され始めています。AIは機械学習技術を通じてビッグデータの処理能力をフィードバックし、どのデータに問題があるかを特定することができます。データの特性が確認されれば、機械は自動的にデータを処理し、ビッグデータ処理の効率を向上させることができます。 (2)データ保存と計算 データが集約された後、企業はデータ規模、データ適用方法などに基づいて適切なストレージの組み合わせを選択し、企業のデータ戦略とデータ適用のニーズを満たします。 企業が使用した最も初期のデータ ストレージ コンピューティング テクノロジはデータベースであり、主に運用データベースと分析データベースに分けられました。データベースの大規模応用により、データ量は急速に増加しています。データ間の関係性を研究し、データの隠れた価値を探るために、分析データ処理用のデータ ウェアハウスが広く使用されるデータ ストレージ テクノロジになりました。データ ウェアハウスは、必要な形式でデータを抽出し、データを変換、クリーンアップ、ロードして、複数の異種データ ソースの効果的な統合を実現します。 データ ウェアハウスは主に過去の構造化データを処理しますが、テクノロジーの発展に伴い、企業はますます多くの半構造化データと非構造化データに直面するようになり、データ レイクが誕生しました。データ レイクは、あらゆる種類のデータを処理でき、データに関するより関連性の高い情報を含み、十分な計算能力を備えています。 データ コンピューティング機能は、データ ストレージと密接に関連しています。データのサイズが増大し続けるにつれて、ストレージ機能のアップグレードの必要性に加えて、バッチ コンピューティングやストリーミング コンピューティングなど、ユーザーの需要シナリオに応じてデータ コンピューティング フレームワークをセグメント化する必要もあります。 (3)データ分析とマイニング データ分析とマイニングは、データ インテリジェンスの核となる部分です。企業はデータの分析とマイニングに基づいて、データから示唆に富んだ実用的な情報を抽出、発見、取得し、インテリジェントな意思決定をサポートします。 データ分析とは、分析の目的に基づいて貴重な情報を抽出するため、適切な統計分析方法とツールを使用してデータを処理および分析することを指します。主に比較分析、グループ分析、クロス分析、回帰分析などの一般的な分析手法と多面的な構造化データを使用します。 データマイニングとは、統計、人工知能、機械学習などの方法を通じて、大量のデータから未知の貴重な情報や知識を抽出するプロセスを指します。使用される主な方法には、関連ルール、分類とラベル付け、クラスタリング、決定木、シーケンスパターン、ニューラル ネットワークなどがあります。データマイニングは主に非構造化データの分析を目的としており、使用される主なサポート技術は機械学習、ディープラーニング、NLP、ナレッジグラフ、コンピュータービジョンなどです。 アルゴリズムの視覚化モデリングやインタラクティブな開発環境のコード作成をサポートする機械学習プラットフォームなどのプラットフォームも重要なサポートとなり、データ分析とマイニングは徐々に自動化され、敷居の低い開発の傾向を示しています。 (4)データの表示と操作 データ サービス システムでは、データ計算が閉じられ、API サービスに生成されるため、データをビジネス シナリオに迅速に適用できます。ユーザーは、データ分析結果を直接取得する必要があります。同時に、ビジネス ニーズに応じてシステムと対話し、あらゆる次元でデータ分析およびマイニング サービスを取得して、データ駆動型の操作や分析による意思決定などのシナリオをサポートできます。一般的なデータ表示およびインタラクティブ アプリケーションには、データ スクリーン、データ レポートなどが含まれます。この段階ではデータ可視化技術が主な支援技術であり、代表的な技術としては BI ツールなどがあります。 1.3 データインテリジェンスの応用シナリオ データ インテリジェンスはさまざまな業界の特定のビジネス シナリオに実装されていますが、各業界のアプリケーションの成熟度は大きく異なります。 データ インテリジェンスの適用シナリオと普及率は業界によって異なりますが、これは業界独自のデジタル インフラストラクチャの成熟度や、データ インテリジェンスと業界の適用シナリオの統合度などの要因に関連しています。 デジタルインフラストラクチャの成熟度には、主に情報化、データ資産化、クラウドコンピューティングなど、さまざまな業界の成熟度が含まれます。データインテリジェンスと業界の応用シナリオの統合とは、さまざまな業界におけるデータインテリジェンスの応用段階、ビジネスリンクの変革の程度、およびデータインテリジェンスの応用シナリオの適用範囲を指します。 業界の応用シナリオでは、金融、政府、公共サービスはデータインテリジェンスアプリケーションの浸透率が高い業界です。金融業界はデータに基づくインテリジェントな意思決定を実現し、大きな利益を獲得し、徐々にデータ駆動型段階に移行しています。より成熟した応用シナリオには、インテリジェントマーケティングとインテリジェントリスク管理が含まれます。政府と公共サービス分野のデータインテリジェンスシナリオには、主にスマート政府事務、スマートセキュリティなどが含まれます。消費財と小売は、ビジネスをサポートするためにデータの応用を加速しており、消費財と小売業界全体のビジネスモデルも劇的な変化を遂げており、主にインテリジェントマーケティングとオムニチャネルミドルエンドの応用シナリオに反映されています。産業やエネルギーなどの伝統的な製造分野では、データソースとフォームが複雑で、デジタル化の程度が低く、データインテリジェンスの浸透率が低いですが、企業はデータの価値を認識しています。業界全体としては、データインテリジェンス応用の初期段階にあり、現在はインテリジェント製造に重点を置いています。 5G、モノのインターネット、人工知能などの技術の発展と成熟に伴い、非構造化データの統合と応用がさまざまな業界から注目されています。自動運転やオンライン教育など、もともとデジタル化の度合いが非常に低かった分野でも、データインテリジェンス技術の応用に基づく新しいビジネス形態が登場しています。 (1)財務 金融分野におけるデータインテリジェンスの応用は非常に成熟しており、そのインフラストラクチャとアプリケーションシナリオの成熟度は他の業界よりも進んでいます。 インフラ面では、金融業界の業務はデータに大きく依存しています。そのため、すべての金融会社は基本的に完全なデジタルインフラとデータアプリケーションを開発し、強力な技術チームを持ち、デジタル金融に多額の投資を行い、ビッグデータやクラウドコンピューティングなどのテクノロジーを広く活用しています。 従来の金融アプリケーション シナリオに関して言えば、マーケティング、リスク管理、不正防止などのシナリオは、クレジット ビジネス シナリオ全体を網羅する非常に成熟したデータ インテリジェンス アプリケーションです。現在では機械による自動承認や貸付が実現可能となっている。金融分野におけるデータインテリジェンスの応用シナリオは、顧客サービスや製品設計などのビジネスシナリオに徐々に拡大しています。たとえば、銀行はユーザーデータに基づいて、ユーザーのライフステージごとに異なる種類の製品やリスクレベルの異なる製品を設計できます。また、企業のさまざまなステージに基づいて製品を開発および設計することもできます。 証券業界では、機械学習やビッグデータが今後も新たな投資戦略の源泉となり続けるでしょう。たとえば、賢明な投資アドバイザーは、顧客の財務管理ニーズ、ポートフォリオ理論に基づき、アルゴリズムと製品を通じてデータ モデルを構築することで、財務アドバイザリ サービスを提供できます。 保険業界では、ビッグデータはリスクの評価と定義、クロスセリング、顧客離れの管理、請求詐欺の検出、請求の防止と軽減に影響を与える可能性があります。例えば、ウェアラブルデバイスを使用して人間の健康をリアルタイムで監視することで、特定のグループの出生、老化、病気、死亡の確率評価の不十分さを補い、そのような保険ビジネスの発展を確実にすることができます。 (2)政府と公共サービス 政府および公共サービス分野のデータ インフラストラクチャは比較的成熟しており、そのデータ アプリケーションの成熟度は現在、データ意思決定段階にあります。 政府関係部門は最も完全なデータソースを有しており、情報化に多額の投資が必要です。スマートシティの発展により、より豊富なデータが得られます。同時に、政府のクラウドコンピューティングプロセスは高速であり、データ資産は成熟しています。地方自治体はデジタル政府計画プログラムの導入を加速し、ビッグデータセンターを構築し、デジタルインフラの整備を加速している。 応用シナリオに関して言えば、初期の政府は主に大規模なデータ画面を使用してビジネス監視を実現していました。近年、テクノロジーとデータ資産の成熟度が増すにつれ、政府部門はデータインサイトとデータ意思決定を実現できるようになりました。たとえば、スマート政府業務の分野では、ビッグデータと顔認識や音声認識などのテクノロジーに基づいて、業務処理の効率を向上させることができます。また、スマートセキュリティの分野では、ビデオ監視データと顔認識や機械学習などのテクノロジーに基づいて、迅速な事件解決を実現できます。さらに、ターゲットを絞った貧困緩和や環境ガバナンスなどのシナリオでも、データインテリジェンスの浸透率は高くなっています。 (3)消費財・小売業 電子商取引の影響により、消費財や小売業は、データ インテリジェンス アプリケーションの普及率が最も急速に増加している分野の 1 つです。 インフラ面では、消費財・小売業は豊富なデータを保有していますが、一般的に店舗、アプリ、ミニプログラム、サービスアカウントなどの複数の端末やチャネルからデータが流入しており、チャネル統合の需要が高まっています。現在、小売業界ではクラウド化とデータ資産化が急速に進んでいます。 応用シナリオの面では、ユーザーをライフサイクル全体にわたって追跡することがすでに可能であり、企業は膨大なデータに基づいて消費者のポートレートを形成できます。オンラインインテリジェントマーケティングの応用は徐々に成熟しています。例えば、ユーザーのポートレートに基づいたプロモーションや精密なマーケティングを実施します。企業は需要に基づいて精密マーケティングに必要なデータを収集します。関連するすべてのデータを接続した後、アルゴリズムを使用してユーザーの好みをマイニングし、顧客向けにカスタマイズされたマーケティングとサービスを実現します。 今後、スマートストアなどのオフラインチャネルにおけるデータインテリジェンスの浸透率は徐々に高まっていくでしょう。 統合データ分析プラットフォームにより、Dicosは新しいチェーンブランド運営モデルを革新することが可能になります 統計によると、中国の外食市場の現在の規模は4兆元に達しており、年間20%の割合で成長しています。しかし、飲食業界は店内飲食客の減少、運営コストの増加、チャネル拡大の困難などの問題に直面している。同時に、飲食業界は生鮮食品やグループ食事などの多様化モデルへと徐々に発展し、デジタルプラットフォームやテイクアウトシステムも成熟しつつある。今回の流行は、この傾向の発展にさらに拍車をかけている。そのため、ケータリング業界は徐々にデータ駆動型のビジネスモデルへと発展しており、ケータリング会社は顧客のニーズに機敏に対応できるデジタルシステムを緊急に必要としています。 1988年に設立されたディコスは、全国に3,000を超える店舗を展開する有名なファーストフードブランドです。ケータリング業界の変化と課題に直面している Dicos もデジタル変革を推進しており、データ駆動型のビジネス分析がその基盤となっています。業務データ分析において、Dicos は以下の課題に直面しています。 まず、ディコスチェーン店は複数の都市にまたがっています。ディコスチェーン店、本部、各種業務システムのデータは、フランチャイズ店と非フランチャイズ店を含む複数の都市の店舗に分散しており、レジシステム、金融システム、会員システム、フードデリバリープラットフォームの運営、さまざまなミニプログラムサプライヤーなど、複数の部門とシステムサプライヤーが関与しています。データアイランドの数が多く、データ構造やルールが異なります。データセキュリティを前提に、本社へのリアルタイムデータ伝送を確保することは、企業にとって大きな課題です。 第二に、元のシステムは複数のサプライヤーを使用しています。システムサプライヤーのシステムは古く、大規模な変更や拡張は容易ではありません。元のシステムとデータ構造の下でデータ分析を実行すると、企業のシステムに大きな負担がかかります。同時に、古いシステムでは、新しい形式のデータインタラクションに対して高速で正確なインタラクションモードを提供することが困難です。企業は常にさまざまなアプリケーションサービスに接続し、車輪の再発明を行う必要があります。 3 つ目は、現在のデータ システムでは、リアルタイムの運用データと顧客からのフィードバックの視覚化をサポートできないことです。Dicos では、ブランド運用をより効率的に導くために、視覚化機能を備えたシステムを必要としています。 上記の問題を解決し、正確で機敏かつ使いやすいデータ分析プラットフォームを構築するために、DicosとCandaoが協力してBIシステムの構築を開始しました。 Candao はインテリジェントなケータリング システム サービス プロバイダーです。同社の製品とサービスは、オムニチャネル管理 SaaS プラットフォーム + ビジネス データ デュアル ミドル プラットフォームをカバーしています。「システム + データ + サービス」を通じて、ケータリング小売企業のオンライン ビジネスを強化し、企業に統合デジタル ソリューションを提供します。 2020年8月現在、CanDaoはバーガーキング、ハーゲンダッツ、DQなどのチェーンレストラングループや、JDコンビニエンスストア、シェルコンビニエンスストアなどの新興小売企業を含む、全国400以上の都市で55,000以上の店舗をカバーし、国内外の2,000以上のチェーンブランドにサービスを提供しています。 Candaoのオムニチャネルミドルプラットフォームは、すべてのチャネルを接続し、顧客業務における「データアイランド」の問題を解決し、視覚情報を均一に出力して、顧客が効率的に業務を分析できるようにします。同時に、共有APIサービスとサービスドッキングを提供し、飲食業界の新小売業の業務システム再構築の基盤を提供し、フロントエンドとバックエンドのアプリケーションを接続し、リアルタイムのデータ相互運用性と新チャネル業務の急速な拡大のニーズを満たします。 Candao は、継続的に顧客にサービスを提供する過程で、製品モジュールを徐々に改善し、反復してきました。 Candaoは標準化されたデータウェアハウスプラットフォームを有しており、ミドルエンドシステムを基盤として、製品分析、売上分析など30セット以上の大規模分析ツールを備え、機能項目は合計100以上あります。データ ソースに関しては、Candao はアクセス プラットフォームの数を制限することなく、さまざまなチャネルからのデータにアクセスできます。そのため、Candao にはプラットフォーム、データ、ドッキングなどの多くの機能があり、ケータリング会社は業務管理を継続的に最適化できます。 データガバナンスの面では、Candao は Dicos 向けにデータミドルプラットフォームとアプリケーションミドルプラットフォームからなる「ダブルミドルプラットフォーム」システムを構築し、テイクアウトデータ、メニューデータ、生産データ、配送データ、顧客レビューなど、Dicos のオンラインチャネルと自社のプラットフォーム上のチャネルに散在するデータを接続して 1 つにまとめています。同時に、標準データ構造を提供し、データコンテンツを定義し、さまざまなチャネルのデータにルールを策定して、各プラットフォームのデータの形式と定義が一貫していることを保証し、「ビジネスアイランド」と「データアイランド」を解体して、車輪の再発明を回避します。 CanDao プラットフォームは、さまざまな端末から収集されたデータを継続的にキャプチャし、標準形式に変換する標準情報インタラクション インターフェース API を提供します。 同時に、Dicos は統合されたデータ ミドル プラットフォームとアプリケーション ミドル プラットフォームに基づいて、柔軟にビジネスを拡大し、最適なサービス プロバイダーを選択できます。 視覚化の面では、Candao は統一されたデータ構造に基づいて Dicos 用の BI システムを構築しました。 CanDao は、標準レポートとカスタム レポートの 2 種類の OCRM レポートを提供します。標準レポートには、運用、販売、財務、ユーザーの 4 つのセクションからさまざまなディメンションの詳細データが表示されます。このデータを使用して、店舗の日常業務を分析し、配送が標準に達していないか、運用 SOP が標準化されていないかなどの運用上の問題を特定できます。カスタム レポートでは、プラットフォームとの調整や必須フィールドと計算ロジックのカスタマイズなど、販売者の特定のニーズに基づいて概要データをすばやく取得できます。 Dicos は、ビジネス ニーズに基づいたレポート分析のために、さまざまなビジネス部門にデータを配布できます。 例えば、Candao はさまざまなプラットフォームから世論や顧客評価などのデータを BI システムに収集します。その後、Dicos はシステム内の Dicos でさまざまなプラットフォームの顧客からの評価やフィードバックを簡単に総合的に分析できます。 現在、BI システムは稼働開始後、2,190 店舗以上の Dicos 店舗をカバーしており、そのうち 80% がフランチャイズ店です。 Dicos は、特定のプロジェクトの実施を通じて、レストラン チェーンのデジタル変革に関する貴重な経験を蓄積してきました。 まず、ケータリング業界の将来はデータ駆動型のブランドであるため、企業は戦略と管理の最前線にデータを入れる必要があります。 第二に、企業は上から下へのデジタル変革を促進し、組織構造を更新し、IT部門、ビジネス部門、さまざまなサプライヤーなど、関係するすべての関係者を調整して、さまざまな部門がプロジェクトの実装を迅速に統合および高速化できるようにする必要があります。 将来的には、DICOSは注文管理システムをさらに開始し、DICOSメンバーシップシステム、流通システム、カスタマーサービスセンター、その他の外部インターフェイスに接続し、注文管理、集約配信、運用、監視、マーケティング管理などのSAASサービスを開始する予定です。 自動車ブランドのハイエンドユーザーエクスペリエンスを作成するデジタル小売プラットフォーム グローバルな自動車会社は、高性能の自動車製品と究極のユーザーエクスペリエンスを提供することにより、ユーザー向けの快適なライフスタイルを作成し、グローバルな「ユーザーブランド」を構築することに取り組んでいます。そのブランドユーザーセンターは、車の所有者とその友人のための統合された空きスペースを作成し、軽食、ブティック、ブックレンタル、宇宙レンタルなどを含む一連のサービスを提供し、さまざまなビジネスサービスの開発、ユーザーに一貫したオンラインおよびオフラインエクスペリエンスを提供するよう努めています。 このブランドには、完全な開発チームと多数のビジネスシステムがあります。 ユーザーエクスペリエンスに関しては、ユーザーの支払いは面倒であり、現金、カードスワイプ、モバイル支払い、企業通貨などの複数の支払い方法は1つのデバイスに統合できません。 事業運営の観点から、複数のビジネスシステムと断片化されたデータの存在により、フロントエンドの支払いデータはバックエンドビジネスシステムに統合できません。 オンラインおよびオフラインの統合を達成し、消費者のますますアップグレードされる消費ニーズに合わせて、ブランドはオムニチャネルビジネスレイアウトを開始しました。製品管理、注文管理、在庫管理、支払い管理、レポート管理などは、マルチフォーマットサービスの開発に懸念されています。 ブランドは、さまざまなシステムに散在するデータを接続する必要がありますが、複雑なシステムドッキングサイクルは長く非常に困難であり、元のシステムを完全に放棄または交換することは、膨大な投資コストを意味します。因此,品牌希望有兼容性更强的系统,在兼容原有框架的同时具有高度扩展性,不仅能够完美对接企业原有系统,将割裂的数据打通,统一管理,更重要的是能够将数据实时反馈到前端的各个业务触点,支持业务的高效运营;同时需要前端对接数字化工具,赋能品牌提供更高端细致的服务。 ブランドのデジタルオペレーション部門は、Hudao情報と緊密に連携して、プロジェクトチームを結成して、ブランドユーザーセンターのバックエンドオペレーションとユーザーエクスペリエンスの問題を共同で解決しました。 Hudao Information Technology(Shanghai)Co。、Ltd。は、業界をリードするデジタル小売ソリューションプロバイダーです。 Hudaoは、革新的な技術を統合して、企業に高性能で信頼性の高いテクノロジーエンジンとリアルタイムの再利用可能なオムニチャネルビジネスエンジンを提供し、小売ビジネスシナリオの迅速な革新と拡大をサポートし、世界中の多くの中規模の小売ブランドを支援してデジタル変革を達成します。 ブランドユーザーセンターの多くの問題点に応えて、プロジェクトチームは強力なミドルオフィス製品であるHudaoデジタル小売プラットフォームDataforceを使用して、ブランドがマルチフォーマット小売でデジタルアップグレードを達成できるようにしました。 (1)デジタル小売プラットフォームテクノロジーエンパワーメント - データの障壁を分割し、ビジネスリンクを達成する 同社の元のシステムを交換せずに、Hudaoはブランドが会社の元々断片化されたシステムを接続し、製品データ、在庫データ、注文、メンバーデータなどを接続するのを支援し、統一された詳細な管理のためにデジタルプラットフォームを使用し、リアルタイムデータを最終的にフロントエンドビジネスに戻し、ビジネス運営の意思決定のための基礎を提供し、ブランドユーザーの潜在操作を促進します。デジタル小売プラットフォームの再利用可能な機能は、企業がドッキングの繰り返しのコストを削減し、システムのドッキング効率とデータの一貫性を改善し、サードパーティのパートナーのクロスランゲージとクロスプラットフォームの拡張機能をサポートするのに役立ちます。 (2)デジタル小売プラットフォームビジネスエンパワーメント - オムニチャネル統合事業の立ち上げ データ統合を達成するためのデジタル小売プラットフォームに基づいて、Hudaoは注文、在庫、プロモーション、メンバーシップなどを含むブランド向けのオムニチャネルビジネス管理センターを構築し、オムニチャネルビジネスのコア小売ビジネスデータを処理し、ビジネス運営効率を改善しながら消費者サービスの経験を大幅に改善することを優先しています。たとえば、さまざまな複雑なプロモーションルールをサポートするOmni-Channelプロモーションエンジンは、ブランドをオンラインおよびオフラインのマーケティングガイドを統合するのに役立ちます。 Omni-Channel Orderルーティングにより、ブランドはO2Oオムニチャネルの注文をインテリジェントに受け入れ、分割し、派遣し、注文の履行機能を改善し、顧客体験を改善できます。同時に、注文アクセス、在庫アクセス、製品アクセスなどに基づいて、マルチフォーマットブランド製品の入力をサポートし、ブランドのオムニチャネル統合ビジネスオペレーションをより効率的に実行できるようにします。 (3)Shopforce、Intelligent Storeデータターミナル - デジタルストアに付随するサービス さらに、デジタルツールでビジネスのフロントエンドを強化し、ユーザーグループにハイエンドで綿密なサービスを提供したいというブランドの欲求に応えて、HudaoはStore Data Intelligent Terminal Shopforceをブランドに装備しています。 Shopforceを通じて、店舗のスタッフはレジの制約から解放され、いつでもどこでもサービス、モバイル注文と支払いの経験を顧客に提供できます。 Shopforceは、支払い方法の全範囲をサポートし、ユーザーが一度識別される限り、ポイントの使用をサポートします。 システム側では、デジタル小売プラットフォームの機能が継続的に繰り返されています。たとえば、第1フェーズでは、小売とケータリングの標準機能が実現し、第2フェーズは、ケータリングBOM管理機能を追加して、エンタープライズがケータリングの洗練された管理を実行できるようにし、クラウドウェアハウスをサポートし、オフライン購入とオンライン配信プロセスを実現することができます。 ユーザー側では、プロジェクトが開始された後、ユーザーエクスペリエンスが大幅に改善されました。もともと、ユーザーは、POSマシン、Wechat、Alipay、およびポイント購入などの複数の支払いシナリオを持っていました。 ユーザーエクスペリエンスの改善の背後にあるのは、システム全体の最適化、システム全体を使用したオペレーターの利便性、バックグラウンドデータ処理とクエリ、ロジスティクスの緊急補充と在庫移動など、全体的なオフラインエクスペリエンスプロセスを改善するなどです。たとえば、メンバーがオフラインで購入した後、それらをリアルタイムでアプリに同期させることができます。 ビジネス面では、デジタル小売プラットフォームに基づいて、店員と運用スタッフはマルチアングルデータ分析を取得できます。最前線のサービス担当者は、メンバー、店舗、販売などに関するデータを取得でき、バックエンドは、商品、注文、在庫、プロモーションデータのリアルタイム分析を均一に管理および実施でき、運用担当者は事業運営を最適化するための詳細な分析レポートを取得できます。同時に、本社は各店舗の最前線の人員にリモートトレーニングを提供することができ、システムは全体的な運用効率を向上させ、会社が運用スタッフを合理化し、人事コストを削減するのに役立ちます。 プロジェクト全体を通して、リアルタイムのデータ同期が中心的な難易度であり、この自動車ブランドが提供するソリューションは、他の企業に何らかの参照を提供することもできます。 ブランドはもともと、リアルタイムのデータ操作を確保するために、リアルタイムデータとバックエンドデータを確保するために、およびシステムの状況に基づいてさまざまな種類のドッキング方法を使用する必要がありました。 APIを開く従来のSaaS製品とは異なり、Hudaoは「千のシステムと数千の顔」システムドッキングインターフェイスを採用し、特定の状況に基づいて特定のドッキング計画を策定し、インターフェイスの応答時間がユーザーのニーズを満たすことを保証します。たとえば、Hudaoはサブスクリプション分布方法を採用して、システム自体への圧力を軽減しながらデータの同期を確保することができます。 (4)産業とエネルギー 産業およびエネルギー部門のインフラストラクチャは弱く、データインテリジェンスの適用は初期段階にあります。 インフラレベルでは、産業およびエネルギー分野には多くのデータソースがあり、モノのインターネットやエネルギーデータなどのテクノロジーの成熟度と普及により、大量の構造化されていないデータがあります。 アプリケーションシナリオの観点から、産業およびエネルギー産業には複雑な生産および運用システムがあり、過去に多数の機器と意思決定が必要でした。ビジネスオートメーションは最初に実装されていますが、データインテリジェンスに比較的遅れています。 ただし、産業とエネルギーの分野は、データインテリジェンスの最も有望なアプリケーション分野の1つであり、産業のインテリジェントなアップグレードは国の重要な戦略です。産業用インターネットは、機器、生産ライン、エンタープライズデータを収集し、機械学習とモノのインターネットテクノロジーを組み合わせて、データの背後にあるアプリケーション値を深く探索できます。これにより、企業の運用効率が大幅に向上し、さまざまなコストが削減されます。 たとえば、一部の企業は現在、インテリジェントな製品品質制御を実現し、プロセスが標準プロセスから逸脱すると、システムがアラーム信号を生成すると、エラーをすぐに発見することができます。同時に、工業製品の生産プロセスのために仮想シミュレーションモデルを確立し、生産プロセスをシミュレートして最適化できます。 (5)医学および医学 医療および製薬業界には特定のデジタル基盤があり、データインテリジェンスアプリケーションは意思決定段階にあります。 インフラストラクチャの観点から、2019年の全国健康費用は約6億3,800億元であり、そのうち医療情報化への投資は約1%を占めていました。医療機関は基本的な情報構築を達成しており、医療ビッグデータには主に診断データ、R&Dデータ、患者データ、支払いデータなどが含まれており、診断データと治療データが90%を占めています。現在、データは急速に電子化されていますが、データ形式は複雑であり、マルチソースデータの統合と分析はありません。 アプリケーションのシナリオに関しては、臨床的な操作とR&Dは、臨床データと遺伝データを統合して、がんのリスク評価、予防、治療の予測を実現するなど、最も有望なデータインテリジェンスの方向です。 臨床的意思決定に加えて、慢性疾患管理のためのビッグデータと、流行の傾向を予測するためのビッグデータの使用に基づいて、コンピューターリモートモニタリングを実装できます。たとえば、Googleはインフルエンザ関連のキーワードの検索動向を通じて「Google Inflients」製品を発売し、H1N1の発生の数週間前に米国全体に広がることを成功裏に予測しました。 (6)教育 教育業界のデジタル変革は加速しており、データインテリジェンスアプリケーションは初期段階にあります。 教育業界は最近、K12、言語トレーニング、およびその他の分野で多数のオンライン教育会社の増加に伴い、幅広いオンラインプロセスを経験しました。現在、教育業界におけるデータの蓄積は比較的少なく、コア教育リンクに関連するデータの蓄積はまだ成熟していません。 アプリケーションシナリオの観点から、主なアプリケーションシナリオはスマートキャンパス管理ですが、データインテリジェンステクノロジーは、教師の教育と研究、教育サービスなどのビジネスプロセスに浸透し始めています。さらに、教師の教育および研究プロセスでは、音声認識技術を通じて教師のクラスプロセスを分析し、最高の教師のベストプラクティスを分析のために選択し、コンテンツに預け、それによって教育の質と標準化の質を向上させる主要なオンライン教育機関がすでにあります。 (7)一般的な機能部門のシナリオ:マーケティング マーケティングの分野では、オンラインマーケティングシナリオは完全にオンラインでデータ化されており、オフラインのマーケティングシナリオは、スマートターミナルとスマートフォンの普及により徐々にデジタルに変わりました。また、さまざまなブランドが、データミドルプラットフォームなどのインフラストラクチャの構築を加速しています。アプリケーションシナリオの観点から、データインテリジェンスはブランドマーケティングリンクのすべてのリンクに侵入し始めました。 ユーザーの洞察では、ブランドは顧客データプラットフォーム(CDP)を確立することでオンラインとオフラインのユーザーデータを統合し、サードパーティのデータ管理プラットフォーム(DMP)のユーザータグを補完することができます。効果のある広告のためのリンク、ユーザーの変換プロセスでは、ユーザーのオンラインおよびオフライン保持データを管理するために、ユーザーの運用プロセスを実現するために、ユーザーの操作戦略を実現し、ユーザー購入のアップグレードを実現します。 「ビッグデータ + AIビジョン」は、ゲーム業界がマーケティングの購入とクリエイティブな問題ポイントをクラックするのに役立ちます 中国のインターネットユーザー成長配当のピークにより、コンテンツのクリエイティブマーケティングは、さまざまな業界での広告にとってますます重要になっています。ゲーム業界を例にとると、中国のゲーム業界市場は大規模ではありません。ただし、ゲームのすべての垂直カテゴリでは、各ゲーム会社の予算は比較的大きく、広告の量は他の業界のそれよりも強烈です。 早期の広告購入量に対する障壁の確立はすべて、情報の非対称性と規模の利点に依存しています。成熟したチャネルはボトルネックに直面しており、購入チャネルを継続的に探索する必要があり、顧客を獲得するコストが高くなり、ゲームメーカーへのプレッシャーが高まっています。 さらに、効果的な注文を追求するeコマースや教育などの業界とは異なり、ゲームは仮想およびオンライン製品であり、即座のフィードバックを得ることを望んでおり、配信結果の追求は他の業界よりもはるかに重要です。効果マーケティングに焦点を当てたゲームプロモーションプロセスには、優れたマーケティング効果をもたらすことができる高品質のコンテンツの創造性に対する需要が高まっています。ただし、業界は、創造的な不足、生産能力の不十分、緊急に解決する必要がある高物質生産コストなどの問題にも直面しています。 したがって、ゲーム業界の現在の購入量は、ゲームの購入量が製品と効果の統合にもっと注意を払っていることを示しています。 DataEyeは、モバイル広告インテリジェンス分析に焦点を当てたビッグデータ会社です。これは、垂直分野へのモバイル広告インテリジェンス分析向けのカスタマイズされたデータサービスを提供し、業界のモバイルマーケティングの革新と開発を促進します。 DataEyeの焦点は、エフェクトのコンテンツマーケティングの側面にあり、データ関連の業界インテリジェンス分析ツールとボリュームクリエイティブを購入するためのフルケースマーケティングサービスを提供します。 DataEye-Adxrayは、ゲーム業界の広告に焦点を当てたインテリジェンス分析ツールです。これは、大規模なデータストレージやAI視覚インテリジェンスなどのコアテクノロジーを使用して、モバイルゲームのクリエイティブ素材とマーケティングのアイデアを継続的に追跡し、ゲーム業界のチャネルや創造性の難易度などを解決します。 DataEye-Tideaは、モバイル購入の創造性に焦点を当てたフルケースのマーケティングサービスです。 「ビッグデータ + AIビジョン」ソリューションに基づいて、Tianyiはインテリジェンス分析の洞察とコンテンツクリエイティブサービスを提供できます。 Tianyiは、最初に外部配信コンテンツのデータ分析を実施し、顧客に大量のデータ分析と調査を提供し、広告配信データとトレンドを解釈し、データ駆動型を使用して顧客の広告コンテンツの創造的な方向性を判断します。次の創造的な段階では、スクリプト、スクリプトなどがDataEyeによって提供されます。 広告、ショートビデオ、その他の素材は、Tianyiの非常に重要なマイニングの方向です。テキストセマンティックマイニングを通じてコンテンツの創造性のライト、およびゲームマーケティングセールスポイントに密接に関連する高周波ワードタグを追加し、最終的にコンテンツの創造的生産と生産の効率を向上させます。 1)ADXRAYの大規模なデータに基づいて、巨大なデータ機能を備えています Marketing Creative Monitoring Adxrayには、強力なバックエンドの視覚的およびビデオアノテーションシステムがあり、主に大規模なビデオデータの保存とビデオと視覚データの理解にあります。 ADXRAYデータアノテーションの90%以上がマシンによって完了しています。 現在、ADXRayは中国のすべての主流のR&Dと出版社と協力しており、100,000を超えるゲームクリエイティブデータが毎日分析され、2017年以降のすべての優れたゲームリリースケースをカバーしています。 2)ADXRayProオーディエンス分析とAIインテリジェント処理に基づいて、データ分析機能を備えています ADXRayProは、ビッグデータの統計分析技術に基づいて主流のショートビデオプラットフォームに配置されたビデオ広告を分析します。 ADXRAYの基本的なデータ分析と比較して、Tian Yiはデータをさらに調査しました。これらのテクノロジーを通じて、Tianyiはできるだけ早くクリエイティブ市場の反復と傾向を提示し、顧客がゲームの創造的な方向性を分析して配置し、それによって人気率を高めることができます。 3)豊富な創造的計画機能を備えた購入ボリューム戦略と競争分析を採用します 創造性を作る前に、Tianyiのチームは、ADXRayとADXRayProの統計データに基づいてゲームタイプの包括的な分析を実施し、ゲームの導入、プレイヤーのニーズ、ゲームの興奮、爆発ポイントなどの複数の次元でゲームを理解して、創造的な方向性と購入戦略の方向を配置します。 さらに、コンテンツの創造性に関しては、DataEyeには独自の創造的な制作ラインがあり、現在2つの創造的なベースがあり、外部のビデオ制作サプライヤーからの協力があります。顧客はDataEyeから直接コンテンツを購入できます。 Netease、Tencent、Kaiying NetworkなどのDataEyeの最大の顧客は、毎月DataEyの広告に使用される大量の創造的なコンテンツを定期的に購入しています。 現在、DataEyeは顧客と協力して、「ファンタジーウェストワードジャーニー」、「ファンタジーウェストワードウェブエディション」、「ファンタジーウェストワードジャーニー3次元エディション」の購入マーケティング方法をアップグレードし、顧客に視聴者分析、競争力のある生産分析、市場基本分析、材料戦略などの多次元戦略分析と創造的な生産サービスを提供します。 「Fantasy Westward Journey」シリーズは、多数の「古いプレイヤー」を引き付け、Android、Mobile H5、PC Microバージョンなどに加えて、「ファンタジーウェストワードジャーニー」のターンオーバーを超えていました。 さまざまな垂直分野のマーケティングコンテンツの創造性が情報の透明性の共通の問題点を解決する必要があることを考えると、DataEyeはゲーム業界のビジネスモデルを、将来のeコマース、教育、金融、オンラインサービスなどの業界に直接コピーし、将来の広告分野の他の分野に拡張し、拡大します。 ヨーロッパのベテランの医薬品化粧品の小売業者は、国内市場に参入するためのインタラクティブなインテリジェントなマーケティングソリューションを毎日活用しています データは、中国の美容市場が急速に成長しており、世界で3番目に大きい美容市場に成長していることを示しています。 Tmallプラットフォームでは、美容は母体と乳児と食物を超えており、最も急速に成長しているサブカテゴリになりました。同時に、世界のeコマースプラットフォームの主要な開発とデジタルイノベーションにより、多くの海外ブランドが機会を見ることができました。 長年の医薬品化粧品の小売業者として、欧州の医薬品化粧品ブランドは薬局として始まり、その製品は購入エージェントとアウトバウンド旅行を通じて中国の消費者によく知られています。このブランドは、中国の美容市場の大きな可能性を見て、2018年9月に初めて中国市場に参入し、Tmall Internationalに公式の旗艦店を開設しました。しかし、激しい競争と中国の美容市場の急速な変化に直面して、ブランドは次の課題に直面しています。 1)消費のアップグレードの傾向の下で、中国の消費者はハイエンドの美容製品の需要が高いため、国際的なハイエンドの美容製品の影響に直面するだけでなく、中国の地元の美容製品ブランドの増加にも対処する必要があります。 2)ヨーロッパの美容ブランドとして、まずアジア市場の消費者の消費者の好みを理解し、次にカスタマイズされたマーケティング戦略を策定して、美容市場を迅速に占有する必要があります。 上記の問題に対処するために、ブランドはパートナーとして毎日のインタラクティブを選択しました。 Daily Interactiveは2010年に設立され、プロのインテリジェントサービスプロバイダーです。広告プロセス中、Pharmaceutical Cosmeticsブランドは、毎日のインタラクティブ業界のブランドマーケティング分野に焦点を当てた「デジタルライト」を使用しました。 「パーソナルライトと数字」は、多次元のユーザーポートレート分析、潜在的な顧客のフロー分析などの機能をカバーしています。 具体的には、ランプの数は、人口属性、関心、趣味、メディアの好み、ターゲット集団の特性に関する洞察の次元から指定された人口の包括的なポートレート分析を実施します。最先端のAI機械学習に基づいて、ターゲットグループのLookalikeの数を拡大し、ブランドが同様の特性と好みを持つより多くの潜在的な消費者を見つけるのを支援できます。ライトの数に基づいて、プログラマティック配信のプロセスでは、モバイルデータに基づいて毎日のインタラクションがトラフィックをフィルタリングします。 ヨーロッパの美容ブランドの製品の広告の配置を例にとると、ブランドはいくつかのライトを使用して、ターゲット消費者を正確に見つけ、潜在的な消費者をタップし、サイト内外のリソースと共同で大規模な正確な配置を実施し、ブランド認知度と製品販売の増加を増やしています。 ステップ1:ターゲット消費者の特性に関する洞察、主要なマーケティンググループを決定するためのグループテスト 洞察では、ブランドは単一のライト番号ディスクのアルゴリズムテクノロジーを使用して、tmallサイトの製品の関連するユーザーデータを完全に調査し、消費者の行動特性を見つけ、ユーザーのポートレートラベルを生成し、その後、属性と行動特性の次元に基づいて種子ユーザーをクラスター化してサブディビジョンし、3つのシードグループを除外します。その後、ブランドは、配信テストを実施するためにユーザーの小さなバッチを選択しました。通过分析广告的曝光和点击情况,该品牌最终将“知识白领”确定为后续大规模站外营销活动的重点开展人群。 由于站内的激烈竞争使得流量获取成本不断攀升,为避免站内红海的正面争夺,品牌方听从个灯数盘的建议将眼光转向站外,借助每日互动在站外的丰富优质流量进行大规模投放,以优质的成本有效引流。 第二步:扩量算法挖掘潜在消费者,智能选量实现站外大规模精准投放 在投放环节,品牌方先依托每日互动的数据库能力和机器学习,找出高潜力用户“知识白领”的显著特征,并通过lookalike扩量算法,找到了3000W+具有相似特征和偏好的潜在消费者。之后,该品牌基于个灯数盘能力,择优选择知识白领人群偏好明显的短视频、新闻类移动媒体作为投放途径,并与国内主流DSP服务商完成对接。 在投放前,品牌方采取每日互动独创的“子弹夹模式”对媒体流量和TA之间进行契合度排序,确保广告都能匹配到优质的流量进行精准曝光。每日互动会在流量匹配过程中,基于全网覆盖的移动端数据,对流量的真实性进行判断,过滤掉虚假流量。 投放时,该品牌在每日互动指导下,通过紧密联动站外站内,将站外的优质流量精准导入站内,提高了目标消费者从曝光到购买的转化率。 第三步:通过品牌Databank,对投放结果进行评估验证 在评估验证环节,品牌方在营销活动结束后,将数据导入品牌数据银行(Databank),对广告效果进行评估验证。结果显示,此次投放人群的品牌关联度、购买/复购用户占比明显高于普通电商活跃人群,实现了品牌宣传与线上销售的“品效合一”。 数据显示,本次营销活动不仅提升了品牌认知度,线上销量还比预期高出了127%。 此次合作中,每日互动充分发挥自身数据和技术优势,帮助品牌方全面洞察目标消费者,激发品牌新的营销思路和创意,不仅为品牌抢占消费者心智加码,更为深化中国美妆市场的数字化营销挖掘出更多可能性。 2. 数据中台支撑数据智能落地 2.1 数据中台是数据应用的基础设施 企业在实现数据应用的过程中,面临着大量技术和业务组织层面的挑战。数据中台作为一种新兴的架构,是企业实现数据驱动业务的必经之路,是支撑数据应用的新基础设施,对企业的数字化转型具有重要的意义。 2.1.1企业数据应用挑战与数据中台价值 对于数据中台的概念和实践,目前行业内尚未形成统一的认知和通用标准,但随着企业的数据意识与认知增强,越来越多的企业对于数据中台的价值形成了共识。 数据中台不仅仅是技术或产品体系,更是一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建一套持续不断把数据变成资产并服务于业务的机制。 在企业推进数字化转型和数据应用的过程中,通常会面临以下几方面的挑战: 第一,企业内部有大量数据孤岛,传统企业的数据大量存在各个孤立的数据业务中,且数据碎片化,无法统一融合赋能业务。数据中台通过对跨平台海量数据进行采集、计算、存储、加工,同时统一数据标准和口径。数据中台把数据统一之后,会形成标准数据,再进行存储,形成数据资产,进而为业务提供高效的数据服务。 第二,传统企业内部通常是IT部门负责处理和管理数据,业务部门无法直接使用数据。数据中台是聚合和治理跨域数据,将数据抽象封装成服务,提供给前台以业务价值的逻辑概念,能够实现数据的资产化、服务化,赋能业务部门人员进行数据分析和数据应用。 第三,一旦推进数据智能应用,企业可能也会面临大量的数据开发工作,技术门槛高、投入成本高,但面对前端的业务部门源源不断的需求,企业存在数据服务能力重复建设的问题。数据中台连接数据前台和后台,为企业提供更灵活、高效、低成本的数据分析挖掘服务,实现企业的数据开发能力的复用,避免企业为满足具体某部门某种数据分析需求而投入大量高成本、重复性的数据开发成本。 同时,数据中台实现将通用的数据服务在业务部门间共享,提升跨部门的普适性业务价值能力和企业运营效率,能帮助企业更好地响应业务需求的快速变化。 因此,数据中台可以解决客户在数据整合、数据资产管理、数据应用和数据运营等方面的问题,包括一切与企业数据资产使用相关的平台、工具、数据、组织、流程与规范等。以数据中台建设为抓手推进数据智能应用是非常有效的方式。 2.1.2数据中台的架构 数据中台连接前后与后台,基于底层数据存储计算基础设施建设,通过数据开发、数据治理体系与数据资产管理形成可对外进行服务的数据资产,再通过数据服务体系将数据资产转变为数据服务能力,支撑企业上层数据应用。数据运营体系、数据安全管理体系则保障数据中台的持续运营。 1)数据开发 数据汇聚到数据中台需要经过数据加工以及过程管控的工具进行数据处理,才可以快速将数据加工成对业务有用的数据。数据开发平台提供实时开发和离线开发工具,以及智能调度、智能运维、监控告警等一系列工具,以提升数据开发人员和分析人员的效率。 经过数据开发模块,可以形成不同业务可用的数据体系,数据体系具有一致性和可复用性的特点。 2)数据资产管理 为了使企业业务人员更容易理解和应用数据资产,数据资产管理模块对数据资产进行管理和质量控制。数据资产管理包括数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数据价值管理和数据共享管理等职能。数据资产管理包含了传统数据治理体系。 数据资产管理的核心不在于技术与产品,更在于企业的战略、组织与制度,需要企业具有明确的战略规划、有效的组织架构、良好的数据意识、合理的制度与业务流程,才能逐步形成统一的数据标准与规范,实现良好的数据资产管理体系。 3)数据服务 数据服务体系是连接数据资产和数据应用的枢纽,将数据资产转换为业务可用的数据服务。数据通过计算逻辑的封闭生成API服务,数据应用可以对接数据服务API获取数据服务。企业的服务需求大部分是定制化的,因此,大部分数据服务并不是数据服务体系本身自带的,而是通过数据服务体系提供的快速的服务生成、管控能力来提供的。 基于数据服务体系,数据服务可通过对数据进行封装快速支撑上层应用,降低了数据接口的重复建设,保障数据服务输出的一致性、及时性、高效性。同时,通过数据拓展和数据封装形式的拓展,数据能力能进不断进行扩展。 4)数据运营体系 数据中台建成之后,需要持续运营、不断迭代,才能依据企业不断变化的业务和数据产生持续的价值。数据运营体系保障数据中台得以持续运转和迭代。 5)数据安全管理体系 数据安全管理体系是数据中台体系的基础,包含大量复杂的技术手段,涉及数据产生、数据存储、数据使用、数据共享等全生命周期。企业数据中台汇聚了企业全量数据,应当建设多方面、多层次保障的数据安全管理体系。 和数据中台建设类似,数据安全管理体系不仅是依赖于产品与技术,而是包括了安全战略、安全组织、安全过程管理等多方面,需要企业兼顾多方面。 2.2数据中台建设与运营指南 数据中台不仅是一个复杂的技术架构,是一套数据资产体系和数据服务能力,更是一种业务和组织的架构和业务运营的流程与机制。爱分析经过多家企业的数据中台的案例调研,总结了建设数据中台过程中部分共性的最佳实践方法论。 2.2.1顶层战略规划 数据中台是企业数字化转型的基础设施,是企业各部门共同的数据平台和数据服务体系。因此,数据中台建设的核心目的是服务于企业的整体战略目标与业务目标。例如,零售企业为了增加营业收入,则需要对客户进行深入洞察,进一步需要建设数据中台汇聚并利用全渠道数据。 此外,数据中台的建设不仅仅涉及技术架构,还会涉及企业的业务模式也组织架构。因此,企业应当从顶层战略为起点,根据业务目标规划数据中台的建设蓝图与路径。 同时,数据中台不仅面向技术人员,更面向业务人员。传统企业的各部门间部门墙问题明显,要实现部门间的沟通协作、共建数据中台的挑战巨大,因此,建设数据中台需要站在企业战略层面进行推进,在组织架构和资源方面给予统一的调配与支持。 因此,企业建设数据中台建设要从顶层战略规划出发,根据业务目标,从战略层面规划数据中台建设路径、调整组织架构、调配相关资源。 影儿时尚集团打造CDP客户数据平台,助力三年百亿目标 随着消费需求的不断细分、科技创新的深入演进,市场与业态的快速变化冲击着传统服装业的经营模式,业务运营方式呈现出从粗放到精细、从线下到全渠道融合、从注重规模到注重效果的特点,而数字化转型和智能化重塑则是传统服装行业提升竞争力核心所在。 影儿时尚集团是一家大型服装企业,成立于1996年,旗下拥有六大独立品牌,在全国拥有15大区域销售分公司、1500多家直营门店和数百万会员。2018年下半年,影儿集团制定了未来三年收入增长至百亿的目标,而增长命题有三个重要元素:商品、市场、消费者。随着用户为王时代的到来,影儿集团希望把焦点放在消费者身上,让消费者管理成为增长的主要驱动力。 鉴于消费者运营是非常适合数据化转型落地并快速产生效果的场景,影儿集团选择了TalkingData作为数字化运营合作伙伴,启动数字化会员项目,构建起CDP客户数据平台,通过数据优化和完善全业务流程。 TalkingData是国内领先的数据智能服务提供商,围绕SmartDP数据智能平台构建“连接、安全、共享”的数据智能应用生态,帮助商业企业和现代社会实现以数据为驱动力的智能化转型。 影儿集团携手TalkingData,明确了从集团到品牌、从区域到终端、从基础平台搭建到系统自动化和系统智能化的建设路线,经过业务数字化、业务自动化和业务智能化三个阶段逐步推进,最终实现集团整体数字化能力的成长。 第一阶段: 数据化基建,用“数据驱动型业务”验证RGM增长模式 服装企业数字化转型的基础,就是对“人、货、场”进行数字化的重构。在平台建设层面,影儿集团与TalkingData密切配合,确保数据采集、数据处理、平台能力与业务应用相匹配, 实现了线上、线下触点数据合规采集以及数据的标准化、标签化脱敏处理,并打通从数据到业务应用的输出通路,确保业务侧能够准确、高效地应用数据。 在项目实施过程中,为了保证数据更业务化、平台能力更智能化,集团以“获新”为目标,先以“半人工”的方式尝试了一次数字化运营全流程。这次营销活动基于TalkingData建设的一方CDP客户数据平台,通过微生态裂变的方式打通了数字化运营闭环,从事前策略、事中调优、事后总结三方面实现了核心效率的提升。 该次“获新”活动取得了推文曝光量超10万、公众号新增粉丝超4万、新增注册会员超4000、活动转化销售额超800万的亮眼成绩,然而成本支出仅为3万元。这次尝试在验证项目的阶段性成果的同时,也为后续数字化运营闭环的全面推广奠定了基础。 第二阶段:数据释能渠道&品牌,驱动业务变现 数据化基础能力构建完成后,影儿集团逐步将平台能力释放到各品牌、各大区域分公司以及线上销售渠道,随之而来的是数据处理需求的激增。CDP平台提供的数据权限功能、标签可视化配置功能很好应对了该问题,不仅能够同时满足多业务部门的数据需求,还实现了业务人员自主完成数据标签加工的灵活性,既提升工作效率也降低信息部门的沟通成本。 除了运用平台完成老客运营之外,TalkingData基于自身的数据产品帮助影儿集团进行用户画像、指导门店用户洞察以及选址策略,辅助影儿集团搭建起潜客数字化运营的基础。 有了数据平台的支持,2018年的双11活动中,影儿集团线上商城抛弃过往基于历史经验的“人海战术”式营销,通过CDP平台进行客群洞察及人群拆分,针对不同人群设置不同的主推权益、触达渠道、测试文案,再分群分组的进行用户触达,以营销活动全链路数字化促进消费转化,最终实现销售额提升超过90%、客单价提升超过20%、新客销售额提升2倍的亮眼成绩。 第三阶段:复购模型赋能终端导购,大幅提升运营效率 随着项目逐步深入,从集团到品牌、渠道,平台能力逐级下沉,将支持的业务领域推进至终端导购层面。为此,影儿集团将导购助手平台与CDP平台对接,使导购助手数据能够回流至CDP平台,实现平台赋能导购的运营闭环。 为了满足实际业务场景下的需求,平台开发了大量定制化数据分析报表,用于追踪各项运营活动的效果,再叠加用户复购模型,为导购排序会员维护的优先级,指导导购判断高概率复购人群,既提升了导购侧的用户运营效率和终端交易转化,又能同时追踪导购的业绩完成情况,实现导购管理的智能化。 通过第三阶段的项目建设,导购加复购模型效果的常态化运营已经深入到每个导购的日常工作中,真正实现了用数据来指导业务运营决策,用智能来提升效率和收入,也大幅提升了客户满意度。 通过老客复购模型,影儿集团改变过往完全基于经验判断的运营方式,大大提高了老客运营效率,取得了电话邀约率提升超过30%、老客整体复购率提升超过10%、定向邀约老客客单价高于普通老客30%以上、定向邀约老客联单率高于普通老客20%以上的效果,真正实现了从集团到终端的RGM数字化转型。 未来,影儿集团将在流量、运营、数据、平台能力方面继续拓展生态合作,整合多方资源为业务持续赋能。 2.2.2应用场景规划 数据中台的价值最终需要通过在业务场景的数据应用来体现,因此,必须应用场景规划先行。不同行业、不同企业处在不同阶段所需要的数据中台是不同的,企业基于明确的战略和业务目标建设数据中台,进而也有可预期的业务场景落地。 数据中台的应用场景规划需要考虑以下关键要素: 首先,企业需要评估业务需求数据与企业数据现状。从具体的业务需求场景梳理相关的业务线、相关岗位和业务流程,梳理其中的业务需求;同时,对企业数据资产进行评估,离清企业已有哪些数据、需要补充哪些数据等。 其次,企业需要明确数据中台的应用场景实现顺序,即哪些优先级和紧急度比较高的场景可以应用数据中台解决业务问题。企业需要建立数据智能应用场景实现顺序的评估模型,可基于企业战略与业务目标、可实现的业务价值、数据应用的实现成本、数据应用的可行性等方面进行评估。 最后,企业在建设数据中台之前应当尽可能多地进行相关调研,并参考同行实践案例,总结相关经验,同时,可借助有成熟经验的数据中台建设厂商帮助企业解决相关问题。 基于数据中台,某航空公司重塑航空燃油分析体系 民航机组的“直接运行成本”(DOC)包主要由固定成本、燃油成本、时间成本三个部分构成,其中,燃油成本约占总成本的30-40%。2019年,民航局公布咨询通告《航空承运人燃油政策优化与实施指南》(CCAR-121-R5),对不可预期燃油政策进行优化调整,航空公司可以申请5%及以下的不可预期燃油政策。从10%的不可预期燃油降低到5%及以下,可以避免多带油造成油耗油的成本浪费,极大地降低公司运营成本。 随着油价的持续攀升和航空业竞争的不断加剧,某航空公司迫切需要通在保障飞行安全的前提下,基于大数据进行运行分析和数据挖掘,从而降低燃油消耗、节省运行成本,以达到符合R5最低燃油标准的精细化运行管理的目的,提升航司综合竞争力。 QAR是航司最重要的数据资产之一,完整记录了飞行过程的重要参数,数据质量高,可满足为公司提供高效运营决策支持的要求,从而提升公司成本控制水平、管理能力和竞争力。 因此,依据QAR再加上传统运行的CARS、A-CDM、CDM等关键运行核心生产数据建立统一数据共享服务平台,实现运行成本的多维度管理,从而达到节能减排和降低公司运行成本,已成为公司应对挑战和把握机遇的一个重要手段。 该航空公司传统的数据分析体系存在多个痛点: 第一,该航空公司原有数仓是基于Oracle构建,随着业务发展,数据量增多,数据种类不断丰富,数据融合的难度加大,运行分析的维度和精细化场景不断复杂深化,原有数仓无法有效支撑性能和灵活性,运行分析和燃油数据难以发挥应有价值。同时指标口径不一、数据资产缺乏管理、数据服务化水平不足等问题严重制约着该航空公司的数字化转型。 第二,飞机大多数传感器的解码和接入标准都掌握在国外飞机或发动机制造商手中。因此,民航公司多与其开展QAR数据分析合作,不仅成本高,而且只能提供部分场景的数据分析且不支持场景拓展,无法满足航空公司日益增长的需求。 第三,公司过往的指标分析,主要是通过数据分析团队进行手工跑数,但是业务人员无法进行数据分析,造成数据分析人员工作量过大,而业务人员无法灵活地分析数据。 基于此,该航空公司联合逸迅科技共同研发针对该公司的数据中台,并打造指标管理平台。 上海逸迅信息科技有限公司是提供数据治理和数据中台的全栈方案供应商,依托自主研发的数据治理、数据模型和机器学习模型开发工具等产品,提供采集、存储、分析和挖掘大数据的高效数据平台和服务,为各行业客户提供定制化解决方案,服务领域覆盖智慧城市、智慧航空、智慧物流、智能制造等行业,帮助用户快速实现大数据应用价值。 该航空公司分两期项目推进方案,一期基于该航空公司的业务系统打造数据中台,二期基于数据中台进行R5燃油分析,并构建了指标管理平台,完善指标管理体系。 逸迅科技自主研发的数据中台产品DIPC,是数仓构建、指标体系构建及数据研发的一站式集成环境(开发、部署),涵盖数仓可视化建模、数据研发(实时和离线处理)、数据服务等数据处理和服务全流程,实现智能的数据开发和数仓建模等流程。 在一期项目中,基于逸迅数据中台产品DIPC,该航空公司通过规范化的建模体系和统一集成的数据开发能力,连接数据后台与业务前台,有效解决前端业务场景对数据的灵活需求与后端数据开发较慢的能力不匹配问题,提升开发和运行效率;建立统一指标/标签体系,构建该航空公司数据资产目录,实现该航空公司数据资产化,强化数据资产管控能力;引入微服务架构建设数据服务体系,实现数据资产化管理和服务化开放,高效赋能前端业务场景需求,帮助该航空公司提升数据资产运营的能力。 数据中台成为了该航空公司一站式数据研发、数据服务和数据资产管控平台,提升企业内部的数据研发效率,强化数据研发流程和数据资产管控能力,为数字化转型提供关键支撑。 在二期项目中,基于该航空公司业务和高品质的数据成果,公司通过Hadoop大数据平台重构该航空公司数仓体系,并基于XData和XGov对数据进行迁移、汇聚和数据治理。基于Hadoop的大数据平台计算性能提高将近百倍,同时灵活的扩展性可支撑该航空公司未来数年内不断增长的数据体量和业务需求,从根本上解决了原有数仓的性能问题。 基于高品质的数据成果,该航空公司完成R5不可预期燃油分析、最优进近轨迹分析等功能,同时优化R5燃油分析算法,丰富和完善燃油分析体系,辅助业务部门进行更加精确的节油提效,通过指标管理与自主分析的模块构建,赋能业务部门更加灵活自主的分析能力。 该航空公司还搭建丰富的指标体系,逐步增加和飞行器相关的传感数据分析,例如飞行员模拟机训练、维修物料的流程监控、维修数据统计分析,为该航空公司构建了数百个运行分析指标和数十张分析报表,数据查询的性能响应时间由小时级别提升为分钟级别甚至秒级别,同时赋能业务人员更加准确地分析,作为燃油加注、驾驶行为等飞机运行的支撑。除了丰富指标体系以外,该航空公司还构建了指标管理平台,使业务人员能够自主进行指标的自由组合,指标的灵活分析,释放数据分析人员的工作量,实现精细化分析,同时提升业务人员KPI考核全面性和精细度,进而提高业务人员的主观能动性。 该航空公司利用燃油数据整合成果,推广节油分析功能到集团,为其带来长远价值和效益。 该航空公司在项目过程中的经验积累对于同类企业十分具有借鉴意义。企业建设数据中台之前首先需要有明确的应用场景规划,并选取部分应用场景同步推进数据中台建设和上层应用开发,打造业务场景闭环,率先实现部分业务价值。基于此,不断发掘新的业务场景和系统需求,获取企业各部门的持续投入和支持,完善数据中台体系和应用场景的建设。 2.2.3数据治理体系搭建 数据治理是数据资产建设的基础,目前行业实践中关注较多的是数据汇聚之后的数据治理,聚焦于数据模型与标准开发,但实际上很多数据在汇聚到数据中台之前的业务系统中就已经存在质量问题。如果数据在源端出现问题,即使在数据中台中进行治理,也无法保障最终数据质量。 数据治理的核心在于数据全生命周期管理,企业需要在数据采集之前在源端业务系统中即关注数据治理,覆盖数据中台与数据中台之够外的数据资产。因此,要获得高质量的数据资产,企业需要关注源端系统的数据治理。 数据治理应当结合业务场景进行,明确区分数据治理是面向源系统还是数据中台。通过数据资产盘点、数据质量管理、数据标准管理、数据探索分析、数据安全管控,以及源端数据质量进行数据治理,要保证核心业务之间没有断点,提升数据质量,实现数据安全可用。同时,企业需要同时通过技术与制度搭建企业的数据治理体系,基于制度保障员工按规范的数据治理方法工作,基于技术提升数据治理的工作效率。 源端数据治理是根本,某电信运营商的数据治理实践 面对快速增长的数据,某电信运营商省公司从战略和业务层面都亟需提升数据管理能力,建立从上到下的数据治理体系。 从战略层面,集团总部对省级大数据平台的数据治理能力提出了更高的要求:数据治理需要做到可视化、高效化、可靠化。同时,该分公司大数据发展规划提出构建全新的数字化创新战略体系。从战略规划来看,高价值数据整合及共享的要求促使公司必须提升企业数据管理能力。 在业务层面,数据质量问题也影响着业务开展。一方面,该分公司已发展自有渠道3百余家、社会渠道3万余家,但是各系统间分类体系不统一、重点业务数据不一致、渠道酬金结算不准确不及时等问题,影响了渠道的健康发展,造成了业务部门对信息系统数据质量的投诉与质疑;另一方面,市场部每天有上百个指标,指标按月对比波动,管理层无法知晓指标波动大背后的原因。 因此,该分公司启动了数据治理项目,与御数坊共同合作,组成数据治理项目组,结合其自身战略规划和具体业务问题,制定公司数据治理的方案规划。 御数坊是专业的数据治理培训、咨询及软件服务商,以“咨询服务+软件产品”的方案为企业提供全生命周期的数据治理解决方案,帮助客户建立数据治理能力、建立数据资产目录、对多源异构数据进行标准化,提高数据中台的数据质量,创造数据资产价值。 项目组采用顶层设计与热点业务问题结合的建设方案,分5个关键阶段推动项目。顶层设计涉及资产梳理和体系设计,业务问题解决方案主要结合大数据平台解决具体业务问题。 整体项目主要分为数据管理现状分析、数据质量根因分析、专项数据治理、数据治理体系建设等阶段,短期解决公司的业务实际问题,长期提升企业的数据管理能力。 (1)数据管理现状分析 在现状分析阶段,分别进行了顶层设计和具体业务问题的现状分析调研。项目组基于业务发展重要性及数据质量提升紧急性,优先选择家庭宽带和渠道两个模块,针对酬金结算不准和订单数据不准等场景作为切入点,对相关的5个系统累计进行13余次深入调研。 其中,流程梳理主要分为数据流和业务流梳理。在数据流梳理过程中,重点分析接口数据、基础数据现状,进行自下而上数据流分析。例如,分析渠道收益阶段的指标在数仓是如何加工的、由哪些数据加工、基础数据的分布情况、各部门在哪些系统修改创建数据等;在业务流梳理过程中,项目组关注数据承载业务及流程前后衔接、上下对应关系,识别各类数据管理问题及风险。 基于DAMA数据管理体系,项目组确定工号类、渠道类和组织类数据是主数据,并提出19项初步数据治理优化建议。同时,针对短期问题解决要求,设计包括组织保障、数据规范、制度流程等方面在内的数据质量问题管理机制。 (2)数据质量根因分析 项目组选取发卡数据不一致、家宽酬金数据不准确、酬金BI接口问题、4A基础数据准确性、问题管理机制不完善等5类与核心业务发展、与内外部客户满意度密切相关的问题,将其纳入根因分析范围,确定质量问题根本原因,并制定相应改进计划。 (3)专项数据治理 数据治理并非仅仅清洗数据并存入数仓,而是要结合业务场景进行深度治理,在源端改变业务人员的职责、业务流程和业务系统自身的数据规范和接口,同时改变后台数据仓库的规则、标准和模型。项目组选取出现频繁、与项目紧密相关的基础数据,设计“基础数据数据治理方法论”模型,设计数据标准和数据质量规则,进行基础数据专项治理,提升数据质量。 在数据标准管理方面,项目组制定术语标准和与基础数据相关的参考数据与主数据标准;在数据质量管理方面,根据基础数据数据价值链分析,制定系统间数据校验规则,以加强数据质量管理。 专项数据治理工作由该分公司信息系统部大数据支撑中心牵头,会同市场部相互协作,历时2个月,保证了基础数据优化及改进工作。同时企业级数据治理项目组协同各系统厂商、市场部业务人员详细分析了基础数据在重点系统间的信息价值链,绘制了渠道酬金基础数据信息价值链全视图,有效分析了数据系统间使用冲突,并根据信息价值链分析原理,给出了科学的数据源权威系统建议。 专项数据治理完成了3大类基础数据数据治理,并由市场部牵头面向4A系统、渠道管理系统集中下发改造需求。 (4)数据治理体系建设 数据治理的需求是全局的,来自于企业管理层和业务部门,需要从管理层到业务层均采取行动,并优化其组织架构和业务体系。数据治理体系分为数据治理组织体系与数据治理能力体系。 项目组首先结合具体业务问题,优化公司组织架构,并动态地调整和增加组织成员。数据治理体系建设由公司高层领导挂帅,业务与信息部门协同的数据治理组织体系,包括数据治理委员会,总体协调组,各业务部门、信息系统部、各分公司和各项目组。其中数据治理委员会是最高议事机构,负责全面协调、指导和推动公司的数据治理工作。 长期来看,该分公司建立1个总纲、7个管理分册、1套数据规范的“1+7+1”数据治理体系,规定数据治理目的、范围、原则、组织职责及工作内容、工作评估方法。基于此,该通信运营分公司从顶层设计和业务运营方面实现了数据治理效果提升。 在顶层设计层面,公司建立了数据治理组织架构,提升数据管理能力,编制数据治理体系制度,为数据治理运营管控提供基础保障。建立了长效机制,指导后续工作常态开展。 在业务层面,公司实现了三方面的效果。 第一,改进底层数据质量,通过DAIC数据质量问题管理机制,开放业务部门反馈数据质量问题渠道,有效分析并解决了17类市场部关注数据质量问题,完成了发卡数据不一致、家宽酬金数据不准确等5类热点问题的根因分析及改进方案制定。 第二,消除了业务流程中的断点,改善业务运营。 第三,提升业务绩效。项目组实现了数据治理体系创造收益的量化分析。例如,可基于公司原本的每月错误业务归属订单评估数据治理为业务带来的价值,对该项目进行业务ROI测算。数据统计的指标长期稳定,波动减小,和营业厅的数据核对差异很小。 该数据治理项目成功的核心在于和市场部门的业务场景紧密结合,率先实现了部分业务收益,获取管理层和市场部分的进一步投入与支持,进而能够持续数据治理体系的建设。 2.2.4技术平台建设 根据前述的数据中台架构,数据中台的技术平台搭建重点包括数据开发、数据资产管理、数据服务、数据安全管理体系等。 目前,数据中台的技术平台搭建涉及到的技术已经较为成熟,且大量开源技术降低了开发门槛。此外,也有大量兼具技术产品能力与实施落地经验的厂商,可以帮助企业进行技术平台搭建。企业可以根据自身需求和规划,选择自研或与厂商合作开发。 基于成熟的开源组件,一方面,企业系统可以更加稳定,且平台更加工程化,可支撑企业大规模应用,中台可根据业务需求灵活拓展;另一方面,企业可以大幅降低建设数据中台的成本,提升开发效率,让企业内部开发人员更加专注解决业务问题。 2.2.5业务价值实现 数据中台建设属于底层基础设施,往往难以直接产生效益,加之涉及较多横向模块,建设周期长、投入大,如何衡量投入产出是一个问题。 围绕企业的应用场景规划,企业需要明确应用场景实现的优先级,率先实现部分场景应用,打造业务场景的闭环,实现业务收益。 一方面,基于数据中台首先实现业务能够量化ROI,在短期内即可实现部分收益,企业管理层和业务部门看到实际的价值,有利于持续投入并配合推进数据中台的后续建设与优化。 另一方面,部分应用场景的落地是对数据中台的有效性验证,在过程中更容易发现数据中台建设和运营方面的问题,可以在后续的拓展中持续优化,避免前期建设底层基础设施的成本浪费。 2.2.6持续运营 数据中台完成建设之后,需要保证数据资产在持续稳定地赋能业务,以实现数据资产价值的最大化。实现部分业务场景的闭环和业务价值之后,企业逐步将单个场景的数据智能应用延伸至多个场景,因此,企业需要进行数据中台运营与优化,将数据资产和应用流程固化,拓展更多的场景,最大程度地发挥数据中台的价值。 数据中台的持续运营是基于数据智能的相关技术体系,构建一套完整的、体系化的数据处理及服务流程,源源不断地把数据变为资产并服务于业务的一种可持续让企业数据用起来的机制。 数据中台的运营需要从多方面进行: (1)数据运营规范 建立数据中台之后,首先需要保障企业体系化、标准化的数据采集、存储和打通,搭建企业的数据资产;其次,在数据质量方面,需要建立体系化的数据汇聚、加工与应用流程,通过运营手段完善数据管理制度与规范,保障数据资产的高效输出与循环落地机制。 (2)组织协同 数据中台是企业数字化转型的核心支撑,业务模式不同于传统模式,应当根据数据流、业务流对组织架构进行调整;同时,企业开始在管理层设立数据管理委员会等岗位负责数据机制的建设与管理,为数据资产的建设提供支持。另外,企业成立专门的数据资产运营部门,保障数据资产的应用,同时维护平台中数据的真实、稳定、准确和高效。 (3)数据应用场景拓展 数据中台可对外提供统一、标准化的数据服务能力,企业可以在此基础上探索各类业务应用,并利用数据中台提供数据服务支撑,包括原有业务的优化与业务创新。 (4)数据运营能力建设 企业应当建立完整的数据运营体系,包括数据资产质量评估、数据资产安全管理、数据成本运营、数据持续运营等。同时,数据运营能力还包括企业的组织调整与制度规范,保障企业全员具备数据意识,调动部门积极性持续优化中台机制,保障数据资产的持续运营。 2.3各行业数据中台实践案例 数据智能在各行业逐步渗透,不同行业的数据基础设施、业务需求均不同,企业遇到的数据应用问题与相应的解决方案也有很大的差异。近几年来,数据中台已经开始在各个行业落地,一些头部企业经过不断探索,已经在各个垂直行业形成了成熟的解决方案,探索出了一些成功的实践经验。 本章节挑选了部分重点行业的典型数据中台建设及应用案例,为同行业企业提供相应的借鉴。 2.3.1 金融 基于数据中台,数据智能驱动中型证券公司数字化转型 某中型证券公司是国内第一批拿到从事证券投资业务牌照的证券公司。随着业务发展,面临着数据开发与应用方面的挑战。原有的大数据平台能够解决大部分数据应用问题,但由于业务变化快,系统上线的速度也越来越快,基于原有的大数据平台的服务支持存在诸多问题,不仅导致企业资源浪费,还对信息部门的开发工作造成不便。 第一,具有多种并存的数据库,且业务系统大多是烟囱式的,所以数据存储分散,交叉使用非常不便;若上线新系统可能造成重复建设,资源浪费。 第二,数据处理缺乏统一的规范,技术人员的处理方式不同,技术能力难以在团队内复用,也难以拓展至其他项目。 第三,单点开发问题严重,企业文档记录不完善,数据知识共享不便,导致重复造轮子。 第四,任务调度难。随着开发任务量增加,如何安排新任务执行才能保证系统不崩溃、不锁表,是开发人员的一大挑战。 为了能够建立可科学管理、可便捷开发的数据服务,该证券公司基于原有的大数据平台升级开发数据服务中心,打造自身的数据中台,为前台业务提供快速强力的能力支持,同时实现数据资源复用,业务能力沉淀。 该证券公司采用自研+外购的方式建设数据中台,在原有的大数据中台的基础上进行升级。数据中台的建设原则是可复用、标准化、安全可靠、能力开放、应用简单及智能化。中台整体架构分为大数据基础平台、大数据治理平台、数据服务中心三部分。其建设核心在于两方面,一是数据资产,二是数据智能。 大数据基础平台是数据的存储计算中心,数据来源于柜台系统、业务系统、子公司的数据库等多渠道,基础平台建立了统一的数据接入、存储和计算方案。基础平台具有数据工作的统一入口,可以避免开发人员单点开发的问题,以实现工作成果积累和知识共享。 在大数据基础平台中,采用了星环科技的分布式技术,主要技术包括流处理、批处理及AI集群。离线计算模块采用Transwarp Inceptor,是可实现完整SQL支持的分析型分布式批处理数据仓库,用于构建数据湖、大规模离线批处理系统、企业级数据仓库。在线计算采用Transwarp Slipstream SQL编程规则引擎,是在事件驱动计算引擎上支持批处理等复杂编程模型的流处理引擎。算法平台基于数据挖掘平台Transwarp Sophon Discover打造,能够进行灵活的数据挖掘分析探索, 包含丰富的分布式算法库,提供R、Python、Spark的集成开发环境。Transwarp Sophon Discover还整合Notebook工具实现可视化的模型训练和数据分析, 支持团队协作,内置多种行业模板和基础架构辅助用户构建智能应用,如精准营销、流失预警、文本挖掘等。三者共同构成统一计算模块,为该券商数据中台提供强大的算力。 此外,统一存储层使用了星环科技的操作型数据库Transwarp Hyperbase,属于NoSQL操作型数据库,可构建海量数据的在线存储和查询系统,支持高并发实时数据入库场景、索引和高并发的数据查询业务、非结构化数据的存储分析。 同时,星环的标准产品进行了容器化,促进了大数据基础平台的环境双核部署和安全认证。基于星环的产品,极大节省了探索平台底层的性能的时间,星环已经将本地环境配置好,使得整个系统能够高效稳定地运行。 数据治理平台是该证券公司的自研平台,数据经过数据治理即转换为数据资产,形成了客户、用户、产品、企业、资讯等数据集市。不同于其他企业自上而下的数据治理原则,其采用向下而上的原则驱动集团数据治理,在进行数据治理的同时兼顾业务特殊性,这种方式更适合以技术趋动数据治理的中小券商。 基于数据资产,数据中台将对外的数据服务层包装成数据服务中心,以微服务的方式构建,通过多种渠道支持前端系统,同时对前端系统开放了API服务、产品化服务以及数据库的服务。数据服务中心提供了丰富的数据接口和数据字典,不管是业务人员还是开发人员,都能够比较顺利接入到底层的数据。 数据智能不仅体现在前端的业务应用支撑,也体现在对数据中台的支撑。开发人员接到业务需求之后,平台会进行灵活的数据字典配置,开发人员只需要配置资源数据字典,任务即自动运行,实现开发运营化。这不仅降低专业人员的开发门槛,还使得平台的底层代码池健壮,且系统非常稳定。再基于任务智能调动系统调整任务,最后形成应用,对接业务系统或赋能前端客户。 基于强劲数据中台底座,赋能多元化智能应用 在应用层面,基于数据中台,为客户赋能、业务赋能、管理赋能提供支持。 在客户赋能方面,利用大数据和智能算法,打造专业智能客户投资工具,例如,在交易服务中结合客户投资的整个过程,打造交易前、中、后的投资服务;在零售业务线中基于用户画像对线上零售客户实现精准营销、精准精细化运营服务。 在业务赋能方面,通过报表和各种分析体系等数据可视化平台,帮业务人员更高效地拓展业务,提升业务效率。例如,提供了业务和领导人员的数据获取能力,目前已经形成了领导驾驶舱、业务报表、绩效考核、监管报表和用于自身的IT平台运营监控。 在管理赋能方面,基于数据中台进将风险数据监控和信用风险各个系统进行有机融合,搭建风险模型,支持企业风控、合规和审计等。 项目进行过程中,与星环合作,直接应用其模块化产品,降低了数据中台底层技术平台的成本投入,使其能够在自己专长的领域里有针对性投入资源,包括业务服务、数据分析和数据挖掘技术等,同时,提升了开发效率。 目前,该数据中台基本上已经具备完整的功能。未来,将会扩充外部数据,例如舆情、资讯等数据,并基于知识图谱丰富公司业务中台中的风控以及商机发现部分。同时,会更加侧重于非结构化数据处理,例如,投行业务中的合同管理、底稿管理以及业务流程,需要大量图像识别。 中小证券数据中台建设经验借鉴 在项目过程中,该中型证券公司的经验积累可为其他中小券商数据中台建设借鉴。 第一,数据中台建设须围绕客户以及业务开展,一方面更好地解决业务需求,另一方面获取业务部门的支持与配合。 第二,需要选择正确的技术方向。首先选择主流、开放的技术,在POC阶段,要让技术人员实际尝试使用;其次,选择的技术要有先进性,能够提供很多便捷的开发方法;最后,需要具备可持续发展性和自主承接的能力。 第三,注重中台建设的节奏,本着“有用才做”的原则,需要有一些业务场景率先落地,在这个过程当中逐步将中台建设起来。 2.3.2 政府与公共服务 某市应急管理局构建统一大数据平台,实现智慧应急 应急管理涉及众多场景,传统管理模式下管理职责较为分散,难以制定整体的应急规划。因此2018年3月,全国人大通过组织机构改革办法提出了大应急体系,把安监、消防、水利等部门都融合到了应急管理部门,从国家层面作出整体规划,不再局限于某一领域,而是力求全方位的安全。 部门整合之后,应急管理仍然面临多个场景数据标准不统一且业务系统碎片化的问题。某市应急管理局面临着以下挑战: 1)应急管理对象涉及地震灾害、地质灾害、森林火灾、草原火灾、火灾事故等,数据资源繁杂,标准不一致,缺乏统一治理和管理,数据孤岛严重。 2)虽然全市积累了大量安全生产、自然灾害和综合防范等数据资源,但由于数据多头管理,权责不明确,数据挖掘与分析不足,数据价值和效能未能最大化释放。 3)数据应用水平低,无法高效支撑对全市运行状态的全面感知、态势预测、事件预警和决策辅助等业务应用。 为了解决上述问题,该市应急管理局提出构建一个统一的大数据平台,并支撑上层数据应用。该市应急管理局与百分点合作,构建智慧应急统一大数据平台。 百分点作为一家数据智能技术企业,在应急管理领域,按照“数用分离、智能驱动”的思路,依托大数据全栈技术和产品,构建符合应急管理需求的应急大数据治理体系,实现数据接入、处理、存储、应用等全生命周期的管理。 市应急管理局首先通过构建智慧应急统一大数据平台,消除了数据标准不一致,实现了全市应急大数据全方位获取、全网络汇聚、全维度整合的整体信息资源规划。其次,在大数据平台之上通过数据融合和挖掘分析,提高了各种数据资源的利用率。同时,通过建模分析预测风险,实现全域感知,将数据资源转换为应急决策依据,提升了应急管理决策水平,有效支撑了全市及各区智慧应急应用体系建设。 1)建设智慧应急统一大数据平台 为了建设应急数据治理体系,市应急管理局率先构建了城市大数据中心应急专项数据资源体系,各类业务应用得到了统一的数据支撑;通过大数据平台的建设成果获取数据,做到了“数用分离”,避免数据重复建设,提升数据使用效率;同时,将数据治理与应急业务结合起来,真正实现了业务系统数据之间的交互、共享、互补、协同。 市应急管理局构建的智慧应急大数据平台,统一接入局内10个业务系统数据、21家“安委办”单位应急数据、市域物联网感知数据和互联网数据的信息资源,实现全市应急基础信息汇聚、治理、主题库构建及信息展示。针对安全生产、自然灾害、城市生命线等多个领域的591类、1.6亿条应急数据进行了勘探、稽核、质量分析和提升,实现了应急数据的标准化和全生命周期化管理。 在项目落地的过程中,遇到的难点主要有核心数据来源以及数据质量问题。应急数据有不同的数据层级,获取数据的来源主要是三方面:一是应急业务内部的数据,可能是跨层级的;二是可以汇聚外部各个委办局的数据; 三是可以向上级申请各部门上报的数据。此外,针对数据质量并不高导致无法使用的问题,百分点与各个业务单位持续沟通,提升数据质量的标准要求。 2)数据融合、数据挖掘分析及可视化展现 在完成大数据平台建设后,市应急管理局对全市应急全要素数据进行融合和关联分析,能够全面实现灾前风险分级、灾害事故识别和预警、综合研判、预案关联匹配、灾害趋势自动分析、救援方案推荐、智能辅助决策、灾后回溯评估等业务。针对全市安全生产、三防灾害、城市生命线等特定业务场景,实施风险监测预警和主动防范。在可视化方面,市应急管理局基于GIS一张图展示的全市应急信息资源,可实现应急数据可视化决策。 3)构建智慧应急业务模型 市应急管理局还基于大数据平台,将人工智能算法与应急业务深度结合,面向安全生产、防灾减灾、应急救援等业务域构建应急业务模型,实现危化品生产、运输、存储、使用的全生命周期管理,自然灾害及次生灾害风险隐患的动态监测、预测预警等,全面提升应急管理事前、事发、事中、事后四个过程域内风险预测预警能力和联动处置能力。 应急管理局通过对全市应急全要素数据资源的统一融合治理,极大提高了应急数据资源的综合利用率,实现了数据资源和业务应用态势的可视化综合展示,为城市“智慧应急”提供数据基础,释放了应急数据价值和效能。 智慧应急统一大数据平台上线后,应急管理局达成了以下目标: 1)通过数据资源池的建立,规范和完善了28大类应急数据应用标准,实现应急数据标准化和体系化管理,提高了数据质量,促进了各系统之间应急信息资源的开放共享和有效应用。 2)在不同来源数据融合治理形成的信息资源库基础之上,构建了全域实时风险地图,汇聚了全域各种应急数据,全面提升了风险管控和监测预警能力。 3)通过算法模型,叠加多源数据分析预测隐患,实现灾害链的关联分析和全域感知,推动实现“事前预警、事中可控、事后联动、可追溯可评估”的应急全流程管理,从而将被动的应急管理变成主动的应急“智”理,有力提升了科学预防、安全监控、快速反应、智能研判、有效决策的水平。 2.3.3 消费品与零售 数据中台赋能传统体育零售商,应对数字化转型挑战 滔搏体育(以下简称滔搏)是中国最大的体育零售商,作为耐克、阿迪达斯最大的分销商,滔搏共代理11家国际运动品牌。同时作为百丽国际旗下面向体育业务的子公司,滔搏从上世纪90年代涉足体育运动产品的经营业务。滔搏将自己定义成以消费者为核心的运动零售及服务平台,从一家传统的经销代理向运动服务提供商、体育活动组织方以及运动社交分享平台三大方向转型。打通原来分散割裂的门店、渠道、消费者、会员等数据,也成为了实现转型不能越过的先决条件,这也对这家拥有近30年历史的传统零售代理商的数字化建设提出了新的挑战。 作为一家业务模式相对传统、历史积淀厚重的零售商,在滔搏业务扩张发展过程中,公司内部信息系统大量建设且缺乏统一管理,各类数据标准化程度低、对接难,组织间信息壁垒和数据孤岛逐步形成,加之数据统计口径不一致,长期存在业财差异无法解决。 同时,滔搏原有的数仓存在性能瓶颈,数据指标计算时间长,无法满足新业务场景的需求,且原有的数仓架构扩展性差、维护成本高。 在拆分上市后,滔搏将数字化转型、线上线下消费者互动的深入整合、基于客户需求的供应链升级作为了其业务战略的重点方向。为满足战略规划的落实,建立一套高效、全面、业务导向、敏捷响应的数据中台是滔搏迫在眉睫的现实需求。 滔搏数据中台搭建模式 在数据中台搭建中,滔搏选择了滴普科技作为合作伙伴。滴普科技是一家全场景数据智能服务商,有深厚的技术和平台建设经验积累,为包括零售、快消、汽车、3C、工业等在内的众多不同行业的头部客户提供了标杆性的数字化转型服务。 滴普科技为滔搏设计并建构了一整套以互联网中台技术架构为蓝本的数据中台,打通了滔搏包括门店、财务、CRM、OA、HR、会员、运输管理等在内的23个业务系统,通过数据资产化、资产服务化、服务业务化,实现数据赋能零售业务目标。 在中台的落地层面,在综合考虑业务/财务维度的数据标准和数据模型基础上进行平台建构,同时统一滔搏各业务线、前后端的数据采集、数据处理、数据治理、模型管理、数据服务,从源头到应用端到端提升标准化水平。 得益于互联网架构,滔搏数据中台的架构系统自主可控、高可用且易扩展,提供例如高性能分析能力、面向业务的服务管理等支撑快速迭代的能力。在确保数据准确易用的同时,满足了对业务敏捷响应的数字化平台建设初衷。 同时,新的数据中台拥有健全的安全保护机制,提供多租户管理、角色权限管理、认证鉴权、数据加密脱敏、安全审计等功能,保证滔搏旗下众多部门仅可以保仅可访问允许的数据,避免数据泄露。 数据中台赋能滔搏数据服务体系 通过建构数据中台,滔搏日常运营分析需要的多个数据源系统得以整合,数据体系设计得以规范,数据差异风险有效降低,赋能业务的综合分析能力迅速提升。滔搏的数据资产管控体系也得以同步建立,通过对现有数据资产的盘点进行数据资产运营,提升数据的有效性、可追溯性,并逐步改善数据准确性问题。 通过对数据中台的升级,滔搏原有的数据仓库处理与响应效率也大幅提升,响应时间从原来的2小时缩短到1小时左右,增强了对前端业务快速变化的响应能力。 通过数据中台进行全量数据封装透出,支撑各个数据业务,保障数据获取的及时性和稳定高效,并可支持数据能力不断扩展,形成可靠的数据服务体系,为查询服务、分析服务、检索服务、精准营销、个性化推荐、大数据风控等应用场景提供良好的数据支撑。 2.3.4工业与能源 国网某省级电力公司借助数据中台建设能源互联网 我国电网规模已超过美国,跃居世界首位。但是随着人们用电量需求的日益增加以及现代化进程的不断推进,人们对电力系统的要求越来越高——需要提高运行水平和运行效率、保障可靠性和安全性、减少系统故障率和故障时间。 当前,数字革命与能源革命相融并进,电网形态逐渐向能源互联网转型。国网从总部层面开始统一规划,提出数字化转型和能源互联网的战略目标,要求自上而下搭建数据中台。 国网某省级电力公司,有庞大的业务系统和组织架构体系,无论是数据量还是业务系统数量都是一个庞大的数字,在数据治理的过程遇到以下问题: 1.从数字化现状来看,前期的信息化建设在支撑各类专业业务开展的过程中积累了大量高价值的数据资产,但是系统的相互独立也造成了业务壁垒的存在。 2.数据应用方面也存在瓶颈,主要表现在四个方面: 各业务系统数据交互难、企业数据资产综合利用效率低、各系统数据冗余和不一致以及跨系统应用难以获得稳定的数据支撑。 为了解决上述问题,国网某省公司与明略科技合作,开展了数据中台系统的建设,以达到基于中台实现数据资产管理、通过数仓实现各业务域标准业务模型、建成高效业务数据服务体系的目的。 明略科技是一家数据中台和企业智能决策提供商,致力于通过大数据分析挖掘和认知智能技术,推动知识和管理复杂度高的大中型企业进行数字化转型。明略科技的数据中台以多维数据的感知和汇聚能力、基于知识图谱的数据融合打通能力、基于智能数据引擎的数据自服务能力,赋能客户的中台建设,实现客户数据的资产化、智能化和服务化。 国网某省公司前期针对数据治理层面的问题构建了数据中台;中后期的项目建设在数据中台基础上进行了改善,做了一些基于数据中台的应用,利用知识图谱技术同时解决了数据质量、数据关联问题和业务壁垒问题等。 数据中台建设 数据中台的建设任务是针对业务需求建立数据模型,形成标准化、高质量的企业数据资产,并对外统一开放服务。 在数据资产管理方面,国网省公司从数据汇聚、数据加工、数据管理、数据服务整体上规划,以数字仓库建设作为治理重点,基于数据仓库的业务模型建设和管理,在整体上提升数据中台和数据资产管理的数据服务能力。 在数据仓库建设方面,国网省公司结合SG-CIM模型与维度建模方法,按主题域和业务活动进行业务模型建设和管理,建立了以资源驱动为特征的近源层、以业务驱动为特征的明细层、以需求驱动为特征的加工层以及以应用驱动为特征的应用层。在这四个层级之上,国网省公司完成了客户、设备、项目等9大主题域、590多个数据模型、300多个业务模型的搭建,并通过这些模型来支撑各类上层应用的高效应用。至此,数据中台能力逐渐显现。 2)构建知识图谱 基于数据中台的典型应用是知识图谱构建,例如设备全景图谱和设备拓扑图谱都是基于数据仓库构建。在知识图谱的支撑下,再赋能数据应用,实现精确计算停电范围等智能应用。 以计划性停电工作为例,国网省公司将电网相关设备的拓扑图以知识图谱的形式进行了存储、表示,定义了实体类型、属性、关系等,根据需求和现有数据,共设计了15类实体、16种关系、68个属性,通过从不同来源、不同结构的数据中进行知识抽取,形成知识存入知识图谱,服务于诸如停电范围自动计算电力行业实际工作。 在该知识图谱中,国网省公司利用图计算在“图”上通过深度检索、广度检索、最短路径检测以及停电模式相关的数据挖掘,实现了对停电范围的自动检测。工作人员只需输入需要计划性维护、排故的台区,根据设备依赖关系即可自动分析停电范围与受影响的台区,精确计算出停电范围。与传统的人工手工对照CAD一次接线图以及范围影响分析的方法相比,大大节省了所花费的时间,同时也提高了分析的准确性。 在精确计算出停电范围后,国网省公司基于语音技术进一步搭建的语音短信下发系统可提前通知台区内的小区居民停电检修时间。 通过整条链路的打通,国网省公司大幅缩短了从停电范围计算到短信下发的时间,实际解决了供电公司配网、调度过程中的重复劳动、效率低下问题,打通了各业务部门的业务系统。 数据中台和知识图谱平台上线后,截止目前,明略科技协助国网省公司一共打通了136个业务系统,接入了6300多张报表,2800多亿条数据。 未来,国网省公司会将更多业务系统打通,同时接入更多实时数据,建设实时数据仓库,进行更多数据创新应用探索。 3.数据智能应用趋势展望 3.1知识图谱推动非结构化数据价值挖掘 企业以往的数据智能应用大多是基于大数据技术,对结构化数据进行分析和挖掘,在金融、营销等数据基础设施比较完善的行业迅速落地。 然而,企业所拥有的数据中,70%为非结构化数据,包括图片、视频、文档等。未来,5G、物联网等技术的加速落地也会催生更多的非结构化数据。对非结构化数据的价值挖掘是数据智能应用需要解决的问题。 非结构化数据的处理技术门槛更高,需要应用机器学习、知识图谱、NLP等技术。其中,知识图谱技术可以实现从海量非结构化数据中抽取结构化知识,有效推动非结构化数据的应用。尤其是知识密集型行业中,知识图谱可以将复杂的知识领域及知识体系通过数据挖掘、信息处理、知识计量和图形绘制显示出来,是企业知识运营的重要支撑。 未来,企业将针对非结构化数据搭建和优化底层数据架构,同时,融合知识图谱、机器学习等技术,挖掘非结构化数据的价值赋能企业业务。 筑森设计基于非结构化数据中台赋能知识运营体系 筑森设计是一家位于行业前列的建筑设计公司,总部位于常州,是新城集团的子公司。 对于建筑设计公司来说, 知识的运营和传承至关重要。新员工入职后通常需要经过专门培训才能上岗,企业需要知识运营系统帮助新员工自主学习,了解此前的优秀建筑设计是如何完成的,以提高企业内部生产力。 目前筑森设计的知识库类应用是独立的知识门户类系统,比较封闭,且与生产系统脱节。该知识库内的内容来源大多依赖于人工整理、手动上传等方式,造成了知识库运营的压力较大,且传播、推广的知识没有针对性,新员工无法有效学到有实际意义的知识。也有很多企业对图纸进行加工,加上一些文字描述或者文案以提供指导性意见和技术要点,实现知识运营。但这类知识运营不仅工作量大,而且对于负责知识运营的人员的水平和要求非常高。同时,仅仅对图纸进行标注无法完全还原设计全过程。 筑森设计的核心业务系统为北京理正协同设计系统,是图元级的二维协同设计系统,能与工作流系统协同,实现图纸的质量控制和追踪。该系统所管理的对象是项目图纸及相关资料,其中的设计文稿、标杆项目的设计过程,都是宝贵的数字资产。如何基于协同设计平台中的数字资产实现知识运营,有针对性、指导性的进行专项知识输出是筑森面临的一大难题。在此背景下,筑森联合爱数建设其知识运营体系,以期还原设计的生产过程,实现高效的知识运营。 上海爱数信息技术股份有限公司是一家大数据基础设施提供商,致力于为政府、公共事业及企业数字化转型赋能。爱数基于AnyShare Family 7帮助筑森搭建其知识运营平台。 知识运营系统需要还原整个生产过程,具备思路还原的能力,核心在于两方面。第一是要还原设计关键点,例如需要记录设计师易犯错误的环节、常犯错误的版本更新与迭代等;第二是还原设计过程,需要记录协同设计平台每个元数据的属性和相互的依存关系。 爱数打造知识运营系统,将其与北京理正协同设计平台进行对接。筑森的设计人员每天在协同设计平台上产出大量的设计图纸,这些设计图由大量的dwg小文件组成,知识运营系统需要“抓取”这些dwg文件的属性及依赖关系,并同步写入AnyShare Family 7元数据引擎中,记录它们之间的关系从而记录整个协同设计的过程。例如,平台可显示设计师在项目周期中的某个点犯了什么错误,在后期的工作中要注意哪些问题。爱数将筑森设计在项目设计过程记录并“转化”为宝贵知识,开放给知识库应用,将这些来源于生产的“经验”转化为知识,借助知识库应用对这些知识进行有针对性、有借鉴意义的知识运营。 AnyShare Family 7具备两个独特的优势。一是由爱数非结构化数据中台所提供的AnyShare Family 7集群NAS功能可以面向业务系统提供存储空间,替代理正协同设计系统将数据存放于服务器本地硬盘上,在保障数据安全的同时考虑未来数据量爆炸增长带来的挑战,构建属于筑森的企业内容总线。基于分布式存储,爱数AnyShare Family 7可较容易地实现扩容、升级、数据迁移,甚至用户都不需要数据迁移,未来只需要搭建应用系统。 二是AnyShare Family 7具有元数据引擎,元数据引擎具有对接功能,主要通过API形式与筑森设计协同设计系统对接。系统抓取海量dwg文件之间的“依存关系”并记录于AnyShare的元数据引擎中;同时,元数据引擎能够对元数据进行加工,增加元数据的注释性内容。根据实际知识运营工作中遇到的“新增需求”,可以新增更多维度的元数据,实现有针对性、有指导性的知识运营体系,将“设计过程”记录并存储,实现非结构化数据的结构化管理。 在传统模式中,新员工可能经过数月的培训才能正式接手工作,基于爱数非结构化数据中台解决方案,首先,筑森构建了围绕知识数据的内容管理平台,打通各个子业务系统,实现内容统一管理,知识统一运营,实现从项目管理、设计协同、图纸出版到最后项目归档的内容知识流转复用; 其次,为筑森设计打造端到端知识运营体系架构,还原优秀项目设计过程、传递成功经验、赋能一线设计人员,使得原线下、脱离项目实际情况的的知识运营体系转变为线上、连接业务、复制真实项目成功经验并进行传播的知识运营体系,同时,筑森可以根据相应的用户开放不同的查看权限,员工可以自主学习,相比于传统知识运营,更具有指导性的意见,有效提高人员生产力,可以极大减少从培训、学习到上岗的时间周期。其他的日常设计师也可以对自己不足的知识点查询补漏。 最后,由于设计协同过程是基于项目管理进行的,筑森可跟着项目进度实现知识运营,项目完结即自然形成项目设计知识资料,可供新项目参考复用,打造了灵活高效的业务流程和创新的商业模式。 未来,爱数将继续为筑森提升知识运营体系的优化。项目一期主要为理正协同设计平台做底层开发及企业内部体系梳理;二期规划中,筑森所有的应用系统数据都会迁移到AnyShare Family 7中,并应用知识图谱技术,实现以文搜图、以图搜文的功能;三期规划中,爱数会根据筑森的实际需求构建企业内部的数据湖,实现针对于非结构化数据的数据洞察,例如,过去筑森为客户进行土地竞拍设计时,都是基于日常经验和预算进行加价,但基于爱数数据湖的解决方案,系统可以通过海量非结构化数据分析,为筑森提供土地竞拍设计服务的时候提供指导性的意见。 3.2数据应用实时性需求不断提升 随着数据应用的深入,企业对数据驱动业务决策的实时性要求在不断提升,以实现更敏捷高效的业务运营,例如更及时的客户响应。而实时计算与流处理等技术的成熟,也帮助企业能在越来越多的场景提升实时性。 企业需要从技术和业务流程两方面进行实时性数据应用的落地。在技术层面,可以建立基于流处理和实时计算的数据仓库,保障实时监控环境;在业务流程方面,需要明确业务层面的实时性需求,并设计相应的实时指标,以便业务人员监控业务变化,并及时做出实时反馈与处理。 某头部券商实时数据中台,支撑上千实时业务指标监控 某头部券商国内拥有证券市场业务全牌照的一流券商,致力于“全面提升核心竞争力,打造具有国际竞争力的中国最佳投资银行”。但随着业务、技术的发展,该券商在内部流程和外部业务方面都面临着挑战,也提出了相应的数字化升级需求。 该券商此前已经建设了成熟的大数据平台。随着数据应用走向深入,众多金融机构开始探索实时数据大数据平台,其中,券商对此需求更为迫切。不同于银行的存贷业务,证券的实时数据都是客户交易数据,且证券单客户交易频率远高于银行,因此,券商需要快速处理事件和响应客户需求,对系统实时分析的要求高。例如,其中关键业务场景之一是异常交易监控,监控是否有扰乱市场秩序的大单,如疯狂下单、拉抬股价、打压股价,大单委托、超额委托、超额撤单等扰乱市场秩序、欺骗股民的行为。 在此背景下,该券商的业务体系需要向实时化迭代,提高响应速度和运营精细化程度,这对数据中台和业务系统提出了要求:支持高并发、高准确性、实时反馈等。过去该券商的数据处理与反馈都是以批数据计算为主,未来需要以流计算模式进行,以实现场景触发式服务,只要客户触发一项功能就会触发后面的整套流程。 这些业务需求也对IT团队的开发运维提出了新的要求。一方面,基于Flink流计算框架开发的门槛高,目前该券商开发模块上传至生产环境,包括流程控制、数据源适配等,大多都要靠写代码实现,开发周期长,且企业内部缺乏足够的研发人员;另一方面,基于Flink的系统运维监控难。不同于传统较为成熟的数仓和Hadoop的监控体系,流数据处理的延时、反压不适用于传统的监控逻辑,需要监控整套工作流的各环节作业,该券商以往通过研发人员写脚本实现相应的功能,但不够平台化。 因此,该券商需要借助精通Flink、技术能力强、能够提供实时计算技术支撑的外部厂商,构建实时数仓,为该券商搭建实时数据中台打好基础。同时,降低开发门槛,让更多的初级或中级开发人员甚至业务团队都能使用大数据平台,提升开发效率。 该券商选择与袋鼠云合作。袋鼠云是行业领先的数据中台服务商,致力于数字化基础设施建设。公司研发了云原生一站式数据中台PaaS“数栈DTinsight”,基于数据中台的理念和产品,帮助客户建设自主可控的企业数据中台和数据共享能力中心,挖掘数据价值,实现企业数智化转型。 “数栈DTinsight”具备天生云原生、自研核心引擎、金融级安全特性,覆盖数据源采集、离线计算、实时计算、数据挖掘、数据治理、数据资产管理、数据共享服务等整个数据中台生命周期,满足企业建设数据中台的多种需求;同时,兼容主流大数据平台,或基于自有计算引擎,可以快速完成大数据平台从0到1的搭建。 该券商实时数据中台项目分两期进行,一是实时数仓建设,二是大数据开发平台建设。 在实时数仓建设阶段,袋鼠云帮助该券商在前期制定标准、选择最终的技术栈,统一数仓建设的标准。基于数栈DTinsight帮助客户构建实时数仓,实时汇聚包含证券交易、融资融券、 个股期权等多个领域数据流,基于Flink技术提供实时数据源,推进企业UCM(统一客户模型)体系构建,快速响应各业务系统数据应用需求,实现全域用户状态实时感知,为上层的业务方提供基于客户状态的实时数据处理,帮该券商重构底层实时数仓,打牢实时数仓的根基。 在大数据开发平台建设阶段,该券商将基于袋鼠云的标准化产品数栈DTinsight开发模块,提高开发效率、数据资产管理效率,加强其开发管理能力。 基于实时数据中台,该券商在实时数据计算与监控、系统稳定性和开发效率方面都有了显著提升。 在实时数据的计算和监控效率方面,过往,该券商的数仓70%以上的指标计算都不能在三秒钟以内完成,基于数栈DTinsight平台不断优化,该券商可以解决大规模数据计算问题,在计算指标数量大幅增加的前提下,也可以实现在3秒内完成90%的指标计算。例如,该券商可通过流计算搭建实时的反洗钱和风控模型,针对柜台、APP的任何操作和用户行为系统可以马上给出结果并进行审批。若监控到用户交易异常,中央监控平台会即时出现弹窗,业务人员可及时处理;同时,也会有MOT、短信、A PP弹窗提醒,提醒员工或客户及时处理。 基于实时数仓,该券商的实时业务指标数量大幅增加。2018年该券商的业务只有几十个实时指标,从2019年至今,已有1000多个实时指标。例如, 客户中签新股后是否有缴款就是新增的实时指标, 投顾无需像过去一样不停地打电话询问客户是否已缴款,同时提升了企业运营效率和客户满意度。 在稳定性方面,在应用数栈DTinsight平台之前,该券商自行搭建数仓和Flink集群,但系统不稳定,不敢将关键应用迁移至实时数仓。在袋鼠云的技术支持下,该券商系统更加稳定,可以将类似反洗钱等重要应用都迁至实时数仓,支持企业的核心决策,系统报错率大幅降低。同时,数栈DTinsight平台的工程化更好,可以大规模使用。 在开发效率方面,数栈解决了研发标准化和研发便利化的问题。数栈DTinsight平台是基于开源技术框架的成熟商业化产品,该券商无需把时间花在复杂的流处理代码开发上,只需要关注业务逻辑及数据建模,通过SQL化开发,即可快速响应业务部门实时数据需求,实现实时开发的统一规范。基于数栈DTinsight平台,实时数据开发效率提升2倍以上,实时任务排错及解决时间减少80%,实时业务消费数据时效从秒级提升到毫秒级。 目前该券商所有的客户数据都已经实时化。未来,在业务层面,该券商要实现产品数据、公司经营数据实时化,以消息流的模式驱动公司业务,甚至实现实时化决策;在技术层面,该券商正在努力实现批流一体化,以一套代码实现批处理与流处理。 3.3数据应用走向平民化 随着数字化转型的推进,企业数据应用场景将不断拓展,且数据服务需要快速响应日益增长的业务需求,要求数据应用走向平民化。 一方面,数据应用不仅限于服务决策层,还要服务大量的一线业务人员和数据分析师。另一方面,更多业务人员需要参与到数据开发工作中,实现自助式的数据服务,以提升效率。在这样的需求之下,敏捷BI、数据科学与机器学习平台等可以降低数据开发和使用门槛的技术应用的价值凸显。 3.4领先企业走向产业赋能 越来越多的行业头部企业正在成为数据智能应用的行业领先企业。这些企业一般处于产业链中的核心地位,对产业链的掌控能力强,不仅具备较强的技术能力,还拥有更多场景的数据沉淀。这些领先企业不仅在自身业务中应用数据智能,也逐步将能力向外输出,有机会服务于上下游企业。 对于企业而言,赋能产业链上下游,构建数字化生态,一方面能持续通过数据智能的能力强化企业在行业内部的竞争壁垒;另一方面,也能逐步实现自身商业模式的升级。例如,传统零售企业可以通过数据智能的应用与对外赋能,逐步转变为一家科技公司。 結論 随着新基建的政策落地和加速推进,各行各业在都加快数字化转型的步伐,数据智能已经成为企业驱动业务增长、寻求转型的主要支撑。企业数据爆发增长、海量集聚,建设数据中台以支持数据资产管理和数据智能应用,是大部分企业当下的必经之路。 但是,目前数据中台的建设和数据智能的应用仍在探索初期,在技术与产业方面仍然面临着诸多挑战。在技术方面,5G、人工智能、物联网等技术技术融合度较低,与数据智能结合应用的成熟度还不足;在产业方面,目前仅有部分行业的部分场景实现数据驱动业务,仍有大量行业需要进一步加强业务的数字化改造,探索更加广泛的数据智能的应用场景。 未来,数据智能的应用不再仅限于部分企业内部。随着技术成熟和产业发展,数据智能的应用场景会逐步从企业自身应用拓展至全产业链的业务协同,这不仅需要产业上下游共同协作、统一标准、开放数据与场景,还需要行业中具有技术与产品领先性的优秀数据智能厂商,共同赋能,将成熟的数据智能产品与解决方案应用于多行业多场景,推动产业智能。 |
>>: 画像も感情を伝えることができるのでしょうか?ロチェスター大学のチームが新しいコンピュータービジョンのタスクを提案
米国現地時間3月14日、マイクロソフトの研究者らは、人間と同等の精度でテキストを翻訳できる人工知能を...
人工知能などの新興テクノロジーには、マーケティング上の約束が実際の成果を上回らないようにすることと、...
組織は、全員を関与させれば、AI を活用してビジネスを成長させることができます。人工知能への投資は、...
クラウドコンピューティング、ビッグデータ、人工知能という言葉は誰もが聞いたことがあると思いますが、こ...
人工知能は万能のように思えますが、実際には人工知能に代替できない職業も数多くあります。 HSBCは銀...
人工知能や機械学習 (AI/ML) をトレーニングするために現実世界のデータを収集することは、時間が...
市場調査会社オムディアの最新の調査レポートによると、モノのインターネットの「誇大宣伝サイクル」のピー...
効率性、俊敏性、生産性に対する需要が高まるにつれ、新しいテクノロジーとアプリケーションが、企業と企業...
この分野の専門家は、AI技術が従業員に大きな変化をもたらし、企業のビジネスのやり方を変えていると述べ...
ジェミニが世論に大騒ぎを引き起こした後、ピチャイ氏の辞任を求める声があらゆるところで聞かれた。過去 ...
シェルソート(縮小増分法)は挿入型ソートに属し、順序付けられていないシーケンス全体をいくつかの小さな...
今日、人工知能はもはや漠然とした研究室の技術ではなく、私たちの生活のあらゆる側面に組み込まれています...
現代の IT 環境では、サイバー脅威がますます顕著になっています。サイバーセキュリティとその製品にお...
この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転...
データの保存方法は、生物学的ニューラル ネットワークから人工ニューラル ネットワークへと変化しており...