Analysys OLAP アルゴリズム コンペティションの結果が発表され、オープン ソース グループのダーク ホースがその腕前を披露しました。

100日間以上にわたる激しい競争では、国内トップクラスのテクノロジー企業40社以上が競い合い、競争は社内R&Dテスト、正式な環境でのテスト、Analysys Dataの正式な環境でのベンチマークという3つの段階を経ました。 10 月 28 日に、iResearch OLAP アルゴリズム コンペティションの優勝者が発表されました。

40以上の技術競技

iResearch OLAP コンテストは、国内のアルゴリズム コミュニティにおける「格闘技大会」とも言えます。ヒーローの募集が開始されると、主要なインターネット テクノロジー スクールから積極的な応募が集まりました。

このイベントには、美団点評、アリババクラウド、小米、聯家、捜狗、iFLYTEK、中国聯合通信、元速データ、楽江、AggreData、GBase、Kyligence、PingCAP、LinkDoc、iflytek、hulu、上海瑞民、麗雲データ、潤前、帆螺ソフトウェア、美鼓音楽、杭州大速科技、上海奎志、千頂インターネット、北京建科クラウドネットワーク、広州ベクトル線科技、楽翔天下、牛板科技、北京郵電大学、北京交通大学など、40社以上の有名企業、研究機関、個人が参加した。

6人の新たなアルゴリズム王が登場

この Analysys OLAP アルゴリズム コンペティションは、商用グループとオープン ソース グループの 2 つのグループに分かれています。登録は 7 月に開始され、ベンチマークは 10 月に公式環境で実行されます。数多くのテストを経て、最終的に 6 つの新しい Analysys OLAP アルゴリズム チャンピオンが選出されました。

商業グループトップ3:

***名称：PingCAP

PingCAP は中国初の新しいオープンソース データベース企業です。同社の製品である分散型高可用性データベース TiDB は、水平拡張をサポートし、MySql と互換性があり、分散トランザクションをサポートしています。ビッグデータ時代の理想的なデータベース クラスターおよびクラウド データベース ソリューションの 1 つです。このコンテストでは、PingCAPは自社開発のマジックエンジン、多層パイプライン、インテリジェント並行性などの技術を駆使し、最速の速度でデータを総当たりスキャンし、優れた計算結果を達成し、ビジネスグループで1位を獲得しました。

2位: ファンルアンソフトウェア

Fanruan チームは、このコンテストで Fanruan が独自に開発したダイレクトコネクト分散エンジンを使用しました。分散ストレージ システムは Alluxio と HDFS をベースとし、列指向ストレージ ソリューションを採用し、Spark を基盤とし、ストリーミング コンピューティングに基づいており、高性能クエリ アルゴリズムによって補完され、直接接続エンジンに強力なクエリ サポートを提供します。数十億のデータと多次元の複雑なシナリオに直面した場合、直接接続分散エンジンは、順序付けられたファネル計算の効率と精度を大幅に向上させることができます。

3. Gベース

GBase は今回のコンテストで自社製品である GBase 8a MPP Cluster を使用しました。 GBase 8a は行と列の混合ストレージを使用し、PB レベルを超える構造化データを処理できます。同時に、高度なデータ圧縮アルゴリズムを使用して、IO パフォーマンスを効果的に向上させます。データ処理には、完全に並列な MPP + Share Nothing 分散アーキテクチャが採用されており、高い同時実行性をサポートしているため、順序付けられたファネルのリアルタイム コンピューティングがより効率的になります。

Analysys OLAPアルゴリズムコンペティションビジネスグループ表彰式

オープンソース グループのトップ 3:

***氏名: 広州ベクターラインテクノロジーの Wei Wan と Li Benwang

オープンソースグループの競争では、Wei Wan 氏と Li Benwang 氏は異なるアプローチを取り、他の人から学ぶために北へ向かいました。私たちは、中国ではあまり知られていないロシアのオープンソースソフトウェアであるClickHouseを使用してコンテストに参加します。 ClickHouse の強力な分析パフォーマンスと柔軟なアーキテクチャを活用することで、クラスター間のノードの計算を完全に並列化できると同時に、基盤となるストレージと上位層の計算の詳細を最適化し、CPU キャッシュ、ベクトル化された実行、特定のアルゴリズムの最適化の可能性を活用できます。タイムリーさと正確さにおいて優れたパフォーマンスを発揮した Wei Wan 氏と Li Benwang 氏のチームは、このコンテストのダークホースとなり、オープンソース グループで 1 位を獲得しました。

2位：美団点評の孫野睿

Meituan Dianping チームは、自社のビジネス上の優位性と経験に基づいて、このコンテストの問題解決のアイデアを考案しました。私たちは、ビットマップ高速フィルタリングとタイムスタンプシーケンスマッチングアルゴリズムを使用し、Apache Spark や Alluxio などのオープンソースフレームワークを使用してそれらを迅速に実装しました。また、一連のエンジニアリング最適化手法を使用して、毎日数百億のログと数百万の属性を持つデータセットに対して、順序付けられたファネルの 2 次レベルのクエリを実現しました。 iResearch の公式データ環境では、Meituan-Dianping チームは 26 億のデータ ポイント、400 万人のユーザー、数十の属性を使用して高速クエリを実現しました。

3位：北京郵電大学の呂月凱さん

iResearch OLAP アルゴリズム コンテストには、名門コンピューター サイエンス大学からの個人参加者も集まりました。北京郵電大学の大学院生 Lu Yuekai 氏は、ストレージとして HDFS を使用し、データの前処理とコア フィルタリング アルゴリズムとして Spark を使用しました。最長増加部分列の保存と更新のアイデアを利用することで、各ユーザーのコンバージョン率を見つけるための時間計算量が 0(n) に削減され、ファネル計算の効率が向上します。

[[208145]]

オープンソースグループAnalysys OLAPアルゴリズムコンペティション表彰式

オープンソースグループ：10万元の現金報酬

iResearch OLAP コンテストでは、各グループの上位 3 チームに認定証が授与されます。オープンソース グループの 1 位には、UCloud から 10 万元の賞金も提供されます。報道によると、Wei Wan氏とLi Benwang氏はオープンソースグループで1位を獲得した後、自身の会社を登録し、アルゴリズム技術のより深い研究と実装を行う予定だという。

オープンソースグループ1等賞10万元現金授賞式

競争システムの公平性は価値がある

2017 年の Analysys OLAP アルゴリズム コンペティションでは、「Ordered Funnel」のリアルタイム コンピューティング効率と精度において画期的な結果が達成されましたが、これは Analysys の膨大なデータ サポートと UCloud の強力な技術サポートと切り離せないものでした。

UCloud は常に Analysys の良きパートナーです。このコンテストでは、UCloud は参加チームすべてに安定した基盤となる IT コンピューティング リソース サービスを提供しました。コンテストは、16 コア、16G メモリ、300G SSD データ ディスク ハードウェアを備えた 4 つの UCloud クラウド ホストを備えた環境で開催されました。競技中、8つの異なるシナリオが与えられ、同時に計時が開始されます。各シナリオの実行時間は8分以内で、8つのシナリオの合計競技時間は1時間以内です。これは、さまざまなシナリオでの参加チームのリアルタイム計算精度と時間効率を検査するためです。各シナリオには、イベントの数、イベントの複雑さ、イベントの属性、時間ウィンドウのサイズなどに基づいて、異なる重みが割り当てられます。合計スコアは、単一のシーンの合計にそのシーンの重みを掛けたものです。 8 つのシナリオのうち、実行時間が最も短く、精度が最も高いチームが勝利します。公式データ環境の開始時には、競技結果の品質を確保するためにプロセス全体が記録されます。

iResearch A10 サミットの重要なプロジェクトである OLAP アルゴリズム コンペティションは、技術系のダークホースが才能を発揮するプラットフォームを提供するだけでなく、より多くの技術系人材と業界にとってより優れたソリューションを発見するのにも役立ちます。テクノロジー分野の「Bo Le」として、世界にさらに多くの「ダークホース」を見せることで、iResearch はビッグデータ アプリケーションのイノベーションの推進に尽力しています。今後、iResearch OLAP コンペティションの成果は、データ製品の研究開発に活用され、技術応用の観点から「データ活用」を実践していきます。