データマイニングの基本概念と最も一般的に使用されるアルゴリズムについての簡単な説明

現在、国民経済と生活のあらゆる分野でビッグデータの理論と応用が盛んに行われています。ビッグデータの基本的な概念や特徴については、すでに多くの人が理解しています。しかし、ビッグデータを取得、保存、検索、共有するだけでは十分ではありません。ビッグデータの中にある未知の価値ある情報や知識を、どのように見つけることができるのでしょうか。

知識発見 (KDD) は、ビッグ データから有効で、斬新で、潜在的に有用で、最終的には理解可能なパターンを識別するプロセスです。

データマイニングは、ビッグデータにおける知識発見（KDD）に欠かせない部分であり、ビッグデータの理論と応用において非常に重要な部分です。データ マイニングとは、大量の不完全でノイズが多く、あいまいでランダムなデータから、暗黙的で未知だが潜在的に有用な情報や知識を抽出するプロセスです。ほとんどの人は、ケーススタディを通じてデータマイニングについて学びました。これは、ウォルマートがデータ分析を通じて、男性顧客がベビー用おむつを購入する際に自分へのご褒美としてビールを数本買うことが多いことを発見したため、ビールとおむつを組み合わせたプロモーションを開始しようとしたためです。予想外に、この動きにより、実際におむつとビールの両方の売上が大幅に増加しました。この話はおそらく嘘ですが、多くの人にデータマイニングに興味を持ってもらうきっかけとなりました。

データマイニングで最も一般的に使用されるアルゴリズムは次のとおりです。

（１）予測モデリング：既存のデータとモデルを使用して未知の変数を予測する。

• 分類は離散的なターゲット変数を予測するために使用される
• 連続的な目標変数を予測するための回帰

（２）クラスター分析：同じクラスターに属する観測値が、異なるクラスターに属する観測値と比較して可能な限り互いに類似するように、密接に関連する観測値のグループを見つける。

（３）関連分析（関係モデルとも呼ばれる）：あるものと他のものの間の相互依存性と相関関係を反映します。データ内の強く相関した特徴を表すパターンを発見するために使用されます。

（4）異常検出：他のデータとは特性が著しく異なる観測値を識別する。

データ マイニングは、分類、回帰、クラスタリング、関連分析に分けられることがあります。

データマイニングと機械学習は異なりますが、関連もあり、今後の記事で紹介する予定です。