数据挖掘笔记（1）——概论、类型

概论

定义

       海量数据  自动或半自动   有用规律

应用场景

       不能清晰地定义问题

       数据是否有价值

       性价比是否合适

学习方式

       监督学习： 有分类和评价机制，如 Classification 、Numeric Prediction； 

       无监督误差：没有明确的分类和评价，如Cluster Analysis；

       半监督学习：通过对已有数据学习得出模型，再使用未知数据对该模型进行泛化，提高其覆盖范围。

数据挖掘与以下关系

知识发现：

    是知识发现的一部分

机器学习:

    属于人工智能，借助人的经验提高机器的智能

OLAP：

    和数据库结合紧密，偏统计分析； 而数据挖掘发现数据内部之间的关系，可以作为数据挖掘的验证手段；统计是基于假设对数据进行验证， 挖掘不知道自己发现什么。

CRM:

是数据挖掘的应用

数据仓库

可实现数据的预处理，和数据挖掘无必然联系

功能

预测

         有明确的类定义

Classification

        根据类定义判断未知数据属于那个类。类似于方程给出x求y值。

       类是有清晰定义，而且是离散的

        评价：准确度

Numeric Prediction

       预测数值而不是类，数据是连续的

        常用方法：回归分析

       某些分类技术也可用于数值预测，如 决策树、神经元网络方法等。

        评价：均方根误差

数据集使用方式：

        分成三块，一个是训练集（从该数据得出模型）；一个是调整集（对模型进行调整）；一个是测试集（判断模型是否准确）。其中训练集和调整集来自同一数据集，使用交叉验证、随机取样的方法进行划分，测试集是新数据

关联

Frequent Pattern

        目标数据中反复出现的联系，如频繁结构模式、频繁序列模式、频繁项集(销售)

       评价： 支持度： 联系在所有样本出现的比例， P(x Uy)；  置信度：联系在有一方出现时的条件概率   P(x | y)

分析

         没有明确的类定义

Concept Description

        从数据中发现一般特征，并根据这些特征定义概念

        数据特征化：对某一类数据特性的汇总，如什么是优质客户

        数据区分 ：目标数据的一般特性和非此类数据进行对比

Cluster Analysis

         将目标数据分成相似对象，没有类的定义，需要根据数据建立类

         相似性： 内部相似最大化； 类之间相似最小化

         评价：很难

         方法： k-mean； 基于密度估计

Outlier（离群点） Analysis

         与一般模型不一致的点，有可能是噪声和意外

         方法： 统计、距离、密度、偏差

         如果在NumericPrediction中多半认为是噪声，而如果该点比较重要，认为是意外

         评价：代价

       数据集：直接在数据集上构造模型

Trend Evolution Analysis

发现规律或趋势，包括数据流挖掘、时间序列挖掘、序列模式挖掘

       数据流： 对实时的数据流发掘，如摄像头

       时间序列：有时间特征，如股票趋势

       序列模式：如dna序列