挖掘建模概述

1、概述

1.1数据挖掘的基本任务

基本任务包括分类与预测、聚类分析、关联规则、时序模式、偏差检测、智能推荐等方法，通过完成这些任务，发现数据的价值，指导商业抉择，带来商业新价值。

1.2 数据挖掘建模过程

1.2.1定义挖掘目标

一般可以分为三类：把握趋势和模式、预测或分类、求最优解

1.2.2 数据取样

常见的抽样方法包括：随机抽样、等距抽样、分层抽样、顺序抽样、分类抽样

1.2.3数据探索

这一步考虑的是数据集的数量和质量能否满足建模的要求。包括数据质量分析和数据特征分析

[if !supportLists]（1）[endif]数据质量分析就是检查原始数据中是否存在缺失值、异常值（离群点）、不一致的值、重复数据及含有特殊符号（如#￥@等）的数据。

[if !supportLists]（2）[endif]数据特征分析包括分布分析、对比分析、统计量分析、贡献度分析、相关分析和周期性分析等。

分布分析：定量数据可做频率分布图，直方图、茎叶图；定性数据可用饼图、条形图

1.2.4数据预处理

主要包括数据清洗、数据集成、数据变换和数据规约。

[if !supportLists]（1）[endif]数据清洗：数据清洗主要是删除原始数据集中的无关数据、重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值和异常值等。

缺失值主要的处理方式为：删除记录、数据插补和不处理；

异常值主要的处理方式为：删除异常值、视为缺失值、平均值修正、不处理

（2）数据集成：就是将多个数据源合并存放在一个一致的数据存储（如数据仓库）中的过程。在进行数据集成时要考虑实体识别问题和属性冗余问题。实体识别：同名异义、异名同义、单位不统一；冗余属性识别：同一属性多次出现；同一属性不同命名；

（3）数据变换：对数据进行规范化处理，将数据转换为合理形式，以适应后续挖掘任务和算法。常用规范化：最小最大规范化，零-均值规范化

（4）数据规约：产生更小单保持元数据完整性的新数据集，使得后续的数据集在进行分析和建模时更有效率。包括属性规约和数值规约两个方面。

属性规约：通过属性合并创建新属性或者直接删除不相关的属性常用方法包括：①合并属性②逐步向前选择③逐步向后删除④决策树归纳⑤主成分分析，其中②③④属于直接删除不相关属性，⑤是一种用于连续属性的数据降维方法

数值规约通过选择替代的、较小的数据来减少数据量，包括①参数方法：回归，线性模型②无参数方法：直方图、聚类、抽样

1.2.5挖掘建模（这步是关键）

包括分类与预测算法、最优化决策问题

（1）分类与预测算法：回归分析，决策树，人工神经网络、贝叶斯网络、支持向量机

（2）最优化决策问题：

a.精确式求解方式：单纯形法、分支定界法、列生成法、割平面法、动态规划法等

b.启发式方法：进化算法、粒子群算法、模拟退火算法、邻域搜索算法等

1.2.6 模型评价

对于分类和预测模型，有一些常用的指标用来评估，当然，为说明模型的效果，一般是训练集和测试集进行分离，在没有参与模型建立的测试集上进行模型的评价。

评价指标一般包括：相对/绝对误差，平均绝对误差、均方误差、均方根误差等。

对于一些分类问题，可以通过识别准确度、识别精确率、反馈率、ROC曲线、混淆矩阵等方式进行评估。