通过检验数据集的数据质量、绘制图表、计算某些特征量等手段，对样本数据集的结构和规律进行分析的过程就是数据探索。

1 数据质量分析

数据质量分析的主要任务时检查原始数据中是否存在脏数据，脏数据一般指不符合要求，以及不能直接进行相应分析的数据。脏数据包括以下内容：
□缺失值
□异常值
□不一致的值
□重复数据以及含有特殊符号（%，#）的数据

1.1 缺失值分析

（1）缺失值的影响
数据建模丢掉大量有用的信息，模型中蕴含的规律更难把握。包含空值得数据会使得建模过程陷入混乱，导致不可靠的输出。
（2）缺失值分析
统计含有缺失值属性的个数，以及每个属性的未缺失数。缺失数与缺失率等。从总体上说，缺失值的处理分为删除存在的缺失值的记录、对可能值进行插补和不处理三种情况。

1.2 异常值分析

异常值分析师检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，对结果产生不良影响，重视异常值的出现，分析其产生的原因，常常成为发现问题进而改进决策的契机
异常值指的是样本中的个别值，其数值明显偏离其余的预测值。异常值也称为离群点，异常值分析也称为离群点分析。
（1）简单统计量分析
先对变量做一个描述性的统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值。比如年龄属性中的最大值为199，则该变量取值异常。
（2）3σ原则
如果数据服从正太分布，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。如果数据不服从正太分布，也可以用远离平均值的多少倍标准差来描述。
（3）箱型图分析

1.3 一致性分析

数据不一致，来源不同或者其他方式导致的数据不一致

2 数据特征分析

对数据进行质量分析以后，接下来可以通过绘制图表、计算某些特征量等手段进行数据的特征分析。

2.1 分布分析

分布分析揭示数据的分布特征和分布类型。
定量数据：绘制频率分布图，频率分布直方图来直观分析分布形式是对称的还是非对称的，发现某些特大或特小的可疑值。
定性数据：可用饼图和条形图显示分布情况

1 定量数据的分布分析

区间左闭右开，纵轴为频率/组距

2 定性数据的分布分析

对于定性数据，常常根据变量的分类类型来分组，可以采用饼图和条形图来描述定性变量的分布。

饼图和条形图示例

2.2 对比分析

比如根据时间上来进行对比，对比不同部分在各个月份的销售额

对比分析

2.3 统计量分析

常从集中趋势和离中趋势两个方面进行分析。
平均水平反应个体集中趋势的度量，常用均值和中位数。反映个体离开平均水平的度量，使用较为广泛的是标准差，四分位间距

1集中趋势度量

2 离中趋势度量

2.4 周期性分析

2.5 贡献度分析

2.6 相关性分析

分析连续变量之间线性相关程度的强弱，并用适当的统计指标表示出来的过程成为相关分析。

2 计算相关系数

衡量线性相关：Pearson相关系数，Spearman秩相关系数和判定系数
（1）协方差就是两个样本分别减去均值，然后取平均===》E((x-E(x))(Y-E(Y)))
衡量了线性相关性，pearson相关系数就是对数据进行标准化之后的相乘

第二章 1-数据探索