数据质量分析

在数据分析和数据挖掘之前，我们首先要做的就是对数据进行预处理，将那些所谓的“脏数据”给去除掉，提高数据分析和挖掘的准确性和有效性。也就是说数据质量分析是数据挖掘和数据分析的重要开头。只有正确有效的数据才能挖掘出真正隐藏的信息。否则则会导致很严重的损失。说到数据预处理，他有多种方法，比如：数据清理，数据集成，数据变换，数据归约等。。其中数据清理主要指的是对原始数据集中的无关数据，重复数据，平滑噪音数据，筛选掉与挖掘主题无关的数据，处理缺省值，异常值等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。

我们再处理缺失值的时候，一般有三种方法：

①删除记录
②数据插补
③不处理


        其中删除记录这种方法最有效，但有很大的局限性，它以减少了历史数据为代价来换取数据的完备，这样会造成资源的大量浪费，也可能丢弃了大量隐藏在这些记录里面的信息，特别是在数据集本来就少的情况下，这种方法会严重影响到分析的客观性和正确性，失去了数据挖掘的意义。因此在大多数情况下，我们一般要使用算法对原始数据集中的那些缺失值进行插补，常用算法有拉格朗日插值和牛顿插值法。但在一般情况，有一些模型可以将缺失值视为一种特殊的取值，允许直接在含义缺失值的数据上面进行建模。


      在处理异常值的时候，最简单粗暴易行的方法就是直接删除异常值的纪律，但同时缺点也很明显，在数据集本来就少的情况下，不但会严重造成数据样本量不足，影响到分析的客观性和正确性，也很有可能改变变量的原有分布，对分析结果产生一定误差。比较好的方法就是利用现有变量的信息，对异常值进行填报，我应该首先分析异常值出现的原因，再判断异常值是否应该丢弃，如果是正确的数据，那么我们就可以直接在这些异常值的数据值上进行挖掘建模。

其中那些“脏数据”有
1.缺失值
2.不一致的值
3.重复数据，以及含有特殊符号（如#，*，¥等）的数据
4.异常值
5.高维度 

产生“脏数据”的原因：

来源比较多，比如数据采集设备出现故障，存储介质，传输媒体等的故障，人为的输入错误或理解错误导致的。
异常值分析：
异常值也称为离群点，异常值分析也称为离群点分析，这个有的时候和我们以前说的极值类似，他会严重影响我们分析，比如平均值。

（1） 简单统计量分析

           首先对变量做一个描述性分析，查看那些不合理的数据。这个时候我们可以通过最大值，和最小值来大体判断，也就是极值。比如说一个人的      身高是450cm,这个肯定就是异常值。
（2）3σ原则

           这种方法，多是该数据服从正态分布，在该原则下，异常值被定义为一组测定值中与平均值的偏差超过三倍标准差的值。在正态分布下，距离          平均值3σ之外的值出现的概率为
       P(|x-μ|>3σ)<=0.003，属于极个别的小概率事件。

(3)箱形图分析

               箱形图又称盒须图，盒式图，或箱线图，是一种用作显示一组数据分散情况资料的统计图，常用于品质管理。箱形图提供了识别异常值的标            准：异常值通常被定义为小于QL—1.5IQR或大于QU+1.5IQR的值。其中QL称为下四分位数，表示全部观察值中有四分之一的数据比它小；QU            称 为上 四分位数，表示全部观察值中有四分之一的数据值比他大；IQR称为四分位数间距，是四分位数QU和QL的差值，期间包含了全部观察值          的一半。

数据特征分析：

我们可以通过对数据进行质量分析后，绘图制表，计算特征值等手段进行数据的特征分析。分布分析能够揭示数据的分布特征和分别类型。如果我们想了解一些定量的数据的分布形式是对称的还是非对称的，存在一些极值，我们就可以做频率分别直方图，频率分布表，绘制茎叶图等进行直观分析。对于那些定性数据，可以做扇形图（饼形图）和条形图来直观的显示分别情况,通过图表可以很方便的观察出来。

定量数据的分布分析方法：

步骤：
（1）求出极值，计算极差
（2）决定组距和组数（绘制频率分析时的关键）
（3）决定分点
（4）制出频率分别表
（5）绘制频率分布直方图

遵循原则：
（1） 各组之间必须是相互排斥的
（2） 各组必须将所有的数据包含在内（不包含“脏数据”）
（ 3） 各组的组宽最好相等，这样便于观察。

对比分析
顾名思义，对比分析就是把两个相互联系的指标进行比较，比较适合用于指标间的横纵向比较，时间序列的比较分析。对比分析有一下两种分析形式：

（1）绝对值比较
（2）相对数比较

第一种是利用绝对数（通常反映了一定时间，地点条件下的规模，水平，带有各种单位，比如某个区域的粮食总产量，，社会消费品零售总额等）进行对比，从而寻找差异的一种方法。第二种利用相对数（通常是指以增幅，增长速度，指数，倍数等表现形式出现，比如各类价格的指数，GDP增长率，相对数一般都是对绝对数进行加工后取得的）比较，用来反映客观现象之间数量联系程度的综合指标。相对数有可以分为以下几种：（1）结构相对数（2）比例相对数（3）比较相对数（4）强度相对数（5）计划完成相对数（6）动态相对数）

集中趋势度量
（1）均值 （2）中位数 （3）众数

离中趋势度量
（1） 极差
（2） 标准差
（3） 变异系数 

它是度量 标准差相对于均值的离中趋势，主要用来比较两个或多个具有不同单位或不同波动幅度的数据集的离中趋势。


(4)四分位数间距

四分位数中间包含了全部观察值的一半，其值越大，说明数据的变异程度越大，反之变异程度越小。

周期性分析
周期性分析是探索某个变量是否随着时间变化而呈现出某种规律性变化。比如对用电量的预测。这个时间尺度有长，有短。长的有季节性周期性趋势，短的有周度周期性趋势等。

贡献度分析
贡献度分析又称为帕累托分析，他的原理是帕累托法则又称20/80定律，为什么称为20/80定律，因为对于一个公司来说，80%的利润来自20%最畅销的产品，而其他80%的产品只产生了20%的利润，表示把相同的投入成本放在不同的对象就会产生不同的效益。

相关性分析
（1） 直接绘制散点图
（2） 绘制散点图矩阵

计算相关系数
（1） Person相关系数




（2） Spearman秩相关系数

 
Person线性相关系数要求连续变量的取值服从正态分布，不服从正态分布的变量，分类或等级变量之间的关联性可采用Spearman秩相关系数，也可以成为等级相关系数来描述。
Ri代表xi的秩次，Qi代表yi的秩次。

（3） 只要两个变量具有严格单调的函数关系，那么他们一定是完全Spearman相关，Person相关只有在变量具有线性关系时才完全相关的。在正态分布下Person相关系数和Spearman秩相关系数在效率上面是等价的，但对于连续测量的数据，更适合Person相关系数进行分析。

判定系数

判定系数是相关系数的平方，r^2 来表示，一般用来衡量回归方程对y的解释程度，它的取值范围是0<=r^2<=1，当它越接近1表明x与y的相关性越高，接近0的话表示两个变量之间几乎没有相关性。