数学建模之数据预处理-------数据异常值的处理

1.数据集成：把不同类型的数据转换成统一的类型；，即格式的统一化；

2.数据规约：包括数据降维，降数据，数据压缩

当不同数据相关性很大时，我们采用降维的方法；当数据的相关性很小时，我们采用降数据的方法

数据降维的主成分分析即PCA，如上图所显示的那样，即旋转坐标轴，x轴上的数据波动范围比较大，而y轴上数据的波动范围比较小，我们便把二维降成一维。

降数据主要采用分层抽样，简单随机抽样；

数据压缩包括压缩感知，图像压缩；

3.数据清洗

数据删除，数据插值（拉格朗日，牛顿插值）最近邻插值（某地势山的高度缺失），线性回归插值，异常数据（必须删除，用平均值，插值代替）

4.数据规划

包括归一化，标准化，线性变换。

二.缺失值的处理

拉格朗日插值法，一维插值，二维插值；

两个不同的函数mesh,meshc第一个是绘制曲面，第二个是绘制带有等高线的。

区别：interp2主要处理的是巨均匀排列的数据，griddata主要处理的是波动起伏比较大的数据。

三.异常值的处理

必须用科学的方法说明该数据异常，主要有正态分布3σ原则，箱型图

3σ代码完成后，输入inlier便可以得出删除异常值之后的数据，因为符合该原则的数据被录入inlier.

2.画箱型图是用boxplot函数

boxplot函数在使用时，需要对矩阵进行转置的操作，即把他化作列向量。

上面的案例是XY的数据相同时的处理方法

这个是XYZ数据量不相同时的处理方法。。

四.数据变换

我们一致的处理原则是极大型（利润），极小型指标（垃圾，污染程度，科研经费），中间型指标（水的PH值），区间型指标（一个学校里老师，学生的比例，体温的范围，水里面植物营养物质的含量）区间性指标需要进行转置变换；这些数据指标。可能有越大越好，也有越小越好，我们需要统一指标。无量纲化处理可以去除单位对于我们最后结果的影响。

极小型指标（可以进行取倒数的操作，得到我们想要的），标准差方法的取值范围不固定，极值差方法（可以变到固定范围，但容易受极大值，极小值的影响）功效系数法（可以变换到我们所需要的范围）----这三种方法均可以取消量纲。

定性指标的量化------不同人的等级评价-----构建模糊隶属函数。