机器学习——数据预处理

在使用机器学习与数据挖掘算法时，通常要预先对数据进行预处理，下面整理一下常用的数据预处理方法：

数据归一化：

数据标准化（归一化）处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。以下是两种常用的归一化方法：

一、min-max标准化（Min-Max Normalization）

也称为离差标准化，是对原始数据的线性变换，使结果值映射到[0 - 1]之间。转换函数如下：

其中max为样本数据的最大值，min为样本数据的最小值。这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。

二、Z-score标准化方法

这种方法基于原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据符合标准正态分布（前提是原始数据服从正态分布，且用样本的均值和方差近视原始数据的均值和方差），即均值为0，标准差为1，转化函数为：

其中为所有样本数据的均值，为所有样本数据的标准差。

三、Mean Normalization(均值归一化):

用     替换   使特征的均值近似为0（但是不对   处理），均值归一化的公式是：

            

其中   可以是特征的取值范围（最大值-最小值），也可以是标准差(standard deviation).

对于房价问题中的两个特征，均值归一化的过程如下：