数据预处理--归一化和标准化《菜菜机器学习sklearn笔记》
目录
引言：
数据不给力，再高级的机器算法都没用。
一、数据挖掘的五大流程：
1.获取数据
2.数据预处理
3.特征工程
4.建模，测试模型并预测效果
5.上线，验证模型效果
二、Sklearn中的数据预处理与特征工程
1、sklearn数据预处理和特征工程相关模块
2、数据预处理模块 Preprocessing & Impute
2.1 数据无量纲化
2.1.1数据归一化 preprocessing.MinMaxScaler
2.1.2数据标准化 preprocessing.StandardScaler
2.2 StandardScaler 和 MinMaxScaler 如何选择？
引言：
数据不给力，再高级的机器算法都没用。
sklearn中提供的数据都是比较完美的数据集；而在现实的数据集中，比平时学的数据集要差十万八千里。因此，我们有必要学习一下建模之前的流程，数据预处理和特征工程。
一、数据挖掘的五大流程：
1.获取数据
2.数据预处理
数据预处理是从数据中检测，纠正或删除损坏，不准确或不适用于模型的记录的过程。 可能面对的问题有：数据类型不同（比如有的是文字，有的是数字，有的含时间序列，有的连续， 有的间断。也有可能，数据的质量不行，有噪声，有异常，有缺失，数据出错，量纲不一，有重 复，数据是偏态，数据量太大或太小。 数据预处理的目的：让数据适应模型，匹配模型的需求
3.特征工程
特征工程是将原始数据转化为更能代表预测模型潜在问题的特征的过程，特征工程可以通过挑选最相关的特征，提取特征以及创造特征来实现。其中创造特征又经常以降维算法的方式实现。
特征工程的目的：1）降低计算成本，2）提升模型上限
4.建模，测试模型并预测效果
5.上线，验证模型效果
二、Sklearn中的数据预处理与特征工程
1、sklearn数据预处理和特征工程相关模块
sklearn中包含众多的数据预处理和特征工程相关的模块，sklearn六大模块中有两块都是关于特征处理和特征工程的，两个板块相互交互，为建模之前的全部工程打下基础
- 模块preprocessing：几乎包含数据预处理的所有内容
- 模块Impute：填补缺失值专用
- 模块feature_selection：包含特征选择的各种方法的实践
- 模块decomposition：包含降维算法
2、数据预处理模块 Preprocessing & Impute
2.1 数据无量纲化
无量纲化：将不同规格的数据转换到同一规格，或不同分布的数据转换到某个特定分布
例如梯度和矩阵为核心的算法中，逻辑回归、支持向量机、神经网络，无量纲化可以加快求解速度；而在距离类模型，例如K近邻、K-Means聚类，无量纲化可以帮我们提升模型精度，避免某一个取值范围特别大的特征对距离计算造成影响。
决策树和树的集成算法是特例，对决策树我们不需要无量纲化，决策树可以把任意数据都处理得很好。
数据的无量纲化可以是线性的，也可以是非线性的。
线性的无量纲化包括：
- 中心化处理（Zero-centered或者Mean-subtraction）
中心化的本质是让所有记录减去一个固定值，即让数据样本数据平移到某个位置 - 缩放处理（Scale）
缩放的本质是通过除以一个固定值，将数据固定在某个范围之中（取对数也算是一种缩放处理）
2.1.1数据归一化 preprocessing.MinMaxScaler
数据归一化(Normalization，又称Min-Max Scaling)：当数据(x)按照最小值中心化后，再按极差（最大值 - 最小值）缩放，数据移动了最小值个单位，并且会被收敛到 [0,1] 之间。
归一化之后的数据服从正态分布，公式如下：
注意区分 归一化 和 正则化
Normalization是归一化，不是正则化；正则化(Regularization) 不是数据预处理的一种手段
在sklearn当中，我们使用preprocessing.MinMaxScaler来实现数据归一化功能。
它有一个重要参数feature_range，控制我们希望把数据压缩到的范围，默认是[0,1]
from sklearn.preprocessing import MinMaxScaler
data=[[-1,2],[-0.5,6],[0,10],[1,18]]
#不太熟悉numpy的小伙伴，能够判断data的结构吗？
#如果换成表是什么样子的？
import pandas as pd
pd.DataFrame(data)输出：
#实现归一化
sclar=MinMaxScaler() #实例化
sclar=sclar.fit(data)#fit，在这里本质是生成min(x)和max(x)
result=sclar.transform(data)#通过接口导出结果
result
"""
输出：
array([[0. , 0. ],
[0.25, 0.25],
[0.5 , 0.5 ],
[1. , 1. ]])
"""
#训练和导出结果一步达成
result_=scaler.fit_transform(data) #训练和导出结果一步达成
result_
"""
输出：
array([[0. , 0. ],
[0.25, 0.25],
[0.5 , 0.5 ],
[1. , 1. ]])
"""#将归一化的结果逆转
scaler.inverse_transform(result)#将归一化后的结果逆转
"""
#输出
"""
array([[ 5. , 5. ],
[ 6.25, 6.25],
[ 7.5 , 7.5 ],
[10. , 10. ]])
"""#使用MinMaxScaler的参数feature_range实现数据归一化到[0,1]以外的范围中
data=[[-1,2],[-0.5,6],[0,10],[1,18]]
scaler=MinMaxScaler(feature_range=[5,10]) #实例化
result=scaler.fit_transform(data) #fit_transform一步导出结果
result
"""
array([[ 5. , 5. ],
[ 6.25, 6.25],
[ 7.5 , 7.5 ],
[10. , 10. ]])
"""当x中的特征比较多的时候，fit会报错并表示：数据量太大了我计算不了。此时使用partial_fit作为训练接口
scaler=scaler.partial_fit(data)2.1.2数据标准化 preprocessing.StandardScaler
数据标准化(Standardization，又称Z-score normalization)：当数据(x)按均值(μ)中心化后，再按标准差(σ)缩放，数据就会服从为均值为0，方差为1的正态分布（即标准正态分布），公式如下：
from sklearn.preprocessing import StandardScaler
data=[[-1,2],[-0.5,6],[0,10],[1,18]]scaler=StandardScaler() #实例化
scaler.fit_transform(data) #使用fit_transform(data)一步达成结果
"""
array([[-1.18321596, -1.18321596],
[-0.50709255, -0.50709255],
[ 0.16903085, 0.16903085],
[ 1.52127766, 1.52127766]])
"""
对于StandardScaler和MinMaxScaler来说，空值NaN会被当做缺失值
- 在fit的时候忽略
- 在transform的时候保持缺失NaN的状态显示
尽管去量纲化过程不是具体的算法，但在fit接口中，依然之允许导入至少二维数组，一维数组导入会报错。通常来说，我们输入的X会是我们的特征矩阵，现实案例中特征矩阵不太可能是一维所以不会存在这个问题。
2.2 StandardScaler 和 MinMaxScaler 如何选择？
看情况
- 大多数机器学习算法中，会选择StandardScaler进行特征缩放，因为MinMaxScaler对异常值非常敏感
- 在PCA，聚类，逻辑回归，支持向量机，神经网络这些算法中，StandardScaler往往是最好的选择
MinMaxScaler在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛，比如数字图像处理中量化像素强度时，都会使用MinMaxScaler将数据压缩于[0,1]区间之中。
建议先试试看StandardScaler，效果不好换MinMaxScaler。
除了StandardScaler和MinMaxScaler之外，sklearn中也提供了各种其他缩放处理（中心化只需要一个pandas广播一下减去某个数就好了，因此sklearn不提供任何中心化功能）
在希望压缩数据，却不影响数据的稀疏性时（不影响矩阵中取值为0的个数时），我们会使用MaxAbsScaler
在异常值多，噪声非常大时，我们可能会选用分位数来无量纲化，此时使用RobustScaler
更多详情请参考以下列表：