机器学习——特征工程——数据的标准化（Z-Score,Maxmin,MaxAbs,RobustScaler,Normalizer）

数据标准化是一个常用的数据预处理操作，目的是处理不同规模和量纲的数据，使其缩放到相同的数据区间和范围，以减少规模、特征、分布差异等对模型的影响。

比如线性回归模型、逻辑回归模型或包含矩阵的模型，它们会受到输入尺度（量纲）的影响。相反，那些基于树的模型则根本不在乎输入尺度（量纲）有多大。如果模型对输入特征的尺度（量纲）很敏感，就需要进行特征缩放。顾名思义，特征缩放会改变特征的尺度，有些人将其称为特征归一化。特征缩放通常对每个特征独立进行。下面讨论几种常用的特征缩放操作，每种操作都会产生一种不同的特征值分布。

标准化方法	公式	优点	缺点	转换区间	适用场景
Z-Score（标准化standardization）		适用大多数类型的数据，标准化之后的数据是以0为均值，方差为1的正态分布	是一种中心化方法，会改变原有数据得分布结构	均值为0，方差为1的标准正态分布	不适合用于稀疏数据的处理
Max-Min（归一化）		应用广泛，能较好的保持原有数据分布结构	1.分母可能为0，导致计算过程出错。 2.对异常值（离群值）的存在非常敏感	[0,1]	不适合用于稀疏数据的处理
MaxAbs		保持原有数据分布结构	对异常值（离群值）的存在非常敏感	[-1,1]	稀疏数据、稀疏CSR或CSC矩阵
RobustScaler	，Q代表分位数	能最大限度地保留数据集中的异常（离群点）	-	-	最大限度保留数据集中的异常（离群值）
Normalizer（正则化Normalization）	对每个样本计算其范数，然后该样本中每个元素进行除以该范数（即将每一个样本点看成一个向量，将其规范化成单位向量）	一个单向量上来实现这正则化的功能。正则化有,	-	-	经常被使用在分类与聚类中。

注：

1、稀疏数据集：存在稀疏性特征，特征表现为标准差小，并有很多元素的值为0，最常见的稀疏数据集是用来做协同过滤的数据集。

2、CSR（Compressed Spare Row，行压缩）和CSC(Compressed Spare Column，列压缩）是稀疏矩阵的两种存储格式，这两种稀疏矩阵在scipy.sparse包中应用广泛。

一、sklearn代码实现及相关原理

1、Z-Score（标准化）

import numpy as np
import matplotlib.pyplot as plt
from sklearn import preprocessing  
data=np.array([[1,2,3],[4,5,6],[7,8,9]])
data

#Z-score标准化
zscore_scaler=preprocessing.StandardScaler()
data_zcore_1=zscore_scaler.fit_transform(data)
data_zcore_1


#算法原理
data_zcore_2=(data-data.mean(axis=0))/data.std(axis=0)
data_zcore_2

输出： 

array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])

array([[-1.22474487, -1.22474487, -1.22474487],
       [ 0.        ,  0.        ,  0.        ],
       [ 1.22474487,  1.22474487,  1.22474487]])

array([[-1.22474487, -1.22474487, -1.22474487],
       [ 0.        ,  0.        ,  0.        ],
       [ 1.22474487,  1.22474487,  1.22474487]])

2、Max-Min（归一化）

import numpy as np
import matplotlib.pyplot as plt
from sklearn import preprocessing  
data=np.array([[1,2,3],[4,5,6],[7,8,9]])
data

#Max-Min标准化
minmax_scaler=preprocessing.MinMaxScaler()
data_minmax_1=minmax_scaler.fit_transform(data)
data_minmax_1

#算法原理
data_minmax_2=(data-data.min(axis=0))/(data.max(axis=0)-data.min(axis=0))
data_minmax_2

输出： 

array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])

array([[0. , 0. , 0. ],
       [0.5, 0.5, 0.5],
       [1. , 1. , 1. ]])

array([[0. , 0. , 0. ],
       [0.5, 0.5, 0.5],
       [1. , 1. , 1. ]])

 【注意】：不要“中心化”稀疏数据！

在稀疏特征上执行min-max缩放和标准化时一定要慎重，它们都会从原始特征值中减去一个量。对于min-max缩放，这个平移量是当前特征所有值中的最小值；对于标准化，这个量是均值。如果平移量不是0，那么这两种变换会将一个多数元素为0的稀疏特征向量变成密集特征向量。根据实现方式的不同，这种改变会给分类器带来巨大的计算负担。

3、MaxAbs

import numpy as np
import matplotlib.pyplot as plt
from sklearn import preprocessing  
data=np.array([[1,2,3],[4,5,6],[7,8,9]])
data

#MaxAbsScaler标准化
maxabs_scaler=preprocessing.MaxAbsScaler()
data_maxabs_1=maxabs_scaler.fit_transform(data)
data_maxabs_1

#算法原理
data_maxabs_2=data/np.abs(data.max(axis=0))
data_maxabs_2

输出： 

array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])

array([[0.14285714, 0.25      , 0.33333333],
       [0.57142857, 0.625     , 0.66666667],
       [1.        , 1.        , 1.        ]])

array([[0.14285714, 0.25      , 0.33333333],
       [0.57142857, 0.625     , 0.66666667],
       [1.        , 1.        , 1.        ]])

4、RobustScaler

import numpy as np
import matplotlib.pyplot as plt
from sklearn import preprocessing  
data=np.array([[1,2,3],[4,5,6],[7,8,9]])
data

#RobustScaler标准化
Robust_scaler=preprocessing.RobustScaler()
data_Robust_1=Robust_scaler.fit_transform(data)
data_Robust_1

#算法原理
data_Robust_2=(data-np.nanmedian(data,axis=0))/(np.percentile(data,75,axis=0)-np.percentile(data,25,axis=0))
data_Robust_2

输出： 

array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])

array([[-1., -1., -1.],
       [ 0.,  0.,  0.],
       [ 1.,  1.,  1.]])

array([[-1., -1., -1.],
       [ 0.,  0.,  0.],
       [ 1.,  1.,  1.]])

5、Normalizer（正则化/归一化）

正则化可以理解为将行（样本点）看成一个向量，将向量规范化成单位向量。

这种归一化技术是将初始特征值除以一个称为范数的量，范数又称为欧几里得范数，它的定义：

范数是坐标空间中向量长度的一种测量。它的定义可以根据著名的毕达哥拉斯定理（给定一个直角三角形两条直角边的长度，可以求出斜边的长度）导出：

范数先对所有数据点中该特征的值的平方求和，然后算出平方根。经过归一化后，特征列的范数就是1。有时候这种处理又称为缩放。（不严格地说，缩放意味着乘以一个常数，而归一化可以包括多种操作）。下图演示了归一化的过程。

5.1、正则化的应用场景

有三个人的身高、臂展的二维数据，数据分布情况如下（向量表示）：

如果光从上面的数据聚类，我们可能将姚明和孙明明聚成一类，李宁单独一类。

但是我们后来知道，孙明明没有进NBA的原因是他是巨人症患者（巨人症患者的突出特点是臂展要比身高还长） ，普通人一般身高和臂展差不多，姚明的身高为2.20m，臂展为2.10m，但是孙明明的身高为2.30m，臂展达到2.50m。所以从某种意义上我们应该将孙明明聚成一类（巨人症），姚明和李宁聚成一类（非巨人症）。

这个时候我们可以对上图的向量进行正则化Normalizer，经过正则化的向量为单位向量，方向与原向量是不变的。如下图：

经过正则化，我们比较的不再是身高和臂展的数值化的差异，而是臂展和升高的比率（即角度θ）。大于1即为巨人症，小于等于1即为普通人，这个时候就容易将孙明明单独聚成一类。

从以上的场景可以看出：正则化适用的场景为，如果数据集之间各个指标有一个比率的关系，而且比率关系比各指标的绝对值更重要的时候，用Normalizer（正则化）可以达到一个比较好的效果。

对鸢尾花(Irises)数据集的聚类，就适用于此场景。

import numpy as np
import matplotlib.pyplot as plt
from sklearn import preprocessing  
data=np.array([[1,2,3],[4,5,6],[7,8,9]])
data
## 正则化
Normal_scaler=preprocessing.Normalizer()
data_Normal_1=Normal_scaler.fit_transform(data)
data_Normal_1
## 算法原理
data_Normal_2=np.divide(data,((data**2).sum(axis=1)**0.5).reshape(3,1))
data_Normal_2

输出： 

array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])

array([[0.26726124, 0.53452248, 0.80178373],
       [0.45584231, 0.56980288, 0.68376346],
       [0.50257071, 0.57436653, 0.64616234]])

array([[0.26726124, 0.53452248, 0.80178373],
       [0.45584231, 0.56980288, 0.68376346],
       [0.50257071, 0.57436653, 0.64616234]])

二、案例说明

不论使用何种缩放方法，特征缩放总是将特征除以一个常数。因此，它不会改变单特征分布的形状。我们使用在线新闻文章单词数量来说明这一点。

1、读取数据

import pandas as pd
import sklearn.preprocessing as preproc

df = pd.read_csv('D:/高济医疗/精通特征工程/精通特征工程/data/OnlineNewsPopularity.csv', delimiter=', ')

# 原始数据-文章中单词数量
df['n_tokens_content']

输出：

0         219.0
1         255.0
2         211.0
3         531.0
4        1072.0
          ...  
39639     346.0
39640     328.0
39641     442.0
39642     682.0
39643     157.0
Name: n_tokens_content, Length: 39644, dtype: float64

2、数据标准化

# Min-max scaling
df['minmax'] = preproc.minmax_scale(df[['n_tokens_content']])

# Standardization
df['standardized'] = preproc.StandardScaler().fit_transform(df[['n_tokens_content']])

#MaxAbs
df['maxabs'] = preproc.maxabs_scale(df[['n_tokens_content']], axis=0)

#RobustScaler
df['Robust'] = preproc.RobustScaler().fit_transform(df[['n_tokens_content']])

# L2-normalization
df['l2_normalized'] = preproc.normalize(df[['n_tokens_content']], axis=0)

3、数据可视化

fig, (ax1, ax2, ax3, ax4,ax5, ax6) = plt.subplots(6,1,figsize=(10,9))
fig.tight_layout(pad=0, w_pad=1.0, h_pad=2.0)

df['n_tokens_content'].hist(ax=ax1, bins=100)
ax1.tick_params(labelsize=14)
ax1.set_xlabel('Article word count', fontsize=14)

df['minmax'].hist(ax=ax2, bins=100)
ax2.tick_params(labelsize=14)
ax2.set_xlabel('Min-max scaled word count', fontsize=14)

df['standardized'].hist(ax=ax3, bins=100)
ax3.tick_params(labelsize=14)
ax3.set_xlabel('Standardized word count', fontsize=14)
ax3.set_ylabel('Number of articles', fontsize=14)

df['maxabs'].hist(ax=ax4, bins=100)
ax4.tick_params(labelsize=14)
ax4.set_xlabel('Maxabs word count', fontsize=14)

df['Robust'].hist(ax=ax5, bins=100)
ax5.tick_params(labelsize=14)
ax5.set_xlabel('Robust word count', fontsize=14)

df['l2_normalized'].hist(ax=ax6, bins=100)
ax6.tick_params(labelsize=14)
ax6.set_xlabel('L2-normalized word count', fontsize=14)

输出：

 

从图中可以看出：与对数变换(《机器学习——特征工程——对数转换、Box-Cox转换》)不同，注意只有x轴的尺度发生了变化，特征缩放后的分布形状保持不变。

总结：当一组输入特征的尺度相差很大时，就需要进行特征缩放。例如，一个人气很高的商业网站的日访问量可能是几十万次，而实际购买行为可能只有几千次。如果这两个特征都被模型所使用，那么模型就需要在确定如何使用它们时先平衡一下尺度。如果输入特征的尺度差别非常大，就会对模型训练算法带来数值稳定性方面的问题。在这种情况下，就应该对特征进行标准化。