实现特征缩放/归一化和标准化

什么是特征缩放

特征缩放是用来标准化数据特征的范围

机器学习为什么需要特征缩放

在处理多维特征问题的时候,需要保证特征具有相近的尺度,这有助于梯度下降算法更快的收敛。
以预测房屋价格为例,假设有两个特征,房屋的尺寸和房屋的数量,尺寸的值为 0-
2000 平方英尺,而房间数量的值则是 0-5,以两个参数分别为横纵坐标,绘制代价函数的等
高线图能,看出图像会显得很扁,梯度下降算法需要非常多次的迭代才能收敛。、


image.png

特征缩放方法

1.最大值最小值归一化

image.png

优点:所有数据都能缩放到0~1之间
缺点:当min,max为离群值或异常值时,缩放后数据分布不均匀
2.方差归一化
image.png

优点:可减小异常值当影响
缺点:不一定所有数据都缩放到0~1之间
3.均值归一化
image.png

将所有数据缩放至0两边
4.标准归一化

image.png

归一化和标准化的区别

归一化:缩放仅仅跟最大、最小值的差别有关。 输出范围在0-1之间
标准化:缩放和每个点都有关系,通过方差(variance)体现出来。与归一化对比,标准化中所有数据点都有贡献(通过均值和标准差造成影响)。输出范围是负无穷到正无穷

什么时候用归一化?什么时候用标准化?

1.如果对输出结果范围有要求,用归一化

2.如果数据较为稳定(图像或是视频的数据值处于固定区间),不存在极端的最大最小值,用归一化

3.如果数据存在异常值和较多噪音,用标准化,可以间接通过中心化避免异常值和极端值的影响

标准化方法

min-max标准化(Min-max normalization)

image

优点:是对原始数据的线性变换,使结果落到[0,1]区间
缺点:有新数据加入的时候可能导致max和min的变化,需要重新定义
log函数转换

image

优点:使结果落在[0,1]之间
缺点:所有数据都要大于等于1

atan函数转换

image

优点:大于0数据被映射到[0,1]小于0被映射到[-1,1]区间上。
缺点:不是所有数据都映射到[0,1]

z-score 标准化(zero-mean normalization)

image

优点:经过处理符合标准正太分布,其中μ为所有样本数据的均值,σ为所有样本数据的标准差。

你可能感兴趣的:(实现特征缩放/归一化和标准化)