归一化/特征缩放(Feature Scaling) 笔记

归一化的目的：将所有特征缩放到0～1之间，使梯度下降法能更快的收敛。（其中0和1并不是定值，只是一个范围。）

为什么要做归一化？

各个特征$x_i$的${\theta }_i$能同步收敛，使梯度下降法能更快地收敛，从而达到快速求得MSE。

假设有一MSE有两个特征$x_1,x_2$。       $y={\theta }_1{x}_1+{\theta }_2{x}_2$
其中$x_1$远小于$x_2$
$g_1=(y-\hat{y})x_1$
$g_2=(y-\hat{y})x_2$
$(y-\hat{y})$是个定值，所以$g_1$远小于$g_2$
${\theta }_1^{t+1}={\theta }_1^t-\alpha g_1$
${\theta }_2^{t+1}={\theta }_2^t-\alpha g_2$
所以(a)${\theta }_1$远大于${\theta }_2$
$⟹$(b)${\theta }_1调整幅度$ 远小于 ${\theta }_2调整幅度$
由(a)可知${\theta }_1$距离长${\theta }_2$距离短
由(b)可知${\theta }_1$步子小${\theta }_2$步子大

未归一化 a
归一化后 a≈b

如何进行归一化？

1.最大值最小值归一化

$$\frac{x-min}{max-min}$$
优点：所有数据都能缩放到0～1之间
缺点：当min,max为离群值或异常值时，缩放后数据分布不均匀

2.方差归一化

$$\frac{x}{方差}$$
优点：可减小异常值当影响
缺点：不一定所有数据都缩放到0～1之间

3.均值归一化

$$x-均值$$$$(有正有负)$$
将所有数据缩放至0两边

4.标准归一化StandardScaler

$$\frac{x-均值}{方差}$$
一般都选用标准归一化。

训练集进行归一化处理，预测集也同样要进行归一化处理！
归一化处理并不影响数据实际意义，计算机不能理解实际意义，只是进行拟合特征的权重拟合。