机器学习基础 - [第二章：多变量线性回归]（2）多元线性回归模型的梯度下降算法技巧

1、多元线性回归模型在使用梯度下降可能会遇到什么样的问题？

多元性线性回归具有多个特征$\{x_1,x_2,...,x_n\}$，当某些特征的取值范围差异很大时，梯度下降法可能要经过一段很长的时间才能收敛到局部最优值，如图1左边所示：

但是，如果这些特征这些特征的值在一个比较相似的范围，收敛速度就会很快。所以，当特征取值差距比较明显，为了加快收敛速度，我们需要用到特征缩放技巧。

2、特征缩放（Feature Scaling）

特征缩放，指的是将每一个特征的取值都映射到某个区间内，一般来讲，区间为[-1，1],图1右半部分就将$x_1$和$x_2$的取值映射到了0-1范围内

３、选择特征缩放的条件？

一般在以下情况下，我们会选择尺度缩放：
（1）学习算法选用的是梯度下降算法；
（2）特征的取值相差太大；
那么，对于（2）而言，什么样的取值算相差太大呢，下图2给出了一些经验，其中✔的表示是可以接受的，而打叉的是不能接受的，而且需要注意的是，特征的取值范围不一定要求非得在-1-1之间，只要它们足够的相近即可，这样梯度下降就能正常工作：

４、特征缩放有哪些方法？

特征缩放的方法有以下几种：
（1）除以最大值（取值为正）：这样可以把特征的取值映射到（0，1）
（2）均值归一化：$$\frac{x_i-u}{s_i}$$其中，
u表示特征$x_i$的均值，$s_i$的可以是$x_i$的最大值、取值范围，或者是标准差。