吴恩达机器学习笔记 多元梯度下降法

    之前介绍的梯度下降中只有两个变量，现在考虑有0~n共n+1个变量的时候。与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，则这个代价 函数是所有建模误差的平方和，多变量线性回归的批量梯度下降算法为

  注意多个变量的变化也是要同时计算更新。

  参数的范围会对梯度下降的算法产生影响，因此常用的梯度下降处理方法有特征缩放和选择合适大小的学习率

 

特征缩放：要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛，尝试将所有特征的尺度都尽量缩放到-1 到 1 之间。 x=(x-u)/s   u是均值，s是标准差。特征缩放在梯度下降中很重要，在介绍多项式回归中，在多次函数中特征的数量级可能相差很大，这时就要使用特征缩放以提高效率。

 

如何选择合适大小的学习率：观察J()的图像，应该是一条下降并趋于平稳的形状。老师建议可以从0.001，0.003，0.01，0.03，0.1，0.3，1，3……这样大概每次乘3倍来尝试，找到合适的。