4-2 4-3 4-4 Gradient Descent for Multiple Variables

多变量线性回归问题——梯度下降算法

流程同第二章里单变量所讲一致；

区别在于变量对应的系数增多，需要求得偏导数增多；

梯度下降算法Tricks

①

Feature Scaling：多个变量（也可称为特征）的数量级能接近  similar scale  例如【0，1】【-1，1】区间

Mean Normalization：xi由xi-ui替代

② Learning Rate

确保梯度下降算法工作正确：每次迭代过程中，损失函数的loss在下降最终趋平，最终能够收敛不再变化；

使用合理的Learning Rate：

三种情况下都是试用：

太大：梯度下降算法不工作；不收敛或loss不下降

太小：时间成本大，收敛慢

choose LR：

0.0001，...0.0003,.....0.001,.....0.01,....0.1....