机器学习记录（1,2）

梯度下降对参数进行调整注意点

_{1.在对第二个以及更靠后的参数调整时，仍然是用原先的参数，而不是用刚刚更新好的参数来进行偏导运算。}

_{2.学习率不变，随着越来越接近局部最低点，导数值会越来越小，梯度下降法会自动采取更小的幅度接近最低点}

_{3.若起始点便是最低点或局部最低点，那么梯度下降算法将什么也不做。}

多变量线性回归

1.特征缩放

_{面对多维特征问题时候，保证特征具有相近的尺度，这样做的好处是让梯度下降算法更快地收敛。}

特征缩放时，我们通常的目的是将特征的取值约束到−1到+1的范围内

2.学习率的调整

_{可以绘制出代价函数随着迭代次数的图表来观测算法何时趋于收敛来调整学习率的大小}

_{此处代价函数即为J函数每次迭代参数对应的值，横坐标为迭代次数}

3.特征和特征多项式

对于某些线性回归问题，正规方程方法是更好的解决方案

准确来说，只要特征向量的数目并不大，一般来说小于10000，我们通常使用标准方程法，不使用梯度下降法。

4.Octave

5.向量化

向量化最明显的表现是去除代码中的for循环，向量化让程序计算更简化，运行速度更快