学习吴恩达 --机器学习 ---多元梯度下降法2（学习率的选择）笔记

    使用梯度下降法就是需要让代价函数J(theta)随着迭代的次数不断下降，当代价函数趋于平滑，几乎不发生变化的时候就说函数已经收敛了，也可以通过 自动收敛测试来判断代价函数是否收敛（判断条件就是：代价函数在相邻两次的迭代中变化小于某个数值， 注不同情况该值不确定）更倾向于绘制'迭代次数-代价函数'曲线来判断是否达到收敛状态。

    正常情况下，绘制的“ 迭代次数-代价函数”曲线是单调下降的，如果出现单调上升的情况，则很可能是选择的学习率太大了，需要降低学习率的取值，如果函数出现不断的跌宕起伏情况，需要降低学习率，如图所示。如果曲线一开始就下降很慢，可以考虑增加学习率。