(四)梯度下降算法求解代价函数

在单变量线性回归问题中,我们的目标已经很明确,就是确定线性方程的两个参数,使得代价函数的值尽可能的小,即构造函数对原图的拟合度最好.

2015-12-08 08:50:18屏幕截图.png

其中的α表示学习速率,它的取值不能太大也不能太小.
若α取值过大 , 会导致函数无法收敛,甚至发散.
若α取值过小,会导致函数收敛速度减慢.
需要补充的是:
两个参数是同时变化的,也就是当第一个参数变化时将其保存在一个中间变量里.只有当所有参数都变化完成后,再一次将所有中间变量分别赋给对应参数.

将代价函数与梯度下降算法整理可以得到公式:

2015-12-08 09:03:39屏幕截图.png

其中关于偏导部分已经化简完毕.

2015-12-08 09:15:18屏幕截图.png

将它三维建模可以发现,我们所要求得的就是图形的最低点,即全局最优解或局部最优解.有趣的是,当其满足全局最优或局部最优时,代价函数值不会再发生改变,因为此时偏导数为零,类比与x - 0还等于x.