【机器学习】【线性回归】梯度下降算法核心思想剖析和数学公式推导

假设函数

训练数据集的假设函数（hypothesis function），又称模型函数：

    

代价函数

评估假设函数精确度、拟合度的代价函数（cost function）

    

代价函数的核心功能：代价函数的函数值用来评估假设函数的精确度、拟合度。精确度、拟合度的比较对象是我们提供的训练数据集。

如果有一组(θ0，θ1，……，θn)使得代价函数取得最小值，则将这组(θ_0，θ1，……，θn)对应的假设函数对于我们提供的训练数据集有（最）很好的精确度，拟合度。即如果我们给一个待验证的特征值x，则通过h(x)计算出来的输出数据y=h(x)，和实际的数据y最接近。

梯度下降算法的目的

找到一组(θ0， θ1，……，θn)，使得代价函数的值最小，从而得到拟合度很好，精确度很高的假设函数 。

下面以简单线性回归为例，来讲解梯度下降算法。

梯度下降算法的公式

梯度下降算法的核心思想讲解

学习速率α

其中的偏导数的系数α是学习速率（Learning Rate），且α>0。

1）α越大，学习速率越快，α不是越大越好。如果α太大的话，会导致梯度下降算法在图形的上坡和下坡上面来回震荡计算，严重的结果可能无法收敛；

2）如果α太小的话，会导致梯度下降算法的计算效率很低，虽然最后可以得到最佳的(θ0，θ1)，但是计算速度会很慢，训练时间会很长。

梯度下降的数学支撑

代价函数的最小值处的每个θ，一定满足每个θ的偏导数都等于0，所以才可以用迭代法求解每个θ。

每次梯度下降迭代得到的θ有什么性质

每次梯度下降迭代得到的θ往往都是代价函数的局部最优解，因为代价函数在θ处有多个方向可选择去移动得到新的θ，而偏导数方向移动得到的新的θ才是当前θ的最优解移动目标点。

梯度下降算法的推导公式

梯度下降算法的数学公式的推导过程

θ0的推导过程

θ1的推导过程

至此完成了梯度下降算法的核心思想讲解、数学公式的推导。

(end)