机器学习入门(6)--(单变量)梯度下降与线性回归

申明：此文章内容来自于 Doctor AndrewNG的视频，经过编辑而成

按照前文所说，梯度下降能够求出一个函数的最小值；线性回归需要求出，使得cost function的最小；因此我们能够对cost function运用梯度下降，即将梯度下降和线性回归进行整合，如下图所示：

梯度下降与线性回归

对我们之前的线性回归问题运用梯度下降法，关键在于求出代价函数的导数：

线性回归代价函数代入梯度下降算法求导

当j=0，线性回归代价函数代入梯度下降算法求导

当j=1时，线性回归代价函数代入梯度下降算法求导

我们刚刚使用的算法，有时也称为批量梯度下降。实际上，在机器学习中，通常不太会给算法起名字，但这个名字”批量梯度下降”，指的是在梯度下降的每一步中，我们都用到了所有的训​​练样本，在梯度下降中，在计算微分求导项时，我们需要进行求和运算，所以，在每一个单独的梯度下降中，我们最终都要计算这样一个东西，这个项需要对所有m个训练样本求和。