[斯坦福大学2014机器学习教程笔记]第二章-梯度下降

    之前我们已经讲了代价函数了，这节我们讲代价函数J最小化的梯度下降法。

    梯度下降是很常用的算法。它不仅被用在线性回归上，还被广泛应用于机器学习的众多领域。

    下面是问题概述。我们有一个函数J(θ₀,θ₁)，这也许是个线性回归的代价函数，也许是个需要最小化的其他函数。我们需要用一个算法，来最小化函数J(θ₀,θ₁)。

    实际上，梯度下降算法可以应用于更一般的函数，如J(θ₀,θ₁,θ₂,......θ_n)，你希望可以在θ₀到θ_n之上最小化此函数。但是为了简化，我们这里只用θ₀,θ₁两个参数。

    梯度下降算法的基本思想是：首先给定θ₀和θ₁初始值（其实给定多少都不重要），但通常都设θ₀=0，θ₁=0。然后，我们不停地一点点地改变θ₀和θ₁，来使J(θ₀,θ₁)变小。直到我们找到J的最小值或者局部最小值。

    下面我们通过图片来直观地看一下它是怎么工作的。

    首先我们先从θ₀和θ₁的某个值出发。想象一下你正站立在山的这一点上，站立在你想象的公园这座红色山上，在梯度下降算法中，我们要做的就是旋转360度，看看我们的周围，并问自己要在某个方向上，用小碎步尽快下山。这些小碎步需要朝什么方向？如果我们站在山坡上的这一点，你看一下周围，你会发现最佳的下山方向，你再看看周围，然后再一次想想，我应该从什么方向迈着小碎步下山？然后你按照自己的判断又迈出一步，重复上面的步骤，从这个新的点，你环顾四周，并决定从什么方向将会最快下山，然后又迈进了一小步，并依此类推，直到你接近局部最低点的位置。我们在刚刚出发点右边再出发一次，这时我们得到另外一个局部最低点的位置。

    

    我们就会发现，如果你的起始点偏移了一些，你会得到一个完全不同的局部最优解。这就是梯度下降算法的一个特点。

    这是梯度下降算法的定义。

    我们要更新参数θ_j为θ_j减去α乘以后面的那一部分。我们将会反复做这一步，直至收敛。

    注意：1.我们使用符号:=表示赋值。

            2.α是一个被称为学习率的数字。α决定了当梯度下降时，我们迈出的步子有多大。如果α很大的话，那么梯度下降就很迅速。如果α很小的话，那么梯度下降就很缓慢。

            3.公式的最后一项是一个导数项。现在暂时先不讲这个。

    在梯度下降算法中，还有一个更微妙的问题，梯度下降中，我们要更新θ₀和θ₁ ，当j=0 和j=1时，会产生更新，所以你将更新J(θ₀)和J(θ₁)。实现梯度下降算法的微妙之处是，在这个表达式中，如果你要更新这个等式，你需要同时更新θ₀和θ₁，我的意思是在这个等式中，我们要这样更新：

                          θ₀更新为θ₀减去某项，并将θ₁更新为θ₁减去某项 。

    实现方法是：你应该计算公式右边的部分，通过那一部分计算出θ₀和θ₁的值，然后同时更新θ₀和θ₁。

    进一步地说，我们让temp0和temp1分别等于这两个式子。首先先计算公式右边的这一个部分，然后将值存入temp0和temp1中。这样，我们就可以同时更新θ₀和θ₁了。如下图左侧。

   

    而右侧的计算是错的，因为它并没有做到同步更新。左右两边的区别就是，当我们计算temp1的值的时候，左边是用的更新之前θ₀的值，右边用的是更新之后θ₀的值，从而导致最后的temp1的值是不一样的。