深度学习入门笔记（二）梯度下降法

如愚见指月，观指不观月。

目录

上节回顾——logistic回归模型和成本函数

梯度下降

梯度下降法的执行过程

计算图

logistic模型中的梯度下降算法

---

上节回顾——logistic回归模型和成本函数

是在条件下，的概率。。

如果想要让我们的模型更加精确的话，就要让尽可能的接近。所以，我们定义了损失函数和成本函数，用于评估与的接近程度，以及模型的准确率。

损失函数是对单个样本来说的。

成本函数是对整个数据集来说的。

是输入的样本数据，是样本对应的标签，是我们对的估计。是我们logistic模型的参数，我们希望找到合适的来让成本函数尽可能的小。

接下来我们会介绍让成本函数尽可能小的方法。

之所以用这种形式的成本函数，因为这样的成本函数是凸的（convex），只有一个极值，我们用梯度下降法很容易的找到最小值，而不是局部极值。 

梯度下降

首先让我们来复习一下高数，什么是梯度？

方向导数：多元函数在某一方向上的导数，代表了多元函数某点在某一方向上的斜率。

例如，二元函数在某点上沿方向的方向导数为，其中，向量为单位向量。

梯度：是多元函数某点上的一个向量。多元函数某点上梯度的方向，就是能让这一点处方向导数最大的方向。而梯度的模则是方向导数的最大值。（梯度就是方向导数最大的方向）

对于二元函数来说，某一点的梯度就是。（是对求的偏导，看不懂的话复习一下高数）

用爬山来举例，你在一座山上爬山，你这个位置的梯度，就是这座山上，你所在的这个位置，最陡的那个方向。

梯度下降就像下山，怎么下山才能尽可能快的下山呢？有一个方法就是，向着最陡的那个方向（梯度）走。

当然这样也有问题，就是我们有可能会走到局部极值（局部最优解），而不是最小值（全局最优解），所以我们才要求我们的成本函数是凸的。

梯度下降法的执行过程

梯度下降法就是重复执行这样的步骤：

在这里代表的是学习率，就是梯度下降法中一步的步长。（就是你在“下山”的过程中，一步迈多大）

在这里就是梯度，和代表的是同一种东西。

注意：是n维平面上的一个点。是成本函数。

计算图

例：

这个函数的计算图便是：

 与这个蓝色箭头指向的流程相反，便可以进行导数的计算，如红色的箭头所示。

假如我们想要求得，因为，所以。

反向传播 backpropagatioin

假如我们想求得，（这不就是链式求导法则吗？）

logistic模型中的梯度下降算法

如何用反向运算求导如图所示：

于是，我们就可以用梯度下降法，这是一次梯度的更新步骤。