深度学习笔记1-梯度是什么？

在机器学习中，我们通常需要对问题进行建模，然后可以得到一个成本函数(cost function)，通过对这个成本函数进行最小化，我们可以得到我们所需要的参数，从而得到具体的模型。这些优化问题中，只有少部分可以得到解析解(如最小二乘法)，而大部分这类优化问题只能迭代求解，而迭代求解中两种最常用的方法即梯度下降法与牛顿法。

梯度概念是建立在偏导数与方向导数概念基础上的。所谓偏导数，简单来说是对于一个多元函数，选定一个自变量并让其他自变量保持不变，只考察因变量与选定自变量的变化关系。数学上说，是指对于多元函数，假设其偏导数都存在，则该函数共有n个偏导数，可以表示为：

 

 梯度：
梯度是一个向量求导的导数：f的梯度是包含所有偏导数的向量。向量的导数还是一个向量，所以梯度既是导数又是向量。
梯度的方向：与这个函数在该点增长最快的方向一致。梯度的大小：|梯度|=max(方向导数)

梯度下降法作用：求损失函数（loss function） 最小值