机器学习中，损失函数的作用

代价函数也叫损失函数
损失函数的存在的意义：用来衡量实际变量值和预测值之间的差异，损失值越小说明预测之越来准确
损失函数用来求极值在机器学习中，需要使用训练数据来最小化损失函数，从而确定参数的值，而最小化损失函数，就是需要求损失函数的极值
函数中求极值求解函数极值，需要用到导数，对于某个连续函数f（x)，在数学中令f^(x)=0，可以获得极值点。
机器学习中求极值计算机不擅长求解微分方程，计算机擅长的是通过插值法（牛顿下山法、弦截法），进行海量的尝试，一步一步把极值“试”出来。
梯度下降：在批量梯度下降中，我们每次都同时让所有的参数减去学习速率乘以代价函数的导数
**梯度是什么：**损失函数在每一个点的导数，即为损失函数在该点的梯度。
函数上某一点的梯度的方向：导数最大的方向，
**梯度的大小（梯度的模）：**该点的导数的大小
**梯度下降：**由于梯度的方向是导数最大的方向，顺着梯度方向走，函数值就变化的最快，顺着梯度的反方向，那么函数值减小减小最快的方向，导数也慢慢减小，当导数减为0，该点即为最小值，或者最大值。
梯度下降的过程：从初始点开始，迭代得往梯度反方向进行靠近。步长用于控制每次移动的大小，太小需要移动的次数过多，太大可能或跳过最小值。我们减去步长乘以梯度，就是依次靠近梯度的反方向。直到w达到我们满意为之。