PyTorch深度学习实践23 线性模型 梯度下降算法

Machine Learning 的过程就是 把DataSet交给机器学习算法经过训练之后，再获得新的输入（即X），然后得到预测的结果（y）。

监督学习：机器在学习的时候我们知道他输出的对应值是多少的，然后模型计算的值和输出值计算的差异来对模型进行调整的。

误差 Training Loss（Error） Loss = （） 针对样本

MSE 平均平方误差 Mean Square Error 针对training set

模型在训练过程中实时的画一些图 例：Vidom   考虑可视化的问题、断点重开的问题。

Gradient Descent

当使用穷举法去寻找可能的值时，如果权重有很多个，查找次数会很多

 当使用分治法去寻找可能的值时，容易陷入局部最优，如果权重的数量上升到数量级，将无法划分空间去再进行搜索

所以我们需要另外一种办法去寻找最优值

Optimization Problem:使目标函数最小的权重组合的任务，称之为优化问题 

                                     Optimization Problem:   

梯度的定义就是用目标函数对权重进行求导数，这样我们就求到了他的上升方向，每一次迭代都朝着他下降最快的方向去下降，这是我们算法设计过程中的贪心思想，只看眼前最好的结果。

 

 

梯度学习算法不一定能得到全局最优解，但是能得到局部最优解，那为什么在深度学习中大量使用梯度下降作为最基础的算法呢，是因为我们发现在深度神经网络它的目标函数并没有很多的局部最优点。在深度学习里解决的最大的问题其实并不是局部最优，而是鞍点问题

非凸函数：在图中画一条线，不能保证图中的所有点都在线的上方或者下方

凸函数：与非凸函数对应 

鞍点：在鞍点这个位置，它的梯度等于0

 在训练集上，最开始的几轮，损失值会下降的非常快，越往后，会下降的越来越慢，训练过程已经趋近于收敛，如何能发现损失为0了，我们就可以提前结束训练，但是在大部分的实际场景中，我们并没有办法说将损失值降到0，因为数据中会有噪声，所以也不知道真正的最小值应该是多少。训练的图形易班会有波动（如下图），总体趋近于收敛，但是有波动，所以绘图的时候我们会做一个指数加权均值，来把损失函数 （cost function）变成一个更为平滑的函数形式。如果训练失败，原因有很多，一般来说是因为学习率取得太大了。

 在深度学习中，我们梯度下降使用的还是挺少的，更多的是使用梯度下降的一个衍生版本，即随机梯度下降。随机选一个样本，拿单个样本的损失函数，对权重进行求导，然后进行更新。

使用随机梯度下降的原因：如果整个的损失函数（cost function）是下图带有一个鞍点的形式，有个鞍点没法往前走了，cost function是使用所有的样本计算出俩的，但是如果仅用其中的一个样本，拿到数据基本上都是有噪声的，有噪声的话，就有一个随机噪声，即使陷入到鞍点，那随机噪声可能把我们向前推动，引入了这种随机性之后，将来在更新的过程中，就有可能跨越过鞍点向前推动。

 在深度学习中，如果去用梯度下降，在计算梯度的时候，对于每一个样本x，用模型进行计算的时候计算x点和计算x+1点的函数值是没有依赖关系的，所以这些计算是可以并行计算的。但是如果用随机梯度下降，用模型进行计算的时候计算x点和计算x+1点的函数值是有依赖关系的，是不能并行化运算的，因为下一个w是从上一个式子中拿过来的。所以计算的时间复杂度太高，因为没有办法利用并行性。