Pytorch学习笔记 1.1：梯度下降

Pytorch学习笔记

Pytorch初学者小白
b站视频：PyTorch 动态神经网络 (莫烦 Python 教学)
初学者总是见到这样的图像，这些图像涉及到了家族的历史——Optimization(优化问题)
优化能力是人类历史上的重大突破，它解决了很多实际生活中的问题，从而渐渐演化出了一个庞大的家族
比如说：

• 牛顿法(Newton’s method)
• 最小二乘法(Least Squares method)
• 梯度下降(Gradient Descent)

而我们神经网络就是在梯度下降的分支中

初学神经网络的时候 我们总会遇到误差方程（Cost Function）:
用来计算预测的值和实际上的值有多大差别
w:是我们神经网络中的参数
x,y都是我们的数据
找到梯度躺平的点，就是误差最小时的w

可是很多情况下误差曲线却是这样的，梯度躺平的点也不止只有一个
不同的w带来的位置，将会带来不同的下降去区域，不同的下降区域也会带来不同w的解。在这个图中w的全局最优解在原点处，其他的是局部最优解
神经网络可以使你的局部最优足够优秀，以至于出色地完成任务