pytorch 深度学习实践 第三讲 梯度下降算法
第三讲 梯度下降算法 gradient Descent
pytorch学习视频——B站视频链接：《PyTorch深度学习实践》完结合集哔哩哔哩bilibili
以下是视频内容的个人笔记，主要是梯度下降算法的理解和简单公式实例，以及两个视频中的小练习源码，如有错误请指出，三扣。
目录
第三讲 梯度下降算法 gradient Descent
梯度下降法gradient Descent
gradient.py 源码
随机梯度下降法
stochastic_gradient.py
学习笔记：
梯度下降法gradient Descent
-
大致原理：
目标函数对参数求偏导——参数沿着此偏导数为负的方向变化（目标损失函数随着参数的变化而减少）——也即目标函数沿梯度下降最快的方向变化。
-
for example：
要求解W在cost最小时的最优解，求损失函数cost对W的一阶偏导数，取偏导数为负的方向
W沿着此方向变化（梯度下降）——> (α 是学习率，即控制下降的快慢)。cost的值可以下降得最快，并且可以到达局部最优解（贪心思想）。
如图所示：
- 局部最优和全局最优
如图所示，局部最优处无法再继续下降到全局最优，因为局部到全局的上升的部分是偏导数为正的方向（图中红色小箭头处），梯度下降法无法到达全局最优。
所以在神经网络训练时有可能会只达到局部最优点，但是实际上神经网络中的损失函数并没有很多局部最优点。
因此，在实际情况中要解决的是鞍点（梯度等于0）问题，如图所示：
此时的W无法再继续迭代下去找到全局最优。
- 梯度下降法实例
对w求偏导，计算w的具体更新过程，如图所示：
-
gradient.py 源码
import matplotlib.pyplot as plt
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w = 1.0
print(w)
# 模型函数 y= w*x
def foward(x):
return x * w
# 全部数据的损失函数总和平均
def cost(xs, ys):
cost = 0
for x, y in zip(xs, ys):
y_pred = foward(x)
cost += (y_pred-y) ** 2
return cost / len(xs)
# 梯度下降
def gradient(xs, ys):
grad = 0
for x, y in zip(xs, ys):
grad += 2 * x * (x * w - y)
return grad / len(xs)
# 训练当达到最优值时，即损失函数梯度grad下降到梯度为0，W的值不再继续迭代
print("Predict(before training)", 4, foward(4))
epoch_list = []
loss_list = []
for epoch in range(100):
loss = cost(x_data, y_data)
grad_val = gradient(x_data, y_data)
# 如果未达到最优，可以修改学习率试试
w -= 0.01 * grad_val
if epoch % 10 == 0:
print("epoch:", epoch, "w=", w, "loss=", loss)
epoch_list.append(epoch)
loss_list.append(loss)
print("Predict(after traning)", 4, foward(4))
plt.plot(epoch_list, loss_list,)
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()结果：
-
随机梯度下降法
用总的损失函数cost对W求偏导的梯度下降可能会存在上述的鞍点问题，所以将某一个数据的loss损失函数作为梯度下降得方法，由于噪声的存在可能可以有效处理鞍点问题——随机梯度。如图所示：
w根据梯度的下降来更新，如果loss对w求导等于0，也就是梯度为0了，那w就不再继续迭代变化，理论上可以保持最优。
-
stic_gradient.py
import matplotlib.pyplot as plt
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w = 1.0
print(w)
# 模型函数 y= w*x
def foward(x):
return x * w
# 单个数据的损失函数
def loss(x, y):
y_pred = foward(x)
return (y_pred - y) ** 2
# 梯度下降
def gradient(x, y):
grad = 2 * x * (x * w - y)
return grad
# 训练当达到最优值时，即损失函数梯度grad下降到梯度为0，W的值不再继续迭代
print("Predict(before training)", 4, foward(4))
epoch_list = []
loss_list = []
for epoch in range(100):
for x, y in zip(x_data, y_data):
# 不断根据单组数据的梯度下降方向来调整W
grad = gradient(x, y)
w -= 0.05 * grad
print("\tgrad: ", x, y, grad)
l = loss(x, y)
print("epoch:", epoch, "w=", w, "loss=", l)
epoch_list.append(epoch)
loss_list.append(l)
print("Predict(after traning)", 4, foward(4))
plt.plot(epoch_list, loss_list,)
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()结果：
-
Batch——Mini-Batch
但是如果对每一个样本都计算一次损失，那每个样本的计算都得串行执行，因为每个样本求梯度时使用的w都是上一个样本更新之后的w。如果用总的loss则可以全部数据都并行计算，因为各个样本用的w没有依赖关系，使用的是上一次训练周期的w。所以综上取一个性能和时间都折中的办法——Batch批次训练。每次计算一组batch的梯度然后更新权重
（代码理解请参考注释，以上代码已经在pycharm上经过测试，笔记纯属个人理解，如有错误欢迎路过的大佬指出 嘻嘻嘻。）
——未完待续……