pytorch深度学习（5）反向传播
目录
1. 简单神经网络中的梯度：
2. 复杂的神经网络
3.反向传播（Backpropagation）
3.1（具体例子）
3.2 The composition of functions and Chain Rule（链式法则）
练习
4.tensor in pytorch
代码实现：
练习
1. 简单神经网络中的梯度：
简单模型，我们可以通过简单的解析式去完成，但对于一些复杂的模型，我们该如何处理呢？
2. 复杂的神经网络
图中每一个圈内都存在一个权重 w
我们假设每一列都代表一层神经网络，可知第一层是5维的向量，第二层是6维的向量，所以要将第一层输出到第二层，我们就需要一个6行5列（6*5）的权重 w（30） h [6*1] = w [6*5] * x [5*1]
以此类推，第二层到第三层就需要一个7行6列（7*6）的权重 w （42个）
如果要像前面那样写解析式的话，要写上百个，基本是不太可能了。
我们要引入一种新的算法：反向传播算法
3.反向传播（Backpropagation）
我们先来了解一下反向传播的定义：是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。 该方法对网络中所有权重计算损失函数的梯度。 这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。
3.1（具体例子）
3.1.1一个两层的神经网络：
全连接神经网络中的一个层（第一层）
（第二层）
当然，上面的式子可以被进行化简（如下），但这样做使得层数多和层数少变得没有区别，失去它原本分层的意义。
3.2.2那如何解决这个问题呢？(提高模型的复杂程度)
我们对每一层最终的输出，加一个非线性的变化函数，使得第一层无法展开，而去与第二层融合。
3.2 The composition of functions and Chain Rule（链式法则）
把网络看成一个图，在图上传播梯度，然后根据链式法则把梯度求出来。反向传播算法权重可以是权重矩阵，偏置通常定义成向量形式。
3.2.1具体过程：
首先，我们通过前馈传播,沿着上图蓝色的箭头去计算loss（损失函数的值）
接着，我们再往回进行反向传播，我们拿到了Loss对z的偏导，
再然后，我们通过链式法则，继续向前求得对w（对x）的导数。
3.2.2例子
前馈传播：
反向传播：
Linear Model（完整计算过程）
练习
（1） 改变一下x，y ，尝试求解Loss对w的偏导
（2）加一个b，尝试求解Loss对w的偏导以及Loss对b的偏导
4.tensor in pytorch
代码实现：
import torch
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w = torch.Tensor([1.0])
w.requires_grad = True # 默认不计算，只有当需要梯度的时候才会计算
# 定义模型
def forward(x):
return x * w # x会转换成tensor
# 定义损失函数
def loss(x, y):
y_pred = forward(x)
return (y_pred - y) ** 2 # 实际上是构建计算图的过程
print("predict (before training)", 4, forward(4).item())
for epoch in range(100):
for x, y in zip(x_data, y_data):
l = loss(x, y) # 前向传播，计算损失
l.backward() # 向后传播，计算梯度
print('\tgrad:', x, y, w.grad.item()) # 使用item变成标量，不会产生计算图
w.data = w.data - 0.01 * w.grad.data # 进行权重更新的时候不能使用tensor,取data是不会产生计算图
w.grad.data.zero_() # .backward()计算的梯度会累加，注意把梯度清零
print("progress:", epoch, l.item())
print("predict (after training)", 4, forward(4).item())
效果图如下：
练习
尝试一下求二次的模型