PyTorch(六)——梯度反向传递(BackPropogate)的理解

目录连接
(1) 数据处理
(2) 搭建和自定义网络
(3) 使用训练好的模型测试自己图片
(4) 视频数据的处理
(5) PyTorch源码修改之增加ConvLSTM层
(6) 梯度反向传递(BackPropogate)的理解
(7) 模型的训练和测试、保存和加载
(8) pyTorch-To-Caffe
(总) PyTorch遇到令人迷人的BUG

PyTorch的学习和使用(六)

多个网络交替情况

最近使用PyTorch搭一个对抗网络,由于对抗网络又两个网络组成,其参数的更新也涉及到两个网络的交替。简单如下:生成器(generator)生成新的数据,辨别器(discrimator)用于判断数据是真实的还是生成的。通过训练辨别器使辨别器可以准确的分辨数据的真伪,通过训练生成器使辨别器无法分辨真伪。详见Generative Adversarial Networks。

PyTorch(六)——梯度反向传递(BackPropogate)的理解_第1张图片

训练时先更新辨别器,然后在更新生成器:

PyTorch(六)——梯度反向传递(BackPropogate)的理解_第2张图片

PyTorch梯度传递

在PyTorch中,传入网络计算的数据类型必须是Variable类型, Variable包装了一个Tensor,并且保存着梯度和创建这个Variablefunction的引用,换句话说,就是记录网络每层的梯度和网络图,可以实现梯度的反向传递,网络图可以表示如下(图来自 Deep Learning with PyTorch: A 60 Minute Blitz):

3

则根据最后得到的loss可以逐步递归的求其每层的梯度,并实现权重更新。

在实现梯度反向传递时主要需要三步:

  • 初始化梯度值:net.zero_grad()
  • 反向求解梯度:loss.backward()
  • 更新参数:optimizer.step()

注意:对于一个输入input,经过网络计算得到output,在计算梯度是就是output–>input的递归过程,在递归完图后会释放图的缓存,因此在第二次使用outout进行梯度计算时会出现错,如下:

RuntimeError: Trying to backward through the graph second time, but the buffers have already been freed. Please specify retain_variables=True when calling backward for the first time.

现在看上面GAN网络更新权重的图,在1中需要使用真实数据和生成数据更新辨别器(discriminator), 但是生成数据由生成器(generator)得到,在传入到辨别器中进行计算,因此进行梯度反向计算时会同时计算出生成网络的梯度,并释放网络递归图的缓存,则在2中更新生成器时会出错。

在1中计算辨别器梯度时不需要计算生成器的梯度,因此在使用生成数据计算辨别器时使用gendata.detach()作为输入数据,这样就对当前图进行拆分,得到一个新的Variable变量。

网络测试

构建两个网络A和B,首先使用A网络的结果计算B网络,然后更新B网络,最后更新A网络,这种情况与对抗网络相似,B网络需要使用A网络的结果进行计算,如果更新B网络,则连带着A网络梯度也会计算,当最后更新B网络时,则会出错。代码如下:

import torch
import torch.nn as nn
from torch.autograd import Variable
import torch.optim as optim

class A(nn.Module):
    def __init__(self):
        super(A, self).__init__()
        self.fc = nn.Linear(1, 10)
    def forward(self, x):
        return self.fc(x)

class B(nn.Module):
    def __init__(self):
        super(B, self).__init__()
        self.fc = nn.Linear(10, 20)
    def forward(self, x):
        return self.fc(x)

a_net = A()
b_net = B()

criterion = nn.MSELoss()
optimizer_a = optim.Adam(a_net.parameters(), 0.1)
optimizer_b = optim.Adam(b_net.parameters(), 0.1)

input = torch.FloatTensor(2,1)
label = torch.FloatTensor(2, 10).fill_(1)
label2 = torch.FloatTensor(2, 20).fill_(1)
input = Variable(input)
label = Variable(label)
label2 = Variable(label2)

# update B net
b_net.zero_grad()
output1 = a_net(input)
loss1 = criterion(output1, label)

output2 = b_net(output1.detach())
loss2 = criterion(output2, label2)

loss2.backward()
optimizer_b.step()

# updata A net
a_net.zero_grad()
output3 = b_net(output1)
loss3 = criterion(output3, label2)
loss3.backward()
optimizer_a.step()

如果output2 = b_net(output1.detach())改为output2 = b_net(output1),则出现如下错误:

4

因此,反向求解梯度是根据输出的loss值递归到所有网络进行计算,在控制网络更新梯度时需要注意控制好传入Variable

**注意:当使用loss3.backward()时,由于loss3经过A网络和B网络传递得到,因此A网络和B网络的梯度都会计算,使用optimizer_a.step()只跟新A网络的梯度。如果想要传递后的后向拓扑图保存,使用loss.backward(retain_graph)

###当使用同一个网络连续求多次梯度时和自定义权重初始化

  1. 当对同一个网络多次求取梯度时,网络最终的梯度为所有梯度之和。
  2. 可以使用torch.nn.Moduleapply()进行权重的初始化。

以上2点详见PyTorch(总)——PyTorch遇到令人迷人的BUG与记录

你可能感兴趣的:(PyTorch)