Pytorch学习系列(八)——训练神经网络

训练

神经网络的训练主要包含以下语句：

if cuda:
    model.cuda()
model.train()#把模型的状态设置为训练状态，主要针对Dropout层
optimizer = torch.optim.SGD((model.parameters(), lr=lr, momentum=momentum))
for epoch in range(epochs):
    for batch_idx, (data, target) in enumerate(train_loader):
        if cuda:
            data, target = data.cuda(), target.cuda()
        output = model(data) #对data做前向过程，得到输出
        loss = loss(model, output, target)#计算output和target之间的损失
        loss.backward()#反向过程，计算损失关于各参数的梯度
        optimizer.step()#利用计算得到的梯度对参数进行更新   

随机种子

在训练开始时，参数的初始化是随机的，为了让每次的结果一致，我们需要设置随机种子。在main函数中加入如下语句：

torch.manual_seed(args.seed)#为CPU设置随机种子
if cuda:
    torch.cuda.manual_seed(seed)#为当前GPU设置随机种子
    torch.cuda.manual_seed_all(seed)#为所有GPU设置随机种子

PyTorch的维护者在回答网友们的问题时表示未来会用torch.manual_seed()同时设置CPU和GPU的种子，不知道现在是否实现了？

在训练过程中更新优化器的学习率

如果想要在训练过程中修改学习率，需要使用新的参数构建新的optimizer。

疑问

是否应该在每个iteration之前将模型参数的梯度清0？？？？
经过实验发现，对于optim.SGD()优化算法，如果不添加optimizer.grad_zero()，那么每次iteration计算的梯度会累加到参数梯度上。