model.eval() && with torch.no_grad()

model.eval()

• 会计算梯度，但是不会进行反向传播
• 仅仅所用于dropout和BatchNorm层进行模式切换。dropout层都可以通过；BN层则不会更新均值和方差，而是使用训练阶段的均值和方差。
• 因此，在由dropout和BN层的时候必须使用model.eval()

with torch.no_grad()

• 被该语句包裹起来的语句不会计算梯度（由输入得到的新张量requires_grad被置为FALSE），也不进行反向传播（即停止了autograd模块的工作），也不会影响dropout和BN层的行为。起到加速和节省显存的作用。

x = torch.randn(10, 5, requires_grad = True)
y = torch.randn(10, 5, requires_grad = True)
z = torch.randn(10, 5, requires_grad = True)
with torch.no_grad():
    w = x + y + z
    print(w.requires_grad)   # False
    print(w.grad_fn)   # None
print(w.requires_grad)   # False

requires_grad()

• requires_grad()=True时，表示需要计算梯度；反之表示不需要计算梯度。注意：只要有一个输入的requires_grad()=True，输出就需要计算梯度；只有所有输入都不需要计算梯度时，输出才不需要计算梯度。

x = Variable(torch.rand(3,3))
y = Variable(torch.rand(3,3))
z = Variable(torch.rand(3,3), requires_grad=True)

a = x+y     # False
b = x+z     # True

volatile

• volatile=True也表示不计算梯度（即使requires_grad()=True也不计算梯度），优先级比requires_grad强，它是将所有依赖它的节点都设置为volatile=True。即只要有一个输入volatile=True，输出的volatile=True。
• 但是注意，在0.4以后的版本已经不使用volatile了，而是使用with torch.no_grad()代替

小结

在由dropout层的时候，必须使用model.eval()。在其他情况下，使用二者之一用于测试得到的结果是相同的。二者也可以同时使用，no_grad()能够加速和节省gpu，从而更快，可以设置更大的batch size。

参考：
model.eval与no_grad()