【pytorch坑点】前向传播会不断积累显存占用,直到反向传播才会释放

如果多次进行forward计算,而不进行backward,那么前向传播时产生的中间结果会一直积累在gpu中。如果你前向计算时并不希望进行反向传播,那么可以采用如下方式:

output_features=torch.utils.checkpoint.checkpoint(model,x.cuda())

你可能感兴趣的:(pytorch,pytorch,深度学习,人工智能)