解决Cuda out of memory的一种思路

在实际做实验的过程中，cuda of memory问题很常见，在整理过网上的思路后，大致有如下几种：

1. 减小batch_size（常用）或减小模型参数和输入的大小（很少用到）。
2. 在测试过程中加上如下语句：

   with torch.no_grad()
   

   内存就不会分配参数梯度的空间。
3. 训练过程中遇到此情况可尝试在训练前释放cuda内存。

   nvidia-smi 查看gpu的使用率，若使用率不高就使用torch.cuda.empty_cache()释放内存
   

这次又出现了新的问题，我将我遇到的情况总结如下：

#在修改完成后代码后，出现了cuda out of memory的问题，在经过三天的仔细排查后，终于找出了问题的所在：
#损失函数的定义有问题：
#原代码：
train_loss = loss_id + loss_tri
total_loss = train_loss + loss_kl _ loss_feature + loss_middle
train_loss.backward()
#在这个步骤中就会出现cuda out of memory的问题。
#在反向传播的时候需要正确的损失函数的公式来进行反向传播。
#修改后：
train_loss = loss_id +loss_tri
total_loss = train_loss + loss_kl + loss_feature + loss_middle
total_loss.backward()

这样就解决了部分情况下cuda out of memory的问题。希望能帮到大家。