RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors a

问题描述：

pytorch 更新网络参数报错：
报错行：

loss1.backward(retain_graph=True)

错误信息：

RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors after they have already been freed). Saved intermediate values of the graph are freed when you call .backward() or autograd.grad(). Specify retain_graph=True if you need to backward through the graph a second time or if you need to access saved tensors after calling backward.

---

解决方案：

第一步：

出错处：

 x_t=data[0][1]
 x_s = model_s1(data[1][0])  //model_s1为net
 mask=fd(x_t.clone(), x_s.data) //fd为net

改为:

 x_t=data[0][1].data
 x_s = model_s1(data[1][0].data)  //model_s1为net
 mask=fd(x_t.clone(), x_s.data) //fd为net

即为训练输入的初始数据加上.data ，将data[0][1]改为data[0][1].data。
参考：https://blog.csdn.net/SY_qqq/article/details/107384161

第二步：

出错处：

loss1.backward(retain_graph=True)  

改为：

loss1.requires_grad_(True)  # 加入此句就行了
loss1.backward(retain_graph=True)  

参考：https://blog.csdn.net/wyf2017/article/details/123156380

问题解决。

---

这报错我真是搜了两天也没解决，网上大多都说将loss1.backward() 改为loss1.backward(retain_graph=True) ，但并没有解决我的问题，终于解决了觉得太有必要记录一下，救大命。
已经试过了，以上两步，缺一个都会报错，如果只有第一步没有第二步，报错为：

错误行： loss1.backward(retain_graph=True)
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

大概是输入数据没法计算梯度？第一步在输入数据加.data，感觉是保护源数据不被改变？
以及学到了更新梯度只会更新叶子节点变量，参考第一篇链接。

参考其他解决方案说要在训练过程的临时中间变量加上.data，试了都没用。后来发现给初始输入数据没加，加上后报错终于变了，真没想到问题在这。

以上，神经网络好难555 写代码好难