两个pytorch小bug

No.1

报错内容:RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [128, 1]], which is output 0 of TBackward, is at version 2; expected version 1 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).

解读：意思是出现了“原地踏步”的代码。该问题一般出现在反向传播backward时，意思是某个变量重复覆盖了，即原地踏步，不太好说，我举个栗子：

# 错误代码：
Pt=nn.Softmax()(Pt)

上面Pt是一个反向传播更新的参数，但是再其backward之前，出现了这么一行，就认为是原地踏步了，直接导致上述错误，

• 正确的方法是：

Pt_soft=nn.Softmax()(Pt)

然后接下来使用Pt_soft继续代码。

No.2

pytorch: can’t optimize a non-leaf Tensor

解读，这个tensor是一个non-leaf结点，是非叶结点，这很好理解，优化应当是从它开始优化，它之前不应有梯度操作。结合下面两个例子：

• 下面是一种情况：
  
• 更多的情况是：

Pt=torch.FloatTensor(args.n_labels).fill_(1.0 / args.n_labels).to(DEVICE)
Pt=nn.Parameter(Pt,requires_grad = True)
Pt=nn.Softmax()(Pt)
critic_Pt = torch.optim.Adam([Pt], lr=args.lr) 

在Pt放到优化器之前有一个Softmax的梯度操作，导致覆盖之后的Pt并不是叶子结点，覆盖之前的Pt才是。修改方法就不用我多说了。