Pytorch中inplace操作

前言

之前在写训练代码时，遇到了inplace operation导致的问题，所以就了解了一下pytorch的inplace operation，在此记录一下inplace操作的一些知识。报错信息如下：

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation.

Inplace操作概述

稍微了解过python的人应该会知道python的变量名是一个类似索引的东西，其指向内存中的一个对象。而对该变量重新赋值，实际上是将该变量名指向内存中的其它对象，原对象本身其实并未改变。而Inplace操作并非如此，该操作会直接改变原对象的内容，这样能减少内存的消耗，但也会带来一些隐患。

非inplace操作如下图所示，运算操作先是开辟了一块新的内存存放运算后的结果，然后再将引用指向新内存，而旧内存的内容保持不变。

而inplace操作则不同，运算操作会直接在旧内存上进行更改，而并不会另外开辟一个新内存进行运算结果的存放。

inplace操作的优缺点

要使用好inplace操作，首先肯定需要知道其存在的优点以及缺点。根据inplace操作的原理，其实不难发现其优点就在于节省内存，尤其是在处理高维数据时能显著减少额外的内存开销，这在训练神经网络时是很有价值的一个特性。但在节省内存的同时，inplace操作也带来了一些隐患，pytorch的官方文档是这样说的：

1. inplace操作可能会覆盖计算梯度所需的值。

2. 每个inplace操作实际上都需要实现重写计算图。Out-of-place版本只是简单地分配新对象并保持对旧图的引用，而inplace操作则要求将所有输入的创建者更改为表示该操作的函数。

也就是说，在Autograd中支持inplace操作很困难，有时候会在不经意间导致自动求导失败，得到上文所提到的报错。同时，Autograd积极的缓冲区释放和重用使其非常高效，inplace操作实际上并不能降低太多内存的消耗，因此在大多数情况下不鼓励使用。除非在沉重的内存压力下运行，否则可能永远不需要使用inplace操作。

PS：如果你使用了inplace操作而没有报错的话，那么你可以确定你的梯度计算是正确的。但是，这仅仅表示Autograd计算梯度无误，如果出现了该内存被其他变量引用而未注意，依旧可能存在计算一致性的风险。

常见的inplace操作

inplace操作有优点也有缺点，但总体来说还是弊大于利，所以如果显存足够的话，还是尽量少用inplace操作。那inplace操作有哪些呢？

1. 数值运算，如x+=1属于inplace操作，会直接对x的值进行操作；而y=x+5则不属于inplace操作（PS：x+=1虽然是inplace操作，但求导时其导数为1，导数值并不与x的值相关，所以不会对反向传播产生影响，故这种情况的影响不大）

2. pytorch提供的一些inplace选项，如nn.ReLU(inplace=True)、nn.LeakyReLU(inplace=True)，这些选项的安全性要高一些，但也需要注意中间变量后续是否需要，如果后面还需要使用中间变量，就应当设置inplace=False

3. 具有 _ 后缀的方法，如x.copy_(y)，x.t_()，将直接改变x。同时，一些常见的操作如x.add_(y)、x.mul_(y)也会直接改变x，除非有特定需求，否则不建议使用这类inplace操作，隐患比前两种情况高很多。

以上是常见的一些inplace操作，虽然不建议使用inplace操作，但还是需要了解一下，以免日后遇到问题。

总结

inplace操作会直接修改原内存处的值，虽然会节省一些内存，但也会带来一些隐患，如自动求导出错等。因此如果不是内存十分紧缺，不建议使用inplace操作。

参考链接

• PyTorch中的In-place操作是什么？为什么要避免使用这种操作？_ronghuaiyang的博客-CSDN博客

• pytorch中的ReLU与inplace原地操作的一些注意点 - 知乎 (zhihu.com)

• PyTorch的inplace的理解_Raywit的博客-CSDN博客_inplace pytorch

• PyTorch中In-palce（就地操作） - 知乎 (zhihu.com)

• 关于pytorch中inplace运算需要注意的问题 - 那抹阳光1994 - 博客园 (cnblogs.com)