一般在python中不会考虑像C++中的内存问题,但是在一些高级应用中会考虑,例如有一个特别特别大的矩阵,最好不要不断的赋值,导致内存问题产生。
在python中有个id()
函数, 它给我们提供了内存中引用对象的确切地址,这个id就像C++中的指针,id在python中表示object的唯一标识号。
1.有如下代码:Y的 id 存在变量before中,把Y+X在赋值为Y(相当于又创建了一次Y),这个Y的 id 和之前Y的 id 是不相同的。
#创建 X、Y
X = torch.arange(12,dtype = torch.float32).reshape(3,4)
Y = torch.tensor([[2.0,1,4,3],[1,2,3,4],[4,3,2,1]])
before = id(Y)
print('id(Y):',id(Y))
Y = Y + X
print('id(Y):',id(Y))
id(Y) == before
运行结果:
这可能是不可取的,原因有两个:
(1)首先,我们不想总是不必要地分配内存。在机器学习中,我们可能有数百兆的参数,并且在一秒内多次更新所有参数。通常情况下,我们希望原地执行这些更新;
(2)如果我们不原地更新,其他引用仍然会指向旧的内存位置,这样我们的某些代码可能会无意中引用旧的参数。
2.执行原地操作,使用切片表示法将操作的结果分配给先前分配的数组。首先创建一个新的矩阵Z,其形状与另一个Y相同,使用pytorch中的zeros_like
来分配一个全0的块,见如下代码。
Z = torch.zeros_like(Y)
print('id(Z):',id(Z))
Z[:] = X + Y
print('id(Z):',id(Z))
3.如果在后续计算中没有重复使用X, 可以使用X[:] = X+ Y
或者X += Y
来减少操作的内存开销即两次的id是一样的,见如下代码。
#创建 X、Y
X = torch.arange(12,dtype = torch.float32).reshape(3,4)
Y = torch.tensor([[2.0,1,4,3],[1,2,3,4],[4,3,2,1]])
before = id(Y)
print('id(Y):',id(Y))
Y += X
print('id(Y):',id(Y))
id(Y) == before
☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺
我是韩一,用知识认识更多的人,欢迎大家指正!