pytorch中激活函数ReLU

nn.ReLU(inplace=True)

Parameters
inplace – can optionally do the operation in-place. Default: False

ReLU(x)=max(0,x)
pytorch中激活函数ReLU_第1张图片
参数inplace=True:
inplace为True,将会改变输入的数据 ,否则不会改变原输入,只会产生新的输出

注: 产生的计算结果不会有影响。利用in-place=True计算可以节省内(显)存,同时还可以省去反复申请和释放内存的时间。但是会对原变量覆盖,只要不带来错误就用。

m = nn.ReLU()
n = nn.ReLU(inplace=True)
input = autograd.Variable(torch.randn(5))
inputTemp = input
print(input)
print(m(input))
print(input,'\n')
print(inputTemp)
print(n(inputTemp))
print(inputTemp)

#运行结果
tensor([ 0.2750, -0.1387, -0.6451, -0.8800,  0.4505])
tensor([0.2750, 0.0000, 0.0000, 0.0000, 0.4505])
tensor([ 0.2750, -0.1387, -0.6451, -0.8800,  0.4505]) 

tensor([ 0.2750, -0.1387, -0.6451, -0.8800,  0.4505])
tensor([0.2750, 0.0000, 0.0000, 0.0000, 0.4505])
tensor([0.2750, 0.0000, 0.0000, 0.0000, 0.4505])

你可能感兴趣的:(pytorch)