ReLU之参数 inplace=True

在下采样的过程中,我们常常用ReLU(inplace=True),具体的含义:

import torch
from torch import nn as nn
m = nn.ReLU(inplace=True)
input = torch.randn(10)
print(input)
output = m(input)
print(output)
print(input)
tensor([-0.0652,  0.0622,  0.0466, -0.0300, -0.6344, -0.9284, -1.2392,  1.7463,
         0.7938, -0.8787])
tensor([0.0000, 0.0622, 0.0466, 0.0000, 0.0000, 0.0000, 0.0000, 1.7463, 0.7938,
        0.0000])
tensor([0.0000, 0.0622, 0.0466, 0.0000, 0.0000, 0.0000, 0.0000, 1.7463, 0.7938,
        0.0000])

当inplace=True的时候,会改变输入数据;当inplace=False的时候,不会改变输入数据


我们都知道激活函数:ReLU()将小于0的值置为0,大于0 的保存下来了。

你可能感兴趣的:(python,深度学习,机器学习,pytorch)