PyTorch中nn-XXX与F-XXX的区别

nn.XXX与F.XXX

PyTorch中torch.nn**（以下简写为nn）中的模块和torch.nn.functional（以下简写为F）**中的模块都提供了常用的神经网络操作，包括激活函数、损失函数、池化操作等。它们的主要区别如下：

• nn中的模块是以类形式存在的；F中的模块是以函数形式存在的
• nn中的模块是nn.Module的子类，包含可学习参数、可导，在反向传播中可以计算梯度，可以在模型中作为子模块使用；F中的模块是纯函数，没有与之相关联的可学习参数，虽然也可以用于反向传播，但是其梯度需要手动计算
• nn中的模块需要实例化后，将张量作为实例的调用参数；F中的模块直接传递张量作为参数
• nn中的模块可以管理和访问模块的内部参数和状态；F中的函数是纯函数，没有与之相关联的参数或状态，因此无法直接管理和访问函数的内部状态

nn.Relu与F.relu()

以激活函数ReLu为例，在使用激活函数时，有以下两种方式可以使用：

# 方法一
nn.ReLU()
# 方法二
F.relu(input)

这两种方法都是使用ReLu激活，但使用的场景不一样。

• nn.ReLU是一个类，必须实例化后才能使用，一般在定义网络层的时候使用

  # nn.ReLU的常用方法
  nn.Sequential(
              nn.Conv2d(in_channels, out_channels),
              nn.ReLU(inplace=True)
          )
  

• F.relu()是函数调用，一般使用在foreward()函数中

• nn.ReLU只能处理Variable类型的张量；而F.relu()可以处理Tensor和Variable类型的张量

• nn.ReLU需要额外占用内存用来存储中间结果；而F.relu()则是直接在原张量上进行操作，不需要额外的内存占用

另外：

• 当用print()打印输出神经网络时，会输出nn.ReLU()层，而F.relu()是没有输出的