PyTorch简明笔记[3]-神经网络的基本组件（Layers、functions）

前言：

PyTorch的torch.nn中包含了各种神经网络层、激活函数、损失函数等等的类。我们通过torch.nn来创建对象，搭建网络。
PyTorch中还有torch.nn.functional，让我们可以通过调用函数的方式，来直接搭建网络，而不用像torch.nn一样要先创建对象。

我们可以按照自己的习惯，结合上面两种方法，来搭建网络。
一般情况下，对于像Conv层这种需要定义多个参数的时候，我们采用torch.nn的方式比较方便，而对于参数比较少的，或者不用设置参数的，尤其是一些函数，我们就可以采用torch.nn.functional来定义。一般我们import torch.nn.functional as F，这样后面写起来方便一些。

torch.nn.Module是所有神经网络模型的基本类（basic class），所有的模型都应该是它的子类。

定义模型的方法如下（只是一种形式）：

# 神经网络模型包：
import torch.nn as nn
# 神经网络中的各种函数包：
import torch.nn.functional as F

# 继承nn.Module
class Model(nn.Module): 
    def __init__(self):
        # 调用nn.Module的初始化方法
        super(Model, self).__init__()
        # 添加该模型的自定义初始化（主要是定义神经网络层）
        self.conv1 = nn.Conv2d(1, 20, 5)
        self.conv2 = nn.Conv2d(20, 20, 5)
    
    # 定义模式的输出是怎么计算的
    #（主要写各层之间通过什么激活函数、池化等等来连接）
    def forward(self, x):
       x = F.relu(self.conv1(x))
       return F.relu(self.conv2(x))

通过上面的方式定义了模型类之后，我们就可以使用nn.Module内置的.parameters()方法来获取模型的参数。我们后面要更新的就是这些参数。

---

一、常用的神经网络层

这里，我们介绍以下几种layers：

1. 卷积层-Conv2d
2. 全连接层
3. 池化层
4. Dropout
5. BatchNorm

1.卷积层（2D）

CLASS
torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)

• 注意是个类，要创建对象后再使用。
• 参数中的kernel_size, stride, padding, dilation的值，可以为int，也可以为tuple。是int的时候，就代表长宽相等。
• Input size为(N,C_in​,H,W)；
  Output size为(N,C_out​,H_out​,W_out​).
  其中，N为batch size，即样本数，C为channel数，H为height，W为width。

举例：

2.全连接层/线性层

采用CLASS方式
torch.nn.Linear(in_features, out_features, bias=True)

• Input size = (N,∗,in_features)
  Output size = (N,∗,out_features)
  举例：

  
  
  

3.Pooling（2D）层

采用CLASS方式
torch.nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)
torch.nn.AvgPool2d(kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True)
举例：

采用Function方式：（似乎更简洁）
F.avg_pool2d(input, kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True) → Tensor

4.Dropout 层

CLASS
torch.nn.Dropout(p=0.5, inplace=False)
torch.nn.Dropout2d(p=0.5, inplace=False)

• 前者通常接受来自nn.Linear的数据
• 后者通常接受来自nn.Conv2d的数据

举例：

5.BatchNorm（2D）

CLASS
torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

BN层的主要作用是，通过对数据进行标准化，来加速神经网络的训练。
唯一必须设置的参数num_features 要等于输入数据(N,C,H,W)中的C，就是Channel数。

---

二、常用的激活函数

采用CLASS方式:
torch.nn.ReLU(inplace=False)
torch.nn.Sigmoid
torch.nn.Tanh
torch.nn.Softmax(dim=None)

这些很简单，就不解释了。举例：

采用Function方式（更简洁）:

三、损失函数

MSE
torch.nn.MSELoss(size_average=None, reduce=None, reduction='mean')
Cross-Entropy
torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean')

用法也很简单，把预测值（input）和标签值（target）扔进去就行：

这里对 Cross-entropy的使用有一点需要注意的地方：

从文档可以看到，这个 Target（即label）的值有限制，值的大小需要再[0,C-1]之间。
比如，我们有5个类别，C=5，那么你给的标签值必须在[0,4]之间，不能取其他的数字。

---

上面的内容列举了最常见的一些layers和functions。我在举例子的时候，主要是采用torch.nn定义Class的方式，无论是layer还是函数，都是先创建对象，在用对象去进行操作。上面写的每一个，其实在torch.nn.functional中都有对应，使用起来相当于省掉了创建对象那一步，所以就不赘述了。

下一篇笔记记录如何使用上面的这些组件，去搭建神经网络，做一个图片分类模型。

---

欢迎关注我的专题：
DeepLearning笔记
不妨来我的知乎专栏逛逛吧：
DeepLearning学习笔记
更精美的文章，欢迎关注我的微信公众平台 SimpleAI：