pytorch 笔记 ：实现Dropout

1 理论部分

首先说明一点，dropout是用来解决overfitting的，如果在训练集上实验效果就不理想，那么加了dropout也救不了。

第二点是，Dropout常作用在多层感知机的隐藏层输出上，（CNN之类用得不多）

1.1 training时的dropout

使用了Dropout之后，训练的时候，每个神经元都有p的概率不向后传递自己的信息。

把上图画×的申请元擦掉（因为这些神经元不传递自己的信息，在本轮training中是没有作用的【也就是这些神经元这一轮不会更新】），可以得到一个更“细”的神经网路

但这并不代表其他的神经元没有作用了。对每个mini-batch，我们重新计算那些神经元参与传递哪些没有。所以最后所有的参数都会被更新的。

1.2 testing时的dropout

测试模型的时候，神经元就都是相连的了，只不过权重值得乘以(1-p%)

从另一个视角看dropput，它相当于把一堆共享参数的model整合起来

2  pytorch实现Dropout

Dropout训练的时候，需要声明model.train()（不声明也行，因为默认是train状态）

Dropout测试的时候，则是需要声明model.eval()（如果不希望开启dropout进行训练，所有的神经元都参与前向传播和反向传播的话，在训练阶段开启前声明model.eval()即可）

#导入库
import torch


#神经网络结构声明
net=torch.nn.Sequential(
    torch.nn.Linear(1,16),
    torch.nn.Dropout(p=0.5),
    torch.nn.ReLU(),
    torch.nn.Linear(16,2)
    )

net.train()
net.eval()
net
'''
Sequential(
  (0): Linear(in_features=1, out_features=16, bias=True)
  (1): Dropout(p=0.5, inplace=False)
  (2): ReLU()
  (3): Linear(in_features=16, out_features=2, bias=True)
)
'''