torch.nn.dropout和torch.nn.F.dropout

torch.nn.dropout和torch.nn.F.dropout

• nn.dropout是调用F.dropout实现的
• nn.Dropout派生自nn.Module，nn.Dropout是模型钟的一层，所以nn.dropout在模型的init()函数还总被定义为一层，而F.dropout在forward函数中直接使用

import torch
import torch.nn as nn

class Model1(nn.Module):
    def __init__(self,p=0.0):
        super().__init__()
        self.p = p
        
    def forward(self,inputs):
        return nn.functional.dropout(inputs,p=self.p,training=True)

class Modul2(nn.Module):
    def __init__(self,p=0.0):
        super().__init__()
        self.drop_layer = nn.Dropout(p=p)
        
    def forward(self,inputs)
        self.drop_layer(inputs)

model1 = Model1(p = 0.5)
model2 = Model2(p = 0.5)
inputs = torch.rand(10)
print("inputs",inputs)
print('Normal(train)model:')
print('Model 1',model1(inputs))
print('Model 2', model2(inputs))

model1.eval()
model2.eval()
print('Evaluation mode:')
print('Model 1',model1(inputs))
print('Model 2',model2(inputs))

print('Print summary')
print(model1)
print(model2)

如果使用的是F.dropout，那么在model.eval的时候如果没有对dropout函数调整，还是会有dropout操作。使用

nn.functional.dropout(inputs, p=self.p, training=self.training)

就可以和nn.dropout一样

推荐 nn.dropout

1. Dropout被设计为只在训练中使用，所以当你对模型进行预测或评估时，你需要关闭Dropout。nn.dropout可以方便地处理这个问题，在模型进入eval时立即关闭Dropout，而F.dropout并care你是什么模式。
2. 分配给模型的所有模块都在模型中注册。所以模型类跟踪它们，这就是为什么可以通过调用eval()关闭dropout模块。当使用F.dropout时，您的模型并不知道它，所以模型的summary中也不会出现dropout模块