Dropout 深度学习中间的正则化手段之一

nn.Dropout ---- input 可以是任何形状和尺寸,一般是用在全连接线性映射之后(紧跟着)。

nn.Dropout2d ---- input 必须是(N,C,H,W) 这样的多通道2维数据集合。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。

nn.Dropout3d---- input 必须是 (N,C,D,H,W) 这样的多通道的3维数据集。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。

nn.AlphaDropout---input 可以是任何尺寸,输出的尺寸大小和input一致, 目的是为了保证输出的结果是零均值和单位方差。

nn.FeatureAlphaDropout ---input必须是(N,C,D,H,W) 或者是 (C,D,H,W), 输出尺寸大小和输入一致。 保证输出的结果是零均值和单位方差。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。

你可能感兴趣的:(Dropout 深度学习中间的正则化手段之一)