神经网络中的Dropout

1、作用：
普通神经网络加上Dropout，防止过拟合

2、原理
Dropout是在训练的过程中，随机选择去除一些神经元，在测试的时候用全部的神经元，这样可以使得模型的泛化能力更强，因为它不会依赖某些局部的特征

class Dropout:
    """随机删除神经元
       正向传播时，传递了信号的神经元，反向传播时按照原样传递信号
       没有传递信号的神经元，反向传播时停止

       机器学习中，常常采用！集成学习！：
                              多个模型单独进行学习，推理时再取多个模型的输出的平均值

        droput作用：防止过拟合
        droput原理：训练时去除一些神经元，在测试的时候用全部的神经元，这样可以使得模型泛化能力更强，因为它不会太依赖某些局部的特征
        """
    def __init__(self, dropout_ratio=0.5):
        self.dropout_ratio = dropout_ratio
        self.mask = None

    def forward(self, x, train_flg=True):
        if train_flg:
            self.mask = np.random.rand(*x.shape) > self.dropout_ratio
            return x * self.mask
        else:
            return x * (1.0 - self.dropout_ratio)

    def backward(self, dout):
        return dout * self.mask