Relu激活函数层的实现

Relu激活函数层的实现

Relu

class Relu:
    def __init__(self):
        self.mask = None

    def forward(self, x):
        #mask是由True/False构成的numpy数组，这里会将x中小于等于0的存为True
        self.mask = (x <= 0)
        out = x.copy()  #复制一份x，改变out不会影响x
        #这里只会改变为True的值，将其保存为0
        out[self.mask] = 0
        # 数组现在只有大于0的和等于0的
        return out

    def backward(self, dout):
        # 如果正向传播的输入值小于等于0，则反向传播的值等于0
        dout[self.mask] = 0
        dx = dout
        return dx

拓展

class Relu:
    def __init__(self):
        self.mask = None

    def forward(self, x):
        #mask是由True/False构成的numpy数组，这里会将x中小于等于0的存为True
        self.mask = (x <= 0)
        out = x.copy()  #复制一份x，改变out不会影响x
        #这里只会改变为True的值，将其保存为0
        out[self.mask] = 0
        # 数组现在只有大于0的和等于0的
        return out

    def backward(self, dout):
        # 如果正向传播的输入值小于等于0，则反向传播的值等于0
        dout[self.mask] = 0
        dx = dout
        return dx

拓展块借鉴这个链接
https://blog.csdn.net/goryeon/article/details/101295036