反向传播时sigmoid函数的梯度计算实现

sigmoid类实现如下：

import math

class sigmoid:

def forward(self,input):

self.out=1/(1+ math.exp(-input))

return self.out

def backward(self,doutput):

self.grad=doutput*(1-self.out)*self.out#sigmoid函数的导数为y*(1-y)。y就是本层正向传播的输出。

return self.grad

sigmoid函数的导数为y*(1-y) ，因为反向传播的输入就是损失函数对上层的正向传播时输入的导数。那就直接用dout直接与本层的导数相乘，就得到了，损失函数对本层的正向输入时x的导数，同时也就是反向传播时下层的输入。