(四)pytorch中激活函数

1、nn.ReLU()

                                        

绿色曲线为原函数，红色曲线为导函数。

 特点：

1）relu的导数在大于0时，梯度为常数，不会导致梯度弥散。在小于0时导数为0，当神经元激活值进入小于0，梯度为0，也就是说，这个神经元不会被训练，即稀疏性。计算方便

2）relu单元在训练中将不可逆转的死亡，导致数据多样化的丢失。如果学习率设置的太高，可能会发现网络中40%的神经元都会死掉（在整个训练集中这些神经元都不会被激活）。在神经网络中，隐含层的激活函数，最好选择Relu。

2、nn.LeakyReLU

Relu是将所有的负值都为零，相反，leakyRelu

3、