深度学习- 激活函数总结（Sigmoid, Tanh, Relu, leaky Relu, PReLU, Maxout, ELU, Softmax,交叉熵函数）
激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题激活函数通常有以下性质–非线性–可微性–单调性–≈–输出值范围–计算简单–归一化1.Sigmoid函数Sigmoid函数由下列公式定义Sigmoid函数的图形如S曲线其对x的导数可以用自身表示：Sigmoid导数的图形如下优点：平滑、易于求导。值域在0和1之间,函数具有非常好的对称性缺点：1）激活函数计算量大，反向传播求误差梯度时，求导涉