笔记 - 神经网络:激活函数

提供了非线性变化
为什么需要提供非线性变化

笔记 - 神经网络:激活函数_第1张图片

  • 不可导处的反向传播如何进行

relu

笔记 - 神经网络:激活函数_第2张图片

relu6笔记 - 神经网络:激活函数_第3张图片

crelu笔记 - 神经网络:激活函数_第4张图片

笔记 - 神经网络:激活函数_第5张图片
引用:CReLU激活函数

elu

笔记 - 神经网络:激活函数_第6张图片

lrelu

笔记 - 神经网络:激活函数_第7张图片

relu relu6 elu 的区别

relu    只允许正例通过
relu6   给正例的输出增加了上限 (relu6的上限为6)
elu     在relu的基础上,允许负例通过(负例输出的范围:(-10))
不同类别的relu作用有啥不同

softplus

笔记 - 神经网络:激活函数_第8张图片

softsign

笔记 - 神经网络:激活函数_第9张图片

sigmod笔记 - 神经网络:激活函数_第10张图片

tanh笔记 - 神经网络:激活函数_第11张图片

  • 正切双曲线

笔记 - 神经网络:激活函数_第12张图片

TODO

  • 不同激活函数,各自有什么效果,为什么

参考

TensorFlow中级教程 第2章第3,4节:激活函数API详解

你可能感兴趣的:(AI)