小白入门深度学习 | 3-2:激活函数activation

文章目录

    • 一、什么是激活函数
    • 二、激活函数的种类
      • 1. sigmoid
      • 2. Tanh
      • 3. ReLU
      • 4. LReLU
      • 5. PReLU
      • 6. RReLU
      • 7. ELU
      • 8. Swish
      • 9. hswish
    • 三、激活函数的选择
    • 四、激活函数相关问题

一、什么是激活函数

生物神经网络启发了人工神经网络(ANN)的发展。但是,人工神经网络并非大脑运作的近似表示。不过在我们了解为什么在人工神经网络中使用激活函数之前,先了解生物神经网络与激活函数的相关性是很有用处的。

典型神经元的物理结构包括细胞体、向其他神经元发送信号的轴突和接收其他神经元发送的信号或信息的树突。

你可能感兴趣的:(《小白入门深度学习》,深度学习,人工智能)