理解激活函数

一、何为激活函数?

  • 深度学习中,激活函数通常指能够实现非线性映射的函数

二、为什么需要非线性激活函数?

  • 定义:这里根据常用表示方法将隐藏层第一层作为神经网络的第1层,输入层则作为第0层
  • 根据上述推导,如果使用线性激活函数,无论神经网络有多少层,都只是计算输入特征的线性组合,那还不如全部去掉所有隐藏层。

三、常用的激活函数

四、经验法则

  • 不同层的激活函数可以不一样
  • sigmoid函数除了用在二元分类的输出层,其他情况建议不要使用
  • ReLU函数(修正线性单元)最常用

五、激活函数的导数

你可能感兴趣的:(理解激活函数)