激活函数

激活函数(link/activation/decision/transfer function)

使用目的

作用就是避免神经网络中每一层输出都是线性函数,从而导致最后的输出是输入的线性组合。当使用激活函数使得最后的输出不再是线性组合而是任意的逼近函数时,神经网络的表达能力就更加强大了。
常用激活函数:
- sigmoid函数
- tanh函数
- relu函数
下面详细讲解每一种激活函数

sigmoid函数

  • 数学形式
    激活函数_第1张图片
  • 图形(左函数图形,右函数倒数图形)
    激活函数_第2张图片
  • 特性
    在这里插入图片描述

tanh函数

  • 数字形式
    在这里插入图片描述
  • 图形
    激活函数_第3张图片

Relu函数

  • 数字形式
    在这里插入图片描述
  • 图形
    激活函数_第4张图片

你可能感兴趣的:(机器学习)