常用的激活函数

---

什么是激活函数

如下图所示：f 则表示激活函数

完整的神经元通常由线性部分和非线性部分组成。如上图所示：

表示神经元的线性部分。
x 表示输入向量。
w 表示权重向量。
b 表示偏移向量。

表示神经元的非线性部分。
f 表示激活函数或者激励函数。
y 表示输出向量。

---

激活函数的作用

现实生活中很多问题之间并非只是简单的线性关系，更多存在的是非线性问题。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

---

常用激活函数

sigmoid函数
Tanh函数
ReLU函数

1、sigmoid函数

公式：

曲线：

2、Tanh函数

公式：

曲线：

3、ReLU函数

公式：

曲线：