机器学习之常用激活函数

人工神经网络中最基本的单元叫神经元，又叫感知器，它是模拟人脑神经系统的神经元（分析和记忆）、树突（感知）、轴突（传导）的工作原理，借助计算机的快速计算和存储来实现。它的主体结构如下：

激活函数常用类型有：线性激活函数、符号激活函数、Sigmoid激活函数、tanh激活函数、高斯激活函数、ReLU、GeLU等
线性激活函数：
$$f(x)=kx+c$$
符号函数：
$$f(x)=\{\begin{array}{l}1x\ge 0\\ 0\end{array}$$