深度学习—激活函数（一）

神经元

        神经元通常具有多个树突，主要用来接受传入信息；而轴突只有一条，轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。这个连接的位置在生物学上叫做“突触”。

　　人脑中的神经元形状可以用下图做简单的说明：

        感知器是最古老的神经网络，由 Frank Rosenblatt 于 1958 年创建。 它有一个神经元，是神经网络最简单的形式， 它们由输入层、一个或多个隐藏层以及输出层组成：这些神经网络通常也被称为 MLP，但它们实际上由 sigmoid 神经元而不是感知器组成

        这里的非线性函数就是激活函数，是一个阈值函数，超过某个值才能有输出。就像青蛙的神经元，刺激足够强才会做出反应。这个激活函数可表示为：

                                ​​​​​​​                ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

 这个激活函数有个致命缺陷：不可导，所以不能用梯度下降来优化！

所以提出sigmoid函数：