初识神经网络一

由感知机到神经网络

感知机是经由加权信号与偏置的和决定输出信号；神经网络在感知机的基础上加了一个激活函数，即 加权信号与偏置的和 再经过激活函数，才输出信号。

用公式表示：

激活函数

激活函数以阈值为界，超过阈值切换输出。激活函数也被称为“阶跃函数”。

需要注意的是神经网络的激活函数必须是非线性函数。原因是线性函数没有办法发挥多层神经网络的优势。不管线程函数的层级是多少，总能找到一个简单的“神经元”来替代它。

sigmod函数

在神经网络的早期常用的激活函数式sigmod函数，其公式如下：

对应的图形如下：

sigmoid函数.png

这里需要注意的是，sigmoid函数是一条平滑的曲线，其返回值可以是连续实数。对应感知机中的0和1的输出，神经网络中流动的是连续的实数值信号。

ReLU函数

不同于早期使用sigmoid作为激活函数，现在则主要使用ReLU函数作为激活函数。其公式为

其图形如下：

ReLU函数.png

神经网络内积

在实现神经网络时，需要输入信号、权重以及输出信号的shape。

神经网络内积.jpg