神经网络的一些基础知识

1. 激活函数

背景：神经元在接收到输入之后，不会立即做出反应，而是要等输入增强到超过一个阈值，才会触发输出。也就是说，神经元不希望传递微小的噪声信号，而只是传递有意识的明显信号。

两个要点：1. 激活函数的形式；2. 激活阈值

两种激活函数：阶跃函数和S函数(逻辑函数)

激活函数

2. 连接权重

通过改变连接权重，可以控制神经元输入值的大小。训练前对权重进行初始化，这些初始值借助误差进行学习优化，从而调整神经元之间的连接权重。

神经元之间的连接权重

！注意：输入神经元不使用激活函数

3. 信号在相邻层神经元之间的传播

（1）输入，（2）权重，（3）激活函数，（4）输出

相邻层神经元间的信号传递

4. 权重的更新

    更新原则：（1）误差均分；（2）按权重分配

权重更新原则

5. 信号的前向传播和误差的反向传播

前向传播和后向传播

6. 权重更新的梯度下降法

以寻找二次函数的最小值为例：

二次函数最小值求解

步骤：（1）任取初始点；（2）求斜率；（3）往相反的梯度方向增加X值

为提高准确性：

（1）选取多个起点，多次训练神经网络；

（2）选取合适的误差函数，利用梯度下降寻找误差函数极小值点，即是最优权重；

权重更新矩阵

神经元连接如下图所示：

输入层-隐藏层-输出层

以隐藏层和输出层之间的权重更新为例，误差函数定义为目标值与实际值之间的均方误差

权重更新矩阵的推导

7. 权重的初始化要求

（1）经验规则：从均值为零，标准方差等于节点传入链接数量平方根倒数的正态分布中进行采样。

（2）禁止将初始权重设定为相同的恒定值，禁止将初始权重设定为零。