第八章 人工神经网络与深度学习

本节重点

训练多层神经网络的过程：

训练过程可以分为以下步骤：
– 前馈计算：从输入层开始，计算每一层的状态和激活值，直到最后一层；

– 误差计算：计算当前实例产生的误差

– 误差反传：从输出层开始，逐层计算每个神经元的信号，并反向传播到前层

– 权重更新：根据信号，计算权重的导数，并更新参数

下面将详细介绍

一、生物神经元模型

– 通过多个树突获取信息，通过轴
突传递信号

–多个神经元之间通过轴突、树突
形成连接，构成神经元网络

– 神经元之间能够逐级传递脉冲电
位信号

– 神经元之间连接数量的多少、粗
细等生物特征表示了连接强度
神经网络的层数决定了其分类能力
– 双隐层的网络就可以解决任意复杂度的分类问题！

二、感知器算法

2.1 感知器模型的结构

2.2 感知器权重学习方法

• 我们采用的是“奖惩分明”策略

– 对于一个样本，如果当前权重能够正确判断其类型，就“奖励”当前权重，提高其比例。

– 反之，则惩罚当前权重，降低其比例。

– 如此反复，直到某个权重对所有样本均不产生错误，或者错误不再降低。

2.3 实例

2.4 感知器算法的问题和改进

2.5 人工神经元模型特点

三、前馈神经网络和BP算法

3.1 FNN结构

FNN可以看做是一个多层感知器模型

3.2 FNN问题

FNN具有多层神经元，权重的调整具有3个难点：

– 网络误差是由多层信号累积导致，如何“分配”误差到各个层？

– 隐含层神经元无法直接观测其误差，如何调整权重？

– 全连接层权重数量众多，计算量问题凸显。

四、错误反向传播（BP）算法

FNN实例

利用FNN解决MNIST问题

五、卷积神经网络

5.1 视觉通路

5.2 视觉皮层和图像卷积

5.3 实例

5.4 卷积神经网络(CNN)