机器学习 第五章 神经网络

5.1 神经元模型

神经网络中最基本的单位是神经元模型，在生物神经网络中，每个神经元与其他神经元相连，当“兴奋”时，就会向相连的神经元发送化学物质，改变神经元内电位，若超过了某个“阈值”，那么它就会被激活，即“兴奋”起来。
M-P神经元模型：

“激活函数”可以处理输入信号以产生神经元的输出

典型的神经元激活函数：

5.2 感知机与多层网络

感知机由两层神经元组成，输入层接受外界信号给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”。

感知机能容易的实现与，或，非运算。

感知机只有输出层神经元进行激活函数处理，即只拥有一层神经元，学习能力有限。感知机能解决的与或非均为线性可分问题，但不能解决异或这种简单的非线性可分问题

若要解决，就需要使用多层功能神经元

6.3 误差逆传播算法

训练多层网络，误差逆传播（BP）是最杰出的代表，是迄今最成功的神经网络学习算法。
BP算法不仅可用于多层前馈神经网络，还可用于其他类型的神经网络。

BP 算法工作流程：

BP算法的目标是要最小化训练集D的累积误差

根据图5.8如果类似的推导出基于累计误差最小化的更新规则，就得到了累计误差逆传播算法，
标准BP算法每次针对单个训练样例更新权值与阈值。累计BP算法其优化目标是最小化整个训练集上的累计误差。在很多任务中，累计误差下降到一定程度后，进一步下降会非常缓慢，这是标准BP算法往往会获得较好的解，尤其当训练集非常大时效果更明显。

由于强大的表示能力，BP神经网络经常遭遇过拟合，训练误差持续降低，但测试误差却可能上升。有两种策略可以缓解。第一是 早停。第二是 正则化。

5.4 全局最小与局部极小

此外，遗传算法也常用来训练神经网络以更好地逼近全局最小。

5.5 其他常见神经网络

RBF网络

ART网络

SOM网络

结构：

SOM训练目标：为每个输出层神经元找到合适的权向量以保持拓扑结构

级联相关网络

将网络的结构也当做学习的目标之一，往往在训练过程中找到适合数据的网络结构

与一般的前馈神经网络相比，级联相关网络无需设置网络层数，隐层神经元数目，且训练速度较快，但数据较小时容易陷入过拟合。

Elman网络

Bolyzmann机

5.6 深度学习

典型的深度学习模型就是很深层的神经网络。

另一种节省开销的策略是”权共享“，即让一组神经元使用相同的权连接。这个策略在卷积神经网络中发挥的重要作用，以CNN进行手写数字识别任务为例，如图