西瓜书—Task4

第五章 神经网络

基本内容

详细内容

神经网络
“神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应”

M-P 神经元模型
神经元接收到来自 n 个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接(connection)进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过"激活函数" (activation function) 处理以产生神经元的输出.

感知机
感知机(Perceptron)由两层神经元组成，输入层接收外界输入信号后传递给输出层， 输出层是 M-P 神经元，亦称"阈值逻辑单元" (threshold logic unit). 如图：

感知机学习规则：

其中 η 称为为学习率
需注意的是，感知机只有输出层神经元进行激活函数处理，即只拥有一层功能神经元(functionalneuron)，其学习能力非常有限.

误差逆传播算法（BP算法）
BP 算法不仅可用于多层前馈神经网络，还可用于其他类型的神经网络，例如训练递归神经网络。但通常说 "BP 网络"时，一般是指用 BP 算法训练的多层前馈神经网络。
BP 算法究竟是什么样？
给定训练集 D = {(x₁， y₁), (x₂,y₂)，… , (x_m , y_m)}, x_i∈R^d,y_i∈R^l，即输入示例由 d 个属性描述，输出 l 维实值向量。 下图给出了一个拥有 d 个输入神经元、 l 个输出神 经元、 q 个隐层神经元的多层前馈网络结构。假设隐层和输出层神经元都使用Sigmoid函数.

对训练例 (x_k，y_k)， 假定神经网络的输出为：

即：

则神经网络在 (x_k，y_k)上的均方误差为 ：

上图神经网络中有 (d + l + 1) q + l 个参数需确定:
输入层到隐层的 dxq 个权值、 隐层到输出层的 q x l 个权值、 q 个隐层神经元的阈值、 1 个输出层神经元的阈值。
BP 是一个迭代学习算法，在迭代的每一轮中采用广义的感知机学习规则对参数进行更新估计任意参数 v 的更新估计式为:

BP 算法的工作流程
对每个训练样例， BP 算法执行以下操 作:
先将输入示例提供给输入层神经元，然后逐层将信号前传，直到产生输出层的结果；
然后计算输出层的误差(第 4-5 行)，
再将误差逆向传播至隐层神经元(第 6 行)，
最后根据隐层神经元的误差来别连接权和|词值进行调整(第 7 行).
该法代过程循环进行，直到达到某些停止条件为止

BP 算法的目标是要最小化训练集 D 上的累积误差

参考：周志华—机器学习