04 第五章

神经元模型

神经网络

由具有适应性的简单单元组成的广泛、并行、互连的网络，它的组织能够模拟生物神经系统，对真实世界物体所作出的交互反应
神经元模型（简单单元）

M-P 神经元模型

神经元接收到来自 n 个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递。神经元接收到的总输入值将与神经元的阀值进行比较，然后通过“激活函数”处理以产生神经元的输出

image.png

感知机与多层网络

感知机
由两层神经元组成。输入层接收外界输入信号后传递给输出层， 输出层是 M-P 神经元，亦称“阔值逻辑单元”
感知机能容易地实现逻辑与、或、非运算（线性可分）
缺点：
感知机只有输出层神经元进行激活函数处理，即只拥有一层功能神经元，其学习能力非常有限
不能解决非线性可分问题

多层前馈神经网络

每层神经元与下一层神经元全互连，神经元之间不存在同层连接， 也不存在跨层连接
输入：输入层神经元接收外界输入
过程：隐层（输出层与输入层之间的一层神经元）与输出层神经元对信号进行加工
输出：最终结果由输出层神经元输出
神经网络“学”到的东西，蕴涵在连接权与阙值中

标准 BP 算法与累积 BP 算法

• 标准 BP 算法：
  每次仅针对一个训练样例更新连接权与阈值
  参数更新非常频繁，而且对不同样例进行更新的效果可能出现“抵消”现象
• 累积 BP 算法：
  针对累积误差最小化，它在读取整个训练集 D 一遍后才对参数进行更新
  参数更新的频率低得多

缓和 BP 网络的过拟合策略

• 早停
  将数据分成训练集和验证集，训练集用来计算梯度、更新连接权和阈值，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，同时返回具有最小验证集误差的连接权和阈值
• 正规则
  在误差目标函数中增加一个用于描述网络复杂度的部分
  全局最小与局部极小
• 局部极小解
  参数空间中的某个点，其邻域点的误差函数值均不小于该点的函数值
  可能存在多个
• 全局最小解
  参数空间中所有点的误差函数值均不小于该点的误差函数值
  全局唯一