西瓜书chapter5简摘

神经元

• 多层前馈神经网络

• 每层神经元之间并不存在同层连接，也不存在跨层连接，并且与下层完全连接。
• 两端分别为输入层/输出层，中间为隐层/隐含层（hidden layer）
• 隐含层和输出层都是具有激活函数的功能神经元。输入层仅能接受输入，不进行函数处理。
• 神经网络的学习过程就是确定，训练数据调整神经元之间的“连接权”（connected weight)以及神经元之间的阈值。

误差逆传播算法（error BackPropagation,BP）

• 一种训练多层网络的迭代学习算法

W_ql,v_dq分别代表输出层、输入层与内参的连接权，b_q代表节点上的阈值。l、q、d分别代表输出的种类，内参的个数、输入的种类

每个训练样例， BP 算法执行以下操作:

先将输入示例提供给输入层神经元，然后逐层将信号前传，直到产生输出层的结果;然后计算输出层的误差，再将误差逆向传播至隐层神经元 ，最后根据隐层神经元的误差来别连接权和|词值进行调整.该法代过程循环进行，直到达到某些停止条件为止.

• 累积误差逆传播算法（ABP）：标准BP算法（上述算法），针对的是一个训练样例的连接权和阈值更新。而ABP算法则是针对所有样例读取一遍后再进行整体更新。在训练集较大的情况下，标准BP效果好于ABP。

• BP神经网络容易”过拟合“：因此提出了两种解决办法

  1、早停：划分测试集，当训练集误差降低而测试集误差变高时取前一次结果作为最终结果。

  2、正则化：增加网络复杂度的描述，对经验误差和网络复杂度折中考量。

其他常见神经网络

• ART（adaptive resonance theory）自适应谐振网络：比较层、识别层、识别阔值和重置模块构成.其中 7 比较层负责接 41;c输入样本?并将其传递给识别层神经元.识别层每个神经元对应 J 个模式类，神经元数目可在训练过程中动态增长以增加新的模式类.**“竞争”**识别层神经元相互竞争得到神经元控制权，神经元根据阈值判别情况可以增加。

• SOM(Self-Organizing Map ，自组织映射)网络：在接收到一个训练样本后.每个输出层神经局会计算该样本与自身携带的权向量之间的距离，距离最近的神经兀成为竞争获胜者，称为最佳匹配单; (best matching unit). 然后，最佳匹配单元及其邻近神经元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小.这个过程不断迭代，直至收敛.

• 级联相关 (Casc ade-Correlation ) 网络：级联相关网络有两个主要成分"级联"和"相关" 级联是指建立层次连接的 层级结构 .在开 始训练 时 ，网络只有输入 层和输出 层 ，处于最小拓扑结构;随着训练的进行，如图 5.12 所示，新的 隐层 神经元逐渐 加入，从 而创建起层级结构. 当新的隐 层神经元加入时，其输入端连接权值是冻 结固 定的相关是指通过最大化新神 经元的输 出与网络误 差 之间的相关性( corre l ation) 来训练相关的参数

• 递归神经网络 (recurrent neural networks) ：允许网络中出现环形结构，从而可让一些神经元的输出反馈回来作为输入信号.这样的结构与信息反馈过程，使得网络在 t 时刻的输出状态不仅与 t 时刻的输入有关，还与 t 一 1 时刻的网络状态有关，从而能处理与时间有关的动态变化。

• Boltzmann 机

刻的网络状态有关，从而能处理与时间有关的动态变化。

• Boltzmann 机

  神经网络中有一类模型是为网络状态定义一个"能量" (energy) ，能量最小化时网络达到理想状态，而网络的训练就是在最小化这个能量函数.Boltzmann 机 [Ackley 因此， 1985] 就是一种"基于能量的模型" (energy-basedmodel) ，常见结构如罔 5.14(a) 所示?其神经元分为两层:显层与隐层.显层用于表示数据的输入与输出，隐层则被理解为数据的内在表达. Boltzmann 机中的神经元都是布尔型的吗即只能取 0 、 1 两种状态，状态 1 表示激活，状态0表示抑制