其他神经网络类型

RBF径向基网络：

是一种单隐层前馈神经网络，使用径向基函数作为激活函数，输出层是对隐层神经元输出的线性组合

Park证明，具有足够多隐层神经元的RBF网络能以任意精度逼近连续函数

通常采用两步过程训练RBF网络，

1.确定神经元中心Ci，常用的方式包括随机采样、聚类等

2.利用BP算法来确定参数

---

ART自适应协振网络：

竞争型网络的代表。该网络的输出层神经元互相竞争，每一时刻仅有一个竞争获胜的神经元被激活，“胜者同吃”。

由比较层，识别层，识别阈值和重置模块构成。

其中，比较层负责接收输入样本，并传给识别层，识别层神经云互相竞争（最简单的竞争方式即计算输入向量与每个识别层神经元所对应的模式类的代表向量之间的距离），获胜者向其他神经元发送抑制信号。若向量距离小于识别阈值，则将输入样本归类为获胜神经元类别，同时，网络连接权将会更新，使得以后在接收到相似输入样本时该模式类会计算出更大的相似度；若向量距离大于识别阈值，则重置模块将在识别层增设一个新神经元。

识别阈值对ART网络的性能有重要影响。

ART网络比较好的缓解了竞争型学习中的“可塑性-稳定性窘迫”，可塑性是指神经网络要有学习新知识的能力，而稳定性则是指神经网络在学习新知识时要保持对旧知识的记忆。这使得ART网络有一个重要的优点：可进行增量学习或在线学习

---

SOM网络

是一种竞争型无监督神经网络，将高维输入数据映射到低维空间，并保持输入数据的拓扑结构。即将高维空间中的相似的样本点映射到网络输出层中的邻近神经元。

获胜神经元决定了该输入向量在低维空间的位置，SOM的训练目标就是为每个输出层神经元找到合适的权向量，以达到保持拓扑结构的目的。

训练过程：接收样本，计算与自身携带的权向量之间的距离，距离最近的神经元成为最佳匹配单元，然后调整最佳匹配单位及其附近神经元的权向量，不断迭代，直至收敛。

---

级联相关网络

一种结构自适应网络，随着训练的进行，新的隐层神经元不断加入。

在数据较小时容易过拟合

---

Elman网络

递归神经网络，允许网络中出现环结构，从而让一些神经元的输出反馈回来作为输入信号。使得网络在T时刻的输出状态与T-1时刻的网络状态有关，从而能处理与时间有关的动态变化。

Elman网络是最常用的递归神经网络

---

Boltzmann机

基于能量的模型，分为显层：输入层输出层，隐层：数据内在表达。

神经元都是布尔型，1表示激活，0表示抑制。

玻尔兹曼机的训练过程就是将每个训练样本视为一个状态向量，使其出现的概率尽可能大。

标准玻尔兹曼机是全连接的，常用的是受限玻尔兹曼机，保留显层和隐层的连接，转化为二部图。

常用对比散度算法来训练。 公式详见西瓜书P112