rbf神经网络_其他神经网络和深度神经网络

• 径向基函数网络

采用径向基函数（radial basis function，RBF）作为单隐藏层神经元激活函数的前馈神经网络叫作RBF网络，其输出层是对隐藏层神经元输出的线性组合，径向基神经网络模型可表示∶

式中，m为隐藏层神经元个数，c和w为第i个隐藏层神经元对应数据的聚类中心和权重，p（x.c）为具有对称性的径向基函数，常用的高斯径向基函数为∶

已证明，足够多隐藏层神经元的RBF可以任意精度逼近任意连续函数。此外有了BP神经网络的学习基础，很容易理解径向基网络的训练步骤∶

1. 采用随机采样或者聚类的方法确定神经元中心c;
2. 采用上节的BP算法学习参数w;和β。

• 自组织映射网络

自组织映射（selforganizing map，SOM）网络是一种基于竞争学习的无监督神经网络，因此适合于数据聚类和特征降维。自组织映射网络的输入层与普通神经网络类似，输出层由以矩阵形式排列的具有权重的神经元构成，通过竞争决定输入层数据在这个二维平面（或者一维）中对应的位置，其中，与输入数据距离最近的神经元被确定为获胜者，该神经元与其周围神经元的权重将会调整，直至网络收敛。

无监督学习的SOM网络聚类Iris数据代码实现如下∶

x= iris dataset;
size(x)
　ans =
　　4 150

可以看到Iris数据具有4个属性，150个样本。

net= selforgmap([8 8]);
view(net)

• 深度神经网络

随着深度神经网络中隐藏层数量的增加，算法的性能虽然不断提升，但是过多的训练参数、高复杂度的模型、极低的训练效率、易陷入过拟合等问题，曾让神经网络在很长一个时期处于不温不火的状态。

目前，主流的深度神经网络中，深度信念网络（dep belief network，DBN）是具有可见单元和隐藏单元的两层结构，可以看作一个马尔科夫随机场网络，采用的无监督逐层训练（unsupervised layer-wise training）的方法，先将大量超参数分组，在每组中找到局部较优参数，然后在局部最优的基础上进行全局优化。而卷积神经网络convolutional neural network，CNN）采用权值共享（weightsharing）策略，即让多个神经元共用相同连接权值，来降低训练参数个数。

此外还有循环神经网络、生成式对抗网络以及迁移学习（multicask and transfer earning）、强化学习等都在各个领域发挥着重要作用。

可以看出，LeNet-5每层都包含多个特征映射，每个特征映射对应多个神经元。由于输入数据为灰度图像，所以采用二维卷积核，后来的网络如 AlexNet，VGG 等都是直接处理RGB图像，采用三维卷积核。值得说明的是，在第二个卷积层中，具有16个特征映射，其来源为上一层输入的6各特征映射的4种组合，3个相邻特征映射为输入的组合为4种，4个相邻特征映射为输入的组合为3种，3个以不相邻映射为输入的组合为2种，4个不相邻特征映射为输入的组合为6种，全部6个特征映射为输入的组合为1种，这样得到了16 个特征映射。特征映射的具体对应关系如图所示。

具体的卷积与池化操作，我们将在后续章节着重介绍。希望读者理解最重要的一点，CNN中的权值共享就是一个特征映射（即一组神经元）共享一个卷积核和一个偏置，通俗来讲，卷积核就是一组网络权值，而且几个卷积核就可以得到几个特征映射平面。

总之，在LeNet-5结构中，卷积层利用不同卷积核提取输入数据的不同特征，通过多个由神经元构成特征映射（fature map）平面共享相同的连接权重，从而降低训练参数数目。同时采样层利用图像局部相关性的原理，对图像进行子抽样，在保留有用信息同时进行数据降维的特征提取，最后用全连接层完成输出映射，实现输出分类的功能。

但是，LeNet-5（5代表层数）的网络参数训练采用就是我们讲解过的BP算法，但BP算法在隐层数量过多时（一般指大于3层），误差在多隐藏层反逆传播时，会过度发散（diverge）不易收敛，梯度扩散（gradient-difusion）现象严重影响训练精度。2006 年，Hinton 教授采用无监督的"逐层初始化"layer-wise pre-training）、微调（fine-tuning）和BP算法等训练机制，提出了基于受限玻尔兹曼机（restrictedboltzmannmachines，RBM）的深度信念网（DBN）再次提供了深度学习的可行方案。此外，循环神经网络、生成式对抗网络的研究与发展也是深度神经网络的前沿方向。