Matlab神经网络十讲(6): RBNN 、 GRNN 、PNN

1. Introduction to Radial Basis Neural Networks

      Radial basis networks can require more neurons than standard feedforward backpropagation networks, but often they can be designed in a fraction of the time it takes to train standard feedforward networks. They work best when many training vectors are available.

      1.1 Important Radial Basis Functions

Matlab神经网络十讲(6): RBNN 、 GRNN 、PNN_第1张图片Neuron Model:

he transfer function for a radial basis neuron is
radbas(n) = exp(-n*n)






Matlab神经网络十讲(6): RBNN 、 GRNN 、PNN_第2张图片The radial basis function has a maximum of 1 when its input is 0. As the distance between w and p decreases, the output increases. Thus, a radial basis neuron acts as a detector that produces 1 whenever the input p is identical to its weight vector w.







      1.2 Network Architecture

Matlab神经网络十讲(6): RBNN 、 GRNN 、PNN_第3张图片
  RBF神经网络与BP神经网络都是非线性多层前向网络,它们都是通用逼近器。对于任一个BP神经网络,总存在一个RBF神经网络可以代替它,反之亦然。但是这两个网络也存在着很多不同点,这里从网络结构、训练算法、网络资源的利用及逼近性能等方面对RBF神经网络和BP神经网络进行比较研究。
  从网络结构上看。 BP神经网络实行权连接,而RBF神经网络输入层到隐层单元之间为直接连接,隐
层到输出层实行权连接。BP神经网络隐层单元的转移函数一般选择非线性函数(如反正切函数),RBF神经网
络隐层单元的转移函数是关于中心对称的RBF(如高斯函数)。BP神经网络是三层或三层以上的静态前馈神经
网络,其隐层和隐层节点数不容易确定,没有普遍适用的规律可循,一旦网络的结构确定下来,在训练阶段网
络结构将不再变化;RBF神经网络是三层静态前馈神经网络,隐层单元数也就是网络的结构可以根据研究的具
体问题,在训练阶段自适应地调整,这样网络的适用性就更好了。
  从训练算法上看。 BP神经网络需要确定的参数是连接权值和阈值,主要的训练算法为BP算法和改进
的BP算法。但BP算法存在许多不足之处,主要表现为易限于局部极小值,学习过程收敛速度慢,隐层和隐层节
点数难以确定;更为重要的是,一个新的BP神经网络能否经过训练达到收敛还与训练样本的容量、选择的算法
及事先确定的网络结构(输入节点、隐层节点、输出节点及输出节点的传递函数)、期望误差和训练步数有很
大的关系。RBF神经网络的训练算法在前面已做了论述,目前,很多RBF神经网络的训练算法支持在线和离线训
练,可以动态确定网络结构和隐层单元的数据中心和扩展常数,学习速度快,比BP算法表现出更好的性能。
  从网络资源的利用上看。 RBF神经网络原理、结构和学习算法的特殊性决定了其隐层单元的分配可以
根据训练样本的容量、类别和分布来决定。如采用最近邻聚类方式训练网络,网络隐层单元的分配就仅与训练样
本的分布及隐层单元的宽度有关,与执行的任务无关。在隐层单元分配的基础上,输入与输出之间的映射关系,
通过调整隐层单元和输出单元之间的权值来实现,这样,不同的任务之间的影响就比较小,网络的资源就可以得
到充分的利用。这一点和BP神经网络完全不同,BP神经网络权值和阈值的确定由每个任务(输出节点)均方差的
总和直接决定,这样,训练的网络只能是不同任务的折中,对于某个任务来说,就无法达到最佳的效果。而RBF
神经网络则可以使每个任务之间的影响降到较低的水平,从而每个任务都能达到较好的效果,这种并行的多任务
系统会使RBF神经网络的应用越来越广泛。        
  总之,RBF神经网络可以根据具体问题确定相应的网络拓扑结构,具有自学习、自组织、自适应功能,
它对非线性连续函数具有一致逼近性,学习速度快,可以进行大范围的数据融合,可以并行高速地处理数据。RBF
神经网络的优良特性使得其显示出比BP神经网络更强的生命力,正在越来越多的领域内替代BP神经网络。目前,
RBF神经网络已经成功地用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统
建模、控制和故障诊断等。

2. Probabilistic Neural Networks

      概率神经网络(Probabilistic Neural Network)是由D.F.Speeht博士在1989年首先提出,是径向基网络的一个分支,属于前馈网络的一种。它具有如下优点:学习过程简单、训练速度快;分类更准确,容错性好等。从本质上说,它属于一种有监督的网络分类器,基于贝叶斯最小风险准则。

Matlab神经网络十讲(6): RBNN 、 GRNN 、PNN_第4张图片
Matlab神经网络十讲(6): RBNN 、 GRNN 、PNN_第5张图片
概率神经网络一般有以下四层:输入层、模式层、求和层和输出层。有的资料中也把模式层称为隐含层,把求和层叫做竞争层。其中,输入层负责将特征向量传入网络,输入层个数是样本特征的个数。模式层通过连接权值与输入层连接。计算输入特征向量与训练集中各个模式的匹配程度,也就是相似度,将其距离送入高斯函数得到模式层的输出。模式层的神经元的个数是输入样本矢量的个数,也就是有多少个样本,该层就有多少个神经元。求和层,就是负责将各个类的模式层单元连接起来,这一层的神经元个数是样本的类别数目。输出层的话,就负责输出求和层中得分最高的那一类。(在分类问题上,有优势

3. Generalized Regression Neural Networks

      A generalized regression neural network (GRNN) is often used for functionapproximation. It has a radial basis layer and a special linear layer. (在函数近似问题上有优势)
      Matlab神经网络十讲(6): RBNN 、 GRNN 、PNN_第6张图片
            广义回归神经网络是建立在数理统计基础上的径向基函数网络,其理论基础是非线性回归分析。GRNN具有很强的非线性映射能力和学习速度,比RBF具有更强的优势,网络最后普收敛于样本量集聚较多的优化回归,样本数据少时,预测效果很好,网络还可以处理不稳定数据。一般可以通过径向基神经元和线性神经元可以建立广义回归神经网络。
            GRNN 在结构上由四层构成,分别为输入层、模式层、 求和层和输出层。输入层神经元的数目等于学习样本中输入向量的维数, 各神经元是简单的分布单元, 直接将输入变量传递给模式层。模式层神经元数目等于学习样本的数目n,各神经元对应不同的样本。求和层中使用两种类型神经元进行求和。输出层中的神经元数目等于学习样本中输出向量的维数 k, 各神经元将求和层的输出相除,经元 j 的输出对应估计结果 Y (X) 的第 j 个元素。

你可能感兴趣的:(模式识别课程算法)