概率神经网络 PNN

1 概率神经网络

概率神经网络(PNN)于1989年由D. F. Specht 博士首先提出，是一种常用于模式分类的神经网络。概率神经网络是基于统计原理的神经网络模型，在分类功能上与最优Bayes 分类器等价，其实质是基于贝叶斯最小风险准则发展而来的一种并行算法，同时它不像传统的多层前向网络那样需要用BP 算法进行反向误差传播的计算，而是完全前向的计算过程。它训练时间短、不易产生局部最优，而且它的分类正确率较高。无论分类问题多么复杂只要有足够多的训练数据，可以保证获得贝叶斯准则下的最优解[5]。与传统BP 网络相比较，PNN 网络具有如下主要优点[5] :

(1) 训练快速，其训练时间仅仅略大于读取数据的时间。

(2) 无论分类问题多么复杂，只要有足够多的训练数据,可以保证获得贝叶斯准则下的最优解。

(3) 允许增加或减少训练数据而无需重新进行长时间的训练。

采用概率神经网络进行模式分类，确定X 维向量所属的类别Ci，假设己知各类别的概率密度函数f i (X) ，根据Bayes 分类规则，假如下列不等式成立X 将被分到Ci 类:

Pi L i f i (X) > Pj L j f j (X) ，i≠j (1)

式中: Pi为X 属于Ci类的先验概率; Li 为Ci类的错误分类的代价。

图1? PNN 网络结构图
Fig. 1 Structure figure of PNN Network

概率神经网络是统计方法与前馈神经网络相结合的一种神经网络模型，它利用一个指数函数来代替S 型函数，是一个有2个隐含层的网络(见图1) 。该网络结构的第1 层是输入层，它将输入样本完全不变地传给下一层。第2 层是模式层,各模式单元有相同的输入，通常模式单元个数等于训练样本数，该层每个模式单元的输出为:

式中:Wi为输入层到模式层连接的权值; δ为平滑因子，它对分类起着至关重要的作用。第3 层是累加层，是将属于某类的概率累计按下式计算:

式中: k 为属于类别C 的模式样本个数，X 为属于类别C 的第j个样本，从而得到输入样本属于C 类的最大可能性，通常求和层单元数等于类别数。第4 层是决策层，作用是实现式(1) 。概率神经网络具有Bayes 后验概率输出的特点，对于传统的概率神经网络，它的权值是不需要训练的，输入层与模式层的权值被设置为各类训练样本。

来源：http://www.hwcc.gov.cn/pub/hwcc/wwgj/bgqy/mssp/201106/t20110629_333123.html