【零散知识】径向基函数，径向基神经网络和其与BP神经网络的区别

前言：

{

    最近在重新看傅立叶变换，感觉这简直是打开新世界的大门。都怪我之前没学好，现在看起来比较费劲，花了不少时间，所以这次还是零散知识。

    这次的主要内容都是围绕径向基神经网络展开的。

}

正文：

{

    根据[1]中的介绍，径向基函数（Radial basis function，RBF）是一类函数。设输入样本为x，一个中心点为c，则任何只依赖x和c之间距离的函数都是径向基函数（叫径向是因为当c固定时，径向基函数的输出是关于x径向对称的）。

    径向基函数的典型形式为高斯基函数（Gaussian basis functions），见式1。

式1

    其中ci对应上述c，i为隐含层节点的编号，隐含层的具体定义在下面。

 

    图1是[1]中给出的一种径向基神经网络（Radial basis function network）的结构。

    其中，中间的隐含层才会用到径向基函数。

    隐含层的节点i的输出为式2。

式2

    其中ai是节点i的权值；ci即为节点i对应的中心点，可通过对原样本聚类的方式（或其他无监督方式）获得，ρ()的定义见式1，输出无特殊激活函数。

    关于训练方法，可采用一般的线性模型优化算法（例如最小二乘法）。

    其他部分和BP神经网络类似。

    值得注意的是，[1]中还给出了式2的局部线性模型，见式3,4,5,6。

式3 式4 式5 式6

    简单来说，式3的结果可分为非线性部分和线性部分，每个部分又有很多项，每个项对应一个权值。非线性部分中的项如式2，线性部分涉及x和ci的差（不是距离，是向量的差，即对x和ci按位相减的结果）。

 

    径向基神经网络与BP神经网络的区别在于（个人简单总结，以图1的网络为例）：

1. 径向基神经网络的隐含层中添加了径向基函数（最大的区别）；
2. 径向基神经网络是线性的，可以被作为线性模型来优化，所以优化无需反向传播过程，也比较快；
3. 径向基神经网络没有偏置项（bias）；
4. 在径向基神经网络的权值训练之前，需要先得到一些中心点；
5. 径向基神经网络的隐含层节点数量比输入层节点数量还多，起到了增维的作用。

    我没有具体使用过这种网络，所以不好评价其效果的区别。[2]中说在速度快的前提下，径向基神经网络甚至可以接近BP网络的能力。图2是[2]中给出的两种网络的文字分类结果。

图2

}

 

结语：

{

    [2]中还提到了模型组合的可行性，有时间我可以把这种网络加到我的其他模型中试试。

    参考资料：

    {

        [1] https://en.wikipedia.org/wiki/Radial_basis_function_network

        [2] A Comparison among Three Neural Networks for Text Classification    Zhan Wang, Yifan He and Minghu Jiang http://www.nlpr.ia.ac.cn/2006papers/gjhy/gh93.pdf

    }

}