【零散知识】径向基函数，径向基神经网络和其与BP神经网络的区别
前言：
{
最近在重新看傅立叶变换，感觉这简直是打开新世界的大门。都怪我之前没学好，现在看起来比较费劲，花了不少时间，所以这次还是零散知识。
这次的主要内容都是围绕径向基神经网络展开的。
}
正文：
{
根据[1]中的介绍，径向基函数（Radial basis function，RBF）是一类函数。设输入样本为x，一个中心点为c，则任何只依赖x和c之间距离的函数都是径向基函数（叫径向是因为当c固定时，径向基函数的输出是关于x径向对称的）。
径向基函数的典型形式为高斯基函数（Gaussian basis functions），见式1。
式1
其中ci对应上述c，i为隐含层节点的编号，隐含层的具体定义在下面。
图1是[1]中给出的一种径向基神经网络（Radial basis function network）的结构。
其中，中间的隐含层才会用到径向基函数。
隐含层的节点i的输出为式2。
式2
其中ai是节点i的权值；ci即为节点i对应的中心点，可通过对原样本聚类的方式（或其他无监督方式）获得，ρ()的定义见式1，输出无特殊激活函数。
关于训练方法，可采用一般的线性模型优化算法（例如最小二乘法）。
其他部分和BP神经网络类似。
值得注意的是，[1]中还给出了式2的局部线性模型，见式3,4,5,6。
式3
式4
式5
式6
简单来说，式3的结果可分为非线性部分和线性部分，每个部分又有很多项，每个项对应一个权值。非线性部分中的项如式2，线性部分涉及x和ci的差（不是距离，是向量的差，即对x和ci按位相减的结果）。
径向基神经网络与BP神经网络的区别在于（个人简单总结，以图1的网络为例）：
- 径向基神经网络的隐含层中添加了径向基函数（最大的区别）；
- 径向基神经网络是线性的，可以被作为线性模型来优化，所以优化无需反向传播过程，也比较快；
- 径向基神经网络没有偏置项（bias）；
- 在径向基神经网络的权值训练之前，需要先得到一些中心点；
- 径向基神经网络的隐含层节点数量比输入层节点数量还多，起到了增维的作用。
我没有具体使用过这种网络，所以不好评价其效果的区别。[2]中说在速度快的前提下，径向基神经网络甚至可以接近BP网络的能力。图2是[2]中给出的两种网络的文字分类结果。
图2
}
结语：
{
[2]中还提到了模型组合的可行性，有时间我可以把这种网络加到我的其他模型中试试。
参考资料：
{
[1] https://en.wikipedia.org/wiki/Radial_basis_function_network
[2] A Comparison among Three Neural Networks for Text Classification Zhan Wang, Yifan He and Minghu Jiang http://www.nlpr.ia.ac.cn/2006papers/gjhy/gh93.pdf
}
}