机器学习——径向基函数（RBF）神经网络

目录

一、什么是基函数

二、什么是径向基函数

三、为什么RBF神经网络使用一个径向基函数作为隐含层的激活函数

四、参数训练

五、RBF网络 vs BP网络和 SVM

---

 

一、什么是基函数

著名的傅里叶变换是指：n个有参（权值）的正、余弦三角函数基的和式可以等价的表示任意一个周期函数，这里的“基”和我们数学中说的坐标基或向量基含义相同，即坐标空间中任意一个向量都可以用基向量的线性和表示出来。

因此，我们引入函数空间的概念，函数空间中的每个连续函数可以表示为基函数的线性组合，就像向量空间中的每个向量可以表示为基向量的线性组合一样。网上大多是用基函数的线性组合来“逼近”（拟合）某个函数，当用少量样本点拟合出曲面函数时就可以用它来做预测或者“插值”中间没给出的样本点。

以高斯径向基函数为例，左图中蓝色点为给出的少量样本点，下面的红色曲线是样本点对应的方差不同的高斯分布曲线，而右图红色曲线是刚好是每个高斯分布曲线前面乘以一个不同的权重W，使得每个样本点的值都是两个基点的线性和，例如a=b+c。同理，蓝色曲线就可以用下面的n个高斯曲线的带权线性和来表示出来。

二、什么是径向基函数

通俗来说就是一个自变量为一点到原点距离的实值函数，即ϕ(x)=ϕ(∥x∥) 。此外，也可以按到某一中心点c的距离来定义， 即 ϕ(x,c)=ϕ(∥x−c∥)。任一满足ϕ(x)=ϕ(∥x∥)的函数都可称作径向函数。其中，范数一般为欧几里得距离，不过亦可使用其他距离函数。

F(x)就是由p个径向基函数和其权值的线性组合构成的一个超平面函数。

三、为什么RBF神经网络使用一个径向基函数作为隐含层的激活函数

学过感知器和SVM的同学都记得最后学习出来的是一个带权线性函数，然后再用之分类预测，神经网络或深度学习用数学模型来解释的，其最后学习出来的也是一个多个线性函数+激活函数多层不断复合后的一个复杂的非线性超平面函数。

说到这，为什么只有三层的RBF神经网络会使用径向基函数应该明白了吧！对于给定的一个径向基函数，类如高斯径向基函数

我们只要学习出方差Dj，中心点Cj和隐层到输出层的权值w，然后就可以学习出一个由带权高斯基函数的线性组合出的复杂函数。隐层到输出层的功能就是用来做n个径向基函数的带权线性和。而第二层网络则是构造一个由n个神经元组成的基函数空间（一些资料称为隐空间），确定各个坐标基。

四、参数训练

https://blog.csdn.net/zb1165048017/article/details/49385359

五、RBF网络 vs BP网络和 SVM

https://blog.csdn.net/Y_hero/article/details/88985447