核方法和径向基函数（网络）

线性可分模式的分类问题相对容易解决（如最小二乘法），然而一旦涉及到模式的非线性可分问题，却比较麻烦。常见的方法是利用多层感知神经网络的反向传播算法来实现，这种递归方法在统计学中通常被称为随机逼近。

（1） 核方法不同随机逼近，其将非线性可分的模式分类过程分为两个部分：非线性可分集合通过核函数转换为线性可分集合、对线性可分模式集合进行分类。

（2） 径向基函数（径向基网络RBF）就是在原来二层感知器网络中增加一个隐藏层，进行输入空间（低维）到隐藏层空间（高维）之间的非线性变换。

一、方法原理

Cover 定理：

将复杂的模式分类问题非线性地投射高维空间将比投射到低维空间更可能是线性可分的，即低维非线性可转换为高维线性。（维度越高，线性可分的可能性越高，也是成立的）

Cover 推论：

一组随机指定的输入集合其在m维空间中线性可分，则该集合元素数目的最大期望为2m，一旦集合数目超过2m，该集合很可能不能再次在m维的空间中线性可分。

总结：将非线性可分的模式分类问题转换为一个高概率的线性可分问题。那么现在的关键问题就是如何找到由高维空间到低维空间的映射（可视为一个超曲面）

二、超曲面的估计过程

训练过程：对超曲面的拟合最优化过程，产生约束曲面（最小二乘法的线性拟合）

泛化阶段：在数据点之间插值，插值是对真实超曲面的最佳逼近，是在约束曲面上进行的（径向基函数插值）

上述过程就相当于在线性滤波问题中，将输入空间（矩阵）转换为一个插值空间（矩阵）， 只要满足输入空间是互不相同的点集合，则插值矩阵也是非奇异的（Micchelli定理），所以权值也是可以求出的（和线性滤波方法相似）

常见的径向基函数：

多二次函数：非局部函数，其对应的插值矩阵只有一个正的特征值，更能逼近光滑的输入输出映射

逆多二次函数、高斯函数：局部化函数，其插值矩阵都是正定的。

三、RBF（径向基网络）

RBF同多层感知器不同的是，其训练不包括误差信号的反向传播，其具体可分为三层：输入层（由m个源节点，表示为m维的输入向量）、隐藏层（由和训练样本大小 N 相同的数目的计算中心组成，m<N）、输出层。

RBF网络的设计关键在于如何利用无标签数据来计算隐藏层的高斯单元参数，这是因为样本数据中存在噪声，且隐藏层维数同样本数相同可能造成资源浪费（存在冗余）。可行的解决方法是利用K-均值聚类将样本数据区分为多个样本中心，并将这些聚类中心作为径向基函数的中心。

因为K-均值算法是通过递归方式来实现的，而权值估计是通过最小二乘法来求出，因为我们可以通过RLS递归最小二乘法估计来计算RBF神经网络的权值。这个混合学习过程称为“K-均值，RLS”，及先利用K-均值训练隐藏层，再利用RLS算法训练输出层。这种方法计算高效， 但是没有考虑将隐藏层训练同输出层训练结合的总最优准则。

四、RBF、核回归及多元高斯分布模型

核回归就是通过核函数（多元高斯模型）建立非线性的回归函数（逼近函数）， 可以视为多个高斯分布（不同样本中心）之和构成。

       

两处观点考察逼近函数：Nadaraya-Watson回归估计器及归一化RBF网络