模式识别（三）非线性分类器

遇到像图1中所示的样本分类，线性方法是无法发挥作用的。因为塔是线性不可分的，这时候必须采用非线性方法。

1.  多层感知器网络

多层感知器包含一个以上隐层和一个输出层，隐层将输入映射到一个超立方体顶点，输出层完成线性分类。通过隐层不断映射，最终可以将样本映射为线性可分。隐层中每个神经元相当于一个超平面，超平面将样本点映射到超立方体顶点上。假设一个感知器网络由L层构成，每层有节点k_r，每个节点的输入来自上一层每个节点的输出，其权重参数为w_jk^r，假设激活函数为f(x)。可以采用梯度下降算法计算权重参数：

2. 线性分类器的推广

如果通过函数将样本映射到一个线性可分空间，那么就将非线性分类任务转化为线性分类。分类函数就可以表示为映射函数的线性组合：

这在神经网络中相当于有一个隐层神经元。而多个隐层神经元意味着将样本空间进行多次空间映射，而最后一层实现线性分类。

3. 线性二分法中l维空间的容量

前者介绍了通过将低维空间映射到高维空间可以实现线性可分，现在来看看在一个l维空间中有多少比例的样本是可以线性分类的，而又多少样本是非线性分类的。为了便于计算，l维空间线性可分问题可以等价的描述为l-1维超平面中的线性分类。假设一个l-1维超平面中有N个分布的点，被证明出，其能够被二分的组合数是：

4. 径向基函数网络

线性映射函数是仅仅同样本距离相关，而且距离越近产生的影响越大。也就是某个样本点映射的值最大，而其附近的点和它具有相关性，距离越近相关性越大。竞相基函数有多种形式，比如：