判别函数（二）广义线性函数和分段线性函数

广义线性函数

基本思想

设有一个训练用的模式集{x}，在模式空间x中线性不可分，但在模式空间x*中线性可分，其中x*的各个分量是x的单值实函数，x*的维数k高于x的维数n，即若取x* = (f1(x), f2(x), …., fk(x)), k>n；则分类界面在x*中是线性的，在x中是非线性的，此时只要将模式x进行非线性变换，使之变换后得到维数更高的模式x*，就可以用线性判别函数来进行分类。

广义线性判别函数的描述

一个非线性判别函数可如下表示：

 

其中{fi(x), i = 1,2,…,k}是模式x的单值实函数。若定义成广义形式： x* = (f1(x), f2(x), …, fk(x), 1)T 此时有：

d(x*) = wTx*，其中w = (w1, w2, …, wk, wk+1)T；该式表明，非线性判别函数已被变换成广义线性，因此只讨论线性判别函数不会失去一般性意义。

fi(x)选用二次多项式函数
1.x是二维的情况，即x =(x1 x2)T。若原判别函数为：

 

要线性化为d(x*) = wTx*，须定义：

 

 
此时，只要把模式空间x*中的分量定义成x的单值实函数，x*即变成线性可分。此时x*的维数（这里为6）大于x的维数（这里为2）。

x是n维的情况

此时原判别函数设为：

 

式中各项的组成应包含x的各个分量的二次项、一次项和常数项，其中平方项n个，二次项n(n-1)/2个，一次项n个，常数项一个，其总项数为：

n + n(n-1)/2 + n + 1 = (n+1)(n+2)/2 > n

显然，对于d(x*) = wTx*，x*的维数大于x的维数，w分量的数目也与x*的维数相应。x*的各分量的一般化形式为：

 

说明：d(x)的项数随r和n的增加会迅速增大，即使原来模式x的维数不高，若采用次数r较高的多项式来变换，也会使变换后的模式x*的维数很高，给分类带来很大困难。实际情况可只取r=2，或只选多项式的一部分，例如r=2时只取二次项，略去一次项，以减少x*的维数。

广义线性判别实例

如图所示，设有一维样本空间X，所希望的分类是：

 

显然没有一个线性判别函数能在一维空间中解决上述问题。
要在一维空间中分类，只有定义判别函数d(x) = (x-a)(x-b) = x2-(a+b)x+ab将此分类问题转化到二维空间，令x1 = f1(x) = x2, 

x2 = f2(x) = x则可以定义线性判别函数d(x) = x1-(a+b)x2+ab = wTx；此时，x = (x1 x2  1)T, w = (1 –(a+b) ab)T。

分段线性函数

    线性判别函数在进行分类决策时是最简单有效的，但在实际应用中，常常会出现不能用线性判别函数直接进行分类的情况。 采用广义线性判别函数的概念，可以通过增加维数来得到线性判别，但维数的大量增加会使在低维空间里在解析和计算上行得通的方法在高维空间遇到困难，增加计算的复杂性。 引入分段线性判别函数的判别过程，它比一般的线性判别函数的错误率小，但又比非线性判别函数简单。

用判别函数分类可用一个二次判别函数来分类也可用一个分段线性判别函数来逼近这个二次曲线：

例如：最小距离分类：设μ1和μ2为两个模式类ω1和ω2的聚类中心，定义决策规则：

这时的决策面是两类期望连线的垂直平分面，这样的分类器称为最小距离分类器。

补充：模式空间和权空间

设有判别函数：d(x)=wTx，其中x=(x1 x2…xn 1)T，w=(w1 w2…wn wn+1)T；判别界面为：wTx=0；对两类问题，ω1类有模式{x1 x2}，ω2类有模式{x3 x4}，则应满足如下条件：

 

若将属于ω2类的模式都乘以(-1)，则上式可写成：

 

因此，若权向量能满足上述四个条件，则wTx=0为所给模式集的判别界面。
模式空间
对一个线性方程w1x1+w2x2+w3x3=0，它在三维空间(x1 x2 x3)中是一个平面方程式，w=(w1 w2 w3)T是方程的系数。 把w向量作为该平面的法线向量，则该线性方程决定的平面通过原点且与w垂直。若x是二维的增广向量，此时x3=1，则在非增广的模式空间中即为{x1, x2 }二维坐标，判别函数是下列联立方程的解：
w1x1+w2x2+w3=0
x3=1
即为这两个平面相交的直线AB
此时，w =(w1 w2)T为非增广的权向量，它与直线AB垂直；AB将平面分为正、负两侧，w离开直线的一侧为正， w射向直线的一侧为负。如下图（a）增广向量决定的平面;（b）非增广向量决定的直线

权空间
若将方程x1w1+x2w2+w3=0绘在权向量w=(w1 w2 w3)T的三维空间中，则x=(x1 x2 1)T为方程的系数。若以x向量作为法线向量，则该线性方程所决定的平面为通过原点且与法线向量垂直的平面，它同样将权空间划分为正、负两边。在系数x不变的条件下，若w值落在法线向量离开平面的一边，则wTx>0，若w值落在法线向量射向平面的一边，则wTx <0。示意图如下：