【PR学习笔记 一】线性判别函数和广义线性判别函数

在模式识别的范畴中，“模式”广义上是指任何在研究的对象，而研究的中心问题就是怎么把繁杂的模式分到不同的类别中去。

比如一副风景图片（图1），其中就存在着“天空”“云彩”“河流”“树木”等多种模式类别。

图1

在具体的分类过程中，通常选取模式的特征值来作为分类标准。比如上图中选取颜色值为特征，由于背景的天空色彩较浅，前景的山和植被等色彩较深，则可以在灰度值数轴上选取适当的灰度区分点将两种类别分开。

一种特征常常不能取得满意的分类效果，我们大多数时间都在更高维的特征空间中执行区分的过程。

以二维特征空间为例，如图2，选取x1，x2两种特征，将各模式的特征值映射到笛卡尔坐标系中的各点。可以清楚地看到各点能够被区分为两种不同的模式类型。

图2

在这种情形下，可以在二维特征空间中用一条直线（如图中所示实线）区分出两种模式。这条直线的表达式 

d(X) = w0 + w1*x1 + w2*x2 = 0 即为两模式类别的判别线。

d(X) 即称为线性判别函数。

d(X)能够判别不同模式的原理在于：对于第一种模式（图中圆点所示），每个点位的坐标值代入d(X)后总能得到正值，而模式二的点坐标代入判别函数后总能得到负值。

推广到更高维的特征空间中，d(X)=0 所确定的分界线变为超平面。

考虑更复杂的情况，有时几类模式之间不存在这么理想的线性区分面。

比如区分两类模式 W1:{x<1 或 x>3} 和 W2:{1<x<3}.  则可以写出判别线（面）的函数表达式：(x-1)*(x-3)=0 即 d(X) = x^2 - 4x +3 = 0

此时出现非线性情况，则可以通过设定 X->Y 的一个映射：y1=x^2; y2=x 

如此则以提高特征维度的代价获得了线性的判别函数： d(Y) = y1 - 4y2 + 3 = 0

此时的判别函数即为广义判别函数。