统计判别之模式分类（一）

       模式识别的目的就是要确定某一个给定的模式样本属于哪一类。 可以通过对被识别对象的多次观察和测量，构成特征向量，并将其作为某一个判决规则的输入，按此规则来对样本进行分类。

       在获取模式的观测值时，有些事物具有确定的因果关系，即在一定的条件下，它必然会发生或必然不发生。例如识别一块模板是不是直角三角形，只要凭“三条直线边闭合连线和一个直角”这个特征，测量它是否有三条直线边的闭合连线并有一个直角，就完全可以确定它是不是直角三角形。这种现象是确定性的现象。

       但在现实世界中，由许多客观现象的发生，就每一次观察和测量来说，即使在基本条件保持不变的情况下也具有不确定性。只有在大量重复的观察下，其结果才能呈现出某种规律性，即对它们观察到的特征具有统计特性。特征值不再是一个确定的向量，而是一个随机向量。此时，只能利用模式集的统计特性来分类，以使分类器发生错误的概率最小。

贝叶斯判别原则

    • 两类模式集的分类

      目的：要确定 x 是属于 ω 1 类还是 ω 2 类，要看 x 是来自于 ω 1 类的概率大还是来自 ω 2 类的概率大。主要是根据后验概率的大小来确定判别规则。

贝叶斯判别 根据概率判别规则，有：

若 P(ω₁ | x) > P(ω₂ | x) ， 则x属于w1.

若 P(ω₁ | x) < P(ω₂ | x) ， 则x属于w2.

由贝叶 斯定理，后验概率 P(ω_i| x) 可由类别ω_i 的先验概率 P(ω_i) 和x 的条件概率密度 p(x | ω_i) 来计算，即：

        这里p(x | ω _i) 也称为似然函数。将该式代入上述判别式，有：

        若 p(x | ω₁)P(ω₁)> p(x | ω₂)P(ω₂) ， 则x属于w1.

        若 p(x | ω₁)P(ω₁) < p(x| ω₂)P(ω₂) ， 则x属于w2.

或者：

其中，l₁₂称为似然比，P(ω₂)/P(ω₁)=θ₂₁称为似然比的判决阈值，此判别称为贝叶斯判别。

•例子（地震预测）

对某一地震高发区进行统计，地震以ω1类表示，正常以ω2类表示
统计的时间区间内，每周发生地震的概率为20%，即P(ω1)=0.2，当然P(ω2)=1-0.2=0.8在任意一周，要判断该地区是否会有地震发生。显然，因为P(ω2)>P(ω1)，只能说是正常的可能性大。如要进行判断，只能其它观察现象来实现。通常地震与生物异常反应之间有一定的联系。若用生物是否有异常反应这一观察现象来对地震进行预测，生物是否异常这一结果以模式x代表，这里x为一维特征，且只有x=“异常”和x=“正常”两种结果。

– 假设根据观测记录，发现这种方法有以下统计结果：

• 地震前一周内出现生物异常反应的概率 =0.6 ，即 p(x= 异常 | ω 1 )=0.6

• 地震前一周内出现生物正常反应的概率 =0.4 ，即 p(x= 正常 | ω 1 )=0.4

• 一周内没有发生地震但也出现了生物异常的概率 =0.1 ，即 p(x= 异常 | ω 2 )=0.1

• 一周内没有发生地震时，生物正常的概率 =0.9 ，即 p(x= 正常 | ω 2 )=0.9

• 问题

– 若某日观察到明显的生物异常反应现象，一周内发生地震的概率为多少，即求 P( ω 1 | x= 异常 )= ？

– 这里 P( ω 1 ) 是根据以往的统计资料得到的地震发生的先验概率。现在经过观察，需要求出 P( ω 1 | x= 异常 ) ，即观测到生物异常时一周内发生地震的概率，称为后验概率。

计算过程如下：

已知：P(ω ₁)=0.2，P(ω ₂)=0.8，p(x=异常|ω ₁)=0.6，p(x=正常|ω ₁)=0.4，p(x=异常|ω ₂)=0.1，p(x=正常|ω ₂)=0.9

利用贝叶斯公式，有：

似然比：

判决阈值：

贝叶斯最小风险判别

          当考虑到对于某一类的错误判决要比对另一类的判决更为关键时，就需要把最小错误概率的贝叶斯判别做一些修正，提出条件平均风险rj(x)。

对M类问题，如果观察样本被判定属于ωj类 ，则条件平均风险为：

   Lij称为将本应属于ωi类的模式判别成属于ωj类的是非代价。 对于自然属性是属于ωi类的模式x来说，它来自ωi类的概率应为P(ωi |x)。如果分类器判别x是属于ωj类，但它实际上来自ωi类，也就是说分类器失败，这时Lij为失分，对应的条件风险为后验概率进行Lij的加权运算。由于模式x的自然属性可能来自M类中的任一类，因此可将观察样本指定为ωj类的条件平均风险用rj(x)的公式运算。

   若i=j，即判别正确，得分， Lij可以取负值或零，表示不失分。
   若i≠j，即判别错误，失分， Lij应取正值。

   分类器对每一个模式x有M种可能的类别可供选择。若对每一个x计算出全部类别的平均风险值r1(x), r2(x),…, rM(x)，并且将x指定为是具有最小风险值的那一类，则这种分类器称为最小平均条件风险分类器。

两类（M=2）情况的贝叶斯最小风险判别
    选M=2，即全部的模式样本只有ω1和ω2两类，要求分类器将模式样本分到ω1和ω2两类中，则平均风险可写成：
当分类器将x判别为ω1时：

 
当分类器将x判别为ω2时：

 
若r1(x)

 
即 

 

通常取Lij>Lii，有：

当满足下面条件式时，

 

该式左边为似然比：

 

右边为阈值： 

故得两类模式的贝叶斯判别条件为：
（1） 若l12(x)>θ21，则 x属于w1.
（2） 若l12(x)<θ21，则 x属于w2.
（3） 若l12(x)=θ21，则可做任意判别。
通常，当判别正确时，不失分，可选常数L11=L22=0；判别错误时，可选L12=L21=1：

 两类（M=2）情况的贝叶斯最小风险判别实例

如图所示为一信号通过一受噪声干扰的信道。

       信道输入信号为0或1，噪声为高斯型，其均值μ=0，方差为б²。信道输出为x，试求最优的判别规则，以区分x是0还是1。设送0为ω₁类，送1为ω₂类，从观察值x的基础上判别它是0还是1。直观上可以看出，若x<0.5应判为0，x>0.5应判为1。用贝叶斯判别条件分析：设信号送0的先验概率为P(0)，送1的先验概率为P(1)，L的取值为：

这里a₁和a₂分别对应于输入状态为0和1时的正确判别，L₁₂对应于实际上是ω₁类但被判成ω₂类(a₂)时的代价，L₂₁对应于实际上是ω₂类但被判成ω₁类(a₁)时的代价。正确判别时L取0。当输入信号为0时，受噪声为正态分布N(0,б²)的干扰，其幅值大小的概率密度为：

当输入信号为1时：

则似然比为：

若，即，则x属于w1，此时信号应是0，即

 

若取L₂₁=L₁₂=1，P(1)=P(0),则x<1/2判为0。若无噪声干扰，即б²=0，则x<1/2判为0。

 

 多类（M类）情况的贝叶斯最小风险判别

对于M类情况，若，则x属于w1。

L可如下取值（仍按判对失分为0，判错失分为1记）：

则条件平均风险可写成：

由 ，有当 时，x属于w1，对应于判别函数为：取 ，则对于全部 的值，若 ，则x属于w1。

      下一节将介绍正态分布模式的贝叶斯分类器。