模式识别与机器学习·第二章——统计判别

模式识别与机器学习·第二章——统计判别

  • 统计判别的意义
  • 贝叶斯判别
  • 贝叶斯最小风险判别
    • 两类(M=2)情况的贝叶斯最小风险判别
    • 多类(M类)情况的贝叶斯最小风险判别
  • 正态分布模式的贝叶斯分类器

统计判别的意义

模式识别的目的就是要确定某一个给定的模式样本属于哪一类。
可以通过对被识别对象的多次观察和测量,构成特征向量,并将其作为某一个判决规则的输入,按此规则来对样本进行分类。
在获取模式的观测值时,有些事物具有确定的因果关系,即在一定的条件下,它必然会发生或必然不发生。

例如:识别一块模板是不是直角三角形,只要凭“三条直线边闭合连线和一个直角”这个特征,测量它是否有三条直线边的闭合连线并有一个直角,就完全可以确定它是不是直角三角形。
这种现象是确定性的现象

但在现实世界中,由许多客观现象的发生,就每一次观察和测量来说,即使在基本条件保持不变的情况下也具有不确定性
只有在大量重复的观察下,其结果才能呈现出某种规律性,即对它们观察到的特征具有统计特性。
特征值不再是一个确定的向量,而是一个随机向量。
此时,只能利用模式集的统计特性来分类,以使分类器发生错误的概率最小。

贝叶斯判别

两类模式集的分类
目的:要确定x是属于ω1类还是ω2类,要看x是来自于ω1类的概率大还是来自ω2类的概率大。
根据概率判别规则,有:

若P(ω1 | x) > P(ω2 | x),则在这里插入图片描述
若P(ω1 | x) < P(ω2 | x),则在这里插入图片描述
由贝叶斯定理,后验概率P(ωi | x)可由类别ωi的先验概率P(ωi)和x的条件概率密度p(x | ωi)来计算,即:在这里插入图片描述
这里p(x | ωi)也称为似然函数。将该式代入上述判别式,有:
若p(x | ω1)P(ω1) > p(x | ω2)P(ω2),则在这里插入图片描述
若p(x | ω1)P(ω1) < p(x | ω2)P(ω2),则在这里插入图片描述


在这里插入图片描述,则在这里插入图片描述

在这里插入图片描述,则在这里插入图片描述
其中,l12称为似然比,P(ω2)/P(ω1)=θ21称为似然比的判决阈值,此判别称为贝叶斯判别。

例子(地震预测)

对某一地震高发区进行统计,地震以ω1类表示,正常以ω2类代表
统计的时间区间内, 每周发生地震的概率为20%,即P(ω1)=0.2,当然P(ω2)=1-0.2=0.8
在任意一周,要判断该地区是否会有地震发生。显然,因为P(ω2)> P(ω1),只能说是正常的可能性大。如要进行判断,只能用其它观察现象来实现。
通常地震与生物异常反应之间有一定的联系。
若用生物是否有异常反应这一观察现象来对地震进行预测,生物是否异常这一结果以模式x代表,这里x为一维特征,且只有x=“异常”和x=“正常”两种结果。
假设根据观测记录,发现这种方法有以下统计结果:
地震前一周内出现生物异常反应的概率=0.6,即p(x=异常| ω1)=0.6
地震前一周内出现生物正常反应的概率=0.4,即p(x=正常| ω1)=0.4
一周内没有发生地震但也出现了生物异常的概率=0.1,即p(x=异常| ω2)=0.1
一周内没有发生地震时,生物正常的概率=0.9,即p(x=正常| ω2)=0.9

贝叶斯最小风险判别

当考虑到对于某一类的错误判决要比对另一类的判决更为关键时,就需要把最小错误概率的贝叶斯判别做一些修正,提出条件平均风险rj(x)。
M类分类问题的条件平均风险rj(x)
对M类问题,如果观察样本被判定属于ωj类 ,则条件平均风险为:
在这里插入图片描述
Lij称为将本应属于ωi类的模式判别成属于ωj类的是非代价。
意义:

  • 对于自然属性是属于ωi类的模式x来说,它来自ωi类的概率应为P(ωi |x)。
  • 如果分类器判别x是属于ωj类,但它实际上来自ωi类,也就是说分类器失败,这时Lij为失分,对应的条件风险为后验概率进行Lij的加权运算。
  • 由于模式x的自然属性可能来自M类中的任一类,因此可将观察样本指定为ωj类的条件平均风险用rj(x)的公式运算。

Lij的取值:

  • 若i=j,即判别正确,得分, Lij可以取负值或零,表示不失分。
  • 若i≠j,即判别错误,失分, Lij应取正值。

最小平均条件风险分类器:

  • 分类器对每一个模式x有M种可能的类别可供选择。
  • 若对每一个x计算出全部类别的平均风险值r1(x), r2(x),…, rM(x),并且将x指定为是具有最小风险值的那一类,则这种分类器称为最小平均条件风险分类器。
  • 按贝叶斯公式,最小平均条件风险可写成:在这里插入图片描述
    因1/p(x)为公共项,可舍去,因此可简化为:在这里插入图片描述
    这也是贝叶斯分类器,只是它的判别方法不是按错误概率最小作为标准,而是按平均条件风险作为标准。

两类(M=2)情况的贝叶斯最小风险判别

选M=2,即全部的模式样本只有ω1和ω2两类,要求分类器将模式样本分到ω1和ω2两类中,则平均风险可写成:
当分类器将x判别为ω1时:在这里插入图片描述

当分类器将x判别为ω2时:在这里插入图片描述

若r1(x)在这里插入图片描述

在这里插入图片描述

通常取Lij>Lii,有:在这里插入图片描述
当时,
该式左边为似然比:在这里插入图片描述
右边为阈值:在这里插入图片描述
故得两类模式的贝叶斯判别条件为:
(1)若l12(x)>θ21,则在这里插入图片描述
(2)若l12(x)<θ21,则在这里插入图片描述
(3)若l12(x)=θ21,则可做任意判别。

两类(M=2)情况的贝叶斯最小风险判别实例

模式识别与机器学习·第二章——统计判别_第1张图片如图所示为一信号通过一受噪声干扰的信道。
信道输入信号为0或1,噪声为高斯型,其均值μ=0,方差为б2。
信道输出为x,试求最优的判别规则,以区分x是0还是1。
设送0为ω1类,送1为ω2类,从观察值x的基础上判别它是0还是1。直观上可以看出,若x<0.5应判为0,x>0.5应判为1。用贝叶斯判别条件分析:设信号送0的先验概率为P(0),送1的先验概率为P(1),L的取值为:在这里插入图片描述
这里a1和a2分别对应于输入状态为0和1时的正确判别,L12对应于实际上是ω1类但被判成ω2类(a2)时的代价,L21对应于实际上是ω2类但被判成ω1类(a1)时的代价。正确判别时L取0。
当输入信号为0时,受噪声为正态分布N(0,б2)的干扰,其幅值大小的概率密度为:
在这里插入图片描述
当输入信号为1时:在这里插入图片描述
则似然比为:在这里插入图片描述

在这里插入图片描述,即在这里插入图片描述,则在这里插入图片描述,此时信号应是0,即在这里插入图片描述

若取L21=L12=1,P(1)=P(0),则x<1/2判为0。
若无噪声干扰,即б2=0,则x<1/2判为0。

多类(M类)情况的贝叶斯最小风险判别

对于M类情况,若在这里插入图片描述,则在这里插入图片描述
L可如下取值(仍按判对失分为0,判错失分为1记):在这里插入图片描述

则条件平均风险可写成:
模式识别与机器学习·第二章——统计判别_第2张图片

在这里插入图片描述,有当在这里插入图片描述时,在这里插入图片描述,对应于判别函数为:取在这里插入图片描述,则对于全部在这里插入图片描述的值,若在这里插入图片描述,则在这里插入图片描述

正态分布模式的贝叶斯分类器

出发点:

  • 当已知或者有理由设想类概率密度函数P(x|ωi )是多变量的正态分布时,上一节介绍的贝叶斯分类器可以导出一些简单的判别函数。
  • 由于正态密度函数易于分析,且对许多重要的实际应用又是一种合适的模型,因此受到很大的重视。

你可能感兴趣的:(UCAS,模式识别与机器学习,模式识别,机器学习,贝叶斯)