最小风险 最小错误 贝叶斯决策 Bayes(实例详解)

简介

贝叶斯决策其实是已经被很多博客解释的非常详细了，为了不制造学术垃圾，本来一直没打算写一篇关于Bayes的blog，但是我也是最近才看到这两个概念，唉，都怪自己掌握的还是不够到位。

所以这次我会详细的分享有关最小错误、最小风险的Bayes决策，然后当然如果你还没有了解什么是贝叶斯决策的话，还是应该先去学习了解原理，然后再来看这次扩展的知识。

另外，我真心觉得最小风险 最小错误的贝叶斯分析，更加切合实际生活应用中的情况。看完你就明白了。

最小错误率Bayes

假设待识别的特征为X,样本分为m类，各类的先验概率和各类的类概密均已知，就有m个判别函数，由Bayes公式可知：

在取得一个观察特征X后，在特征X的条件下，看哪个类的概率最大，应该把X归于概率最大的那个类。由此，可得到最大后验概率判决准则的几种等价形式：

其中, L(x)称为似然比, 　lnL(x)称为对数似然比
P(ω1)/P(ω2)称为似然比阈值

例子

我们看一个例子就很好理解了：

假设在某个局部地区的细胞识别中, 第一类表 示正常, 第二类表示异常, 两类的先验概率分别为: 正常P(ω1)=0.9,
P(ω2)=0.1。 现有一个待识别样 本细胞, 其观察值为x, 从类条件概率密度函数曲线 p(x|ωi)上可查得:
p(x|ω1)=0.2, p(x|ω2)=0.4, 试判断该细胞是否正常。

根据 Bayes 判决准则将该细胞判为第一类ω1, 即为正常细胞。

最大后验概率判决准则使决策的错误率最小。最大后验概率判决准则的一个优良性质就是使平均错误概率达到最小。 因此, 最大后验概率判决准则又称为最小错误概率判决准则。

分析

• 这里以二分类情况为例进行分析。 此时, m=2,
  任意一个判决准则对应于特征空间Rd的一个划分:
  R=R1∪R2, R1∩R2=Ф。为了直观，假设x只有一个特
  征，n=1。错误分类有两种情况：①若x原属于ω1类，
  却落入R2，称为第1类错误；②若x原属于ω2类，却落
  入R1 ，称为第2类错误。
• 第1类错误概率P1(e)为：
  
• 第2类错误概率P2(e)为：
  
• 因此，平均错误概率P (e)为：
  
  

但是我们要这么想，假如现在就是当前疫情期间，仍然有0.18的概率是异常细胞，这个概率是不是太大了呢。如果判断失误，这个代价很可能是巨大的。由此，我们需要最小风险的决策。

最小风险的Bayes决策

• 图中，直线B的划分把正常药品误判为异常药品，这样扩大了总错误率，会给企业带来一定的损失；直线A的划分将异常药品误判为正常药品，虽然使错误分类最小，但会使病人因失去正确的治疗而遭受极大的损失。可见使错误率最小并不一定是最佳选择。
• 实际应用时，从根据不同性质的错误会引起不同程度的损失考虑出发，宁可扩大一些总的错误率，但也要使总的损失减少。这时图中的直线B的划分最为实用。这会引进一个与损失有关联的概念-风险。在做决策时，要考虑所承担的风险。基于最小风险的Bayes决策规则正是为了体现这一点而产生的。

若要判断某颗药品是正常(ω1)还是异常(ω2)，于 是在判断中可能出现如下情况：
¾第一种，判对(正常药品→正常药品)λ11 ；第二种，判错(正常药品→异常药品) λ21 ； ¾第三种，判对(异常药品→异常药品) λ22；第三类，判错(异常药品→正常药品) λ12 。 ¾ 在判断时，除了能做出“是” ωi类或“不是” ωi类 的动作以外，还可以做出“拒识”的动作。为了更好地研究最小风险Bayes分类器，下面说明几个概念：

我们定义如下概念，方便后面进行分析：

• 损失函数λii=λ(αi ,ωi)表示模式x本来属于ωi类而错判为ωi所受损失。因为这是正确判决，故损失最小。
• 损失函数λij=λ(αi , ωj)表示模式x本来属于ωj类错判为ωi所受损失。因为这是错误判决，故损失最大。
• 风险R(期望损失)：对未知模式x采取一个判决行动α(x)所付出的代价(损失)。
• 条件风险(也叫条件期望损失)：
  
• 在整个特征空间中定义期望风险R：
  

注：条件风险只反映对某x取值的决策行动αi所带来的风险。期望风险R则反映在整个特征空间不同的x取值a(x) {决策可看成是随机向量x的函数， 记为a(x)}的决策行动所带来的平均风险

最小风险Bayes决策规则：

例子

看了就完全理解了：

在上个例子的基础上, 增加条件λ11=0, λ12=6, λ21=1, λ22=0, 请判断该细胞是否正常

若按最小风险的Bayes判决进行判断, 先计算后验概率：

条件风险:


所以如果误测的代价特别大的话，就应了那句话，宁可误测一千，也不放过一个。（开玩笑啦）

大家共勉~~