Bayesian Decision Theory

Chapter1--------贝叶斯决策公式(Bayesian Decision Theory)

Example1:

学校里有男生$m_1$人，女生$m_2$人，男生身高175以上的有$n_1$人，女生中有$n_2$人.

概念——类别(Class)：

$w_1$: 为男生

$w_2$: 为女生

$x$ ：175cm (height)

一：最小错误率贝叶斯决策(Minimum Error Rate Bayesian Decision)

先验概率：$$P(w1)=\frac{m_1}{m_1+m_2}$$ $$P(w_2)=\frac{m_2}{m_1+m_2}$$ 且有$$P(w_1)+P(w_2)=1;$$

似然然概率：$$P(x|w_1)=\frac{n_1}{m_1},P(x|w_2)=\frac{n_2}{m_2};$$

贝叶斯公式:$$P(A|B)=\frac{P(A)P(B|A)}{P(B)};$$

故利用贝叶斯公式得到的后验概率为：$$P(w_i|x)=\frac{P(w_i)P(x|w_i)}{P(x)},i=1,2;$$

并且满足：$$P(w_1|x)+P(w_2|x)=1;$$

接下来进行分类工作，我们利用最小错误率贝叶斯决策来进行分类，分类方法为：

如果$P(w_1|x)>P(w_2|x),$ 就将$x$ —>$w_1$,即认为所有身高超过175的同学都是男生，如果$P(w_2|x)>P(w_1|x),$ 就将$x$—>$w_2$,即认为所有身高超过175的同学为女生。

错误率分析：

当将$x$ —>$w_1$时的错误率为：$P(error|x)=1-P(w_1|x)=P(w_2|x);$

当将$x$ —>$w_2$时的错误率为：$P(error|x)=1-P(w_2|x)=P(w_1|x);$

根据分类原则可知，$P(w_1|x)>P(w_2|x),$ 就将$x$ —>$w_1,$ 此时的错误率最小，反之则同理。

一般的:

当有多个类别时(muti-class): $w_1,w_2,\dots ,w_n$

如果 $P(w_j|x)=\underset{1\le i\le n}{\max }P(w_i|x)$， 则 $x\to w_j$

二：最小风险贝叶斯决策(Minimum Risk Bayesian Decision)

对于 $c$ 个类别 {$w_1,w_2,\dots ,w_c$} ;

定义 {${\alpha }_1,{\alpha }_2,\dots ,{\alpha }_c$} 为动作(Actions)，其中动作 ${\alpha }_i$ 表示 $x\to w_i$，特别的令 ${\alpha }_{c+1}$ 表示 “不进行任何归类(Reject)”。

定义 $\lambda ({\alpha }_i|w_j)$ 为当实际类别为 $w_j$ 时，采取动作 ${\alpha }_i$ 所导致的损失(loss)。

风险计算(Risk)：

$$R({\alpha }_i|x)=\sum _{j=1}^n\lambda ({\alpha }_i|w_j)P(w_j|x)，i=1,2,\dots ,c$$

如果

$R({\alpha }_i|x)=\underset{1\le j\le c}{\min }R({\alpha }_j|x)$

则采取动作 ${\alpha }_i$, 即 $x\to w_i$.

需要注意的是，对于同一问题采用最小错误率贝叶斯决策和采用最小风险贝叶斯决策可能会得到不同的结果。