张学工模式识别第四版——02 统计决策方法

第2章 统计决策方法

2.1 引言：一个简单的例子

对二类问题，在样本$x$上错误的概率为：

$$p(e\mid x)=\{\begin{array}{r}P(w_2\mid x)x\in w_1\\ P(w_1\mid x)x\in w_2\end{array}$$

平均错误率：

$$P(e)=\int P(e\mid x)p(x)dx$$

2.2 最小错误率贝叶斯决策

贝叶斯公式：

$$P\left(w_i\mid x\right)=\frac{p\left(x,w_i\right)}{p(x)}=\frac{p\left(x\mid w_i\right)\cdot P\left(w_i\right)}{\sum _{j=1}^{2}p(x\mid w_j)P(w_j)},i=1,2$$

二类最小错误率贝叶斯决策：

$$ifP(w_1\mid x)\gtrless P(w_2\mid x),thenx\in \{\begin{array}{r}{w}_1\\ w_2\end{array}$$

$$ifp(x\mid w_1)P(w_1)\gtrless p(x\mid w_2)P(w_2),thenx\in \{\begin{array}{r}{w}_1\\ w_2\end{array}$$

$$ifl(x)=\frac{p\left(x\mid w_1\right)}{p\left(x\mid w_2\right)}\gtrless \lambda =\frac{P\left(w_2\right)}{P\left(w_1\right)},thenx\in \{\begin{array}{r}{w}_1\\ w_2\end{array}$$

$$ifh(x)=\ln \frac{p\left(x\mid w_2\right)}{p\left(x\mid w_1\right)}\lessgtr \ln \frac{P(w_1)}{P(w_2)},thenx\in \{\begin{array}{r}{w}_1\\ w_2\end{array}$$

其中$h(x)=-\ln (l(x))$

错误率的进一步定义：

$$P(e)=P(w_2){\int }_{R_1}p(x\mid w_2)dx+P(w_1){\int }_{R_2}p(x\mid w_1)dx=P(w_2)P_2(e)+P(w_2)P_1(e)$$

多类情况下的最小贝叶斯决策规则：

$$ifp\left(x\mid w_i\right)\cdot P\left(w_i\right)=\underset{j=1,2,\cdots ,c}{\max }p\left(x\mid w_j\right)\cdot P\left(w_j\right),thenx\in w_i$$

多类别决策错误率计算：

KaTeX parse error: Undefined control sequence: \substack at position 28: …i=1}^{c} \sum_{\̲s̲u̲b̲s̲t̲a̲c̲k̲{j=1 \\ j \neq …

$$P(e)=1-P(c)=1-\sum _{j=1}^{c}P\left(w_j\right)\cdot {\int }_{{\mathcal{R}}_j}p\left(x\mid w_j\right)\cdot dx$$
多类别决策平均错误率推导

2.3 最小风险贝叶斯决策

d维，c类，k种决策

△△△△最小风险贝叶斯决策△△△△

决策规则对特征空间所有可能样本x采取决策所造成的期望损失为：

$$R(\alpha )=\int R(\alpha \mid x)p(x)dx$$

贝叶斯公式计算后验概率：

$$P(w_j\mid x)=\frac{p(x\mid w_j)P(w_j)}{\sum _{i=1}^{c}p(x\mid w_i)P(w_i)},j=1,2,\cdots ,c$$

对于某个样本x，对它采取决策alpha_i，i=1,2,……,k的期望损失（条件风险）为：

$$R\left({\alpha }_i\mid x\right)=E\left(\lambda \left({\alpha }_i,w_j\right)\mid x\right)=\sum _{j=1}^c\lambda \left({\alpha }_i,w_j\right)\cdot P\left(w_j\mid x\right),i=1,2,\cdots k$$

多类的最小风险贝叶斯决策：

$$ifR\left({\alpha }_i\mid x\right)=\underset{j=1,2,\cdots k}{\min }R\left({\alpha }_j\mid x\right),then\alpha ={\alpha }_i$$

二类二决策情况下，最小风险贝叶斯决策：

$$if{\lambda }_{11}P\left({\omega }_1\mid x\right)+{\lambda }_{12}P\left({\omega }_2\mid x\right)\lessgtr {\lambda }_{21}P\left({\omega }_1\mid x\right)+{\lambda }_{22}P\left({\omega }_2\mid x\right)\text{, then }x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}$$

$$\begin{array}{rl}& if\left({\lambda }_{11}-{\lambda }_{21}\right)P\left({\omega }_1\mid x\right)\lessgtr \left({\lambda }_{22}-{\lambda }_{12}\right)P\left({\omega }_2\mid x\right),thenx\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}\\ & if\frac{P\left({\omega }_1\mid x\right)}{P\left({\omega }_2\mid x\right)}=\frac{p\left(x\mid {\omega }_1\right)P\left({\omega }_1\right)}{p\left(x\mid {\omega }_2\right)P\left({\omega }_2\right)}\gtrless \frac{{\lambda }_{12}-{\lambda }_{22}}{{\lambda }_{21}-{\lambda }_{11}},thenx\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}\\ & ifl(x)=\frac{p\left(x\mid {\omega }_1\right)}{p\left(x\mid {\omega }_2\right)}\gtrless \frac{P\left({\omega }_2\right)}{P\left({\omega }_1\right)}\cdot \frac{{\lambda }_{12}-{\lambda }_{22}}{{\lambda }_{21}-{\lambda }_{11}},thenx\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}\end{array}$$

2.4 两类错误率、Neyman-Pearson决策与ROC曲线

状态与决策的可能关系：

	状态
决策	阳性	阴性
阳性	真阳性（TP）	假阳性（FP）
阴性	假阴性（FN）	真阴性（TN）

灵敏度（sensitivity）：$Sn=\frac{TP}{TP+FN}$

特异度（specificity）：$Sp=\frac{TN}{TN+FP}$

正确率（accuracy）：$ACC=\frac{TP+TN}{TP+TN+FP+FN}$

召回率（recall）:$Rec=\frac{TP}{TP+FN}$

精确率（precision）：$Pre=\frac{TP}{TP+FP}$

F度量（F-measure）：$F=\frac{2RecPre}{Rec+Pre}$

一类错误率（假阳性率）：$\alpha =1-Sp=\frac{FP}{TN+FP}$

二类错误率（假阴性率）：$\beta =1-Sn=\frac{FN}{TP+FN}$

Neyman-Pearson决策规则：

$$ifl(x)=\frac{p\left(x\mid w_1\right)}{p(x\mid w_2)}\gtrless \lambda ,thenx\in \{\begin{array}{r}{w}_1\\ w_2\end{array}$$

对于高斯分布或者部分简单分布$\lambda$可以采用解析法求解，即$\lambda$是使决策区域满足下式的一个阈值（固定$w_2$分为$w_1$的错误率）：

$${\int }_{R_1}p(x\mid w_2)dx={ϵ}_0$$

多数情况下$\lambda$用数值方法求解：

$$P_2(e)=1-{\int }_0^{\lambda }P\left(l\mid {\omega }_2\right)dl={\epsilon }_0\text{, }$$

其中${\epsilon }_0$固定，P2(e)单调，试探即可

2.5 正态分布时的统计决策

2.5.1 正态分布及其性质回顾

多元正态分布公式：

$$p(x)=\frac{1}{(2\pi {)}^{\frac{d}{2}}|\Sigma {|}^{\frac{1}{2}}}exp\left\{-\frac{1}{2}(x-\mu {)}^{\top }{\Sigma }^{-1}(x-\mu )\right\}$$

对于多元正态概率$p(x\mid w_i)\sim N({\mu }_i,{\Sigma }_i),i=1,2,\cdots ,c$，可以得出其条件概率：

$$p(x\mid w_i)=\frac{1}{(2\pi {)}^{\frac{d}{2}}|{\Sigma }_i{|}^{\frac{1}{2}}}exp\left\{-\frac{1}{2}(x-{\mu }_i{)}^{\top }{\Sigma }_i^{-1}(x-{\mu }_i)\right\}$$

其中对于离散样本有：

$${\mu }_i=E(x)=\frac{1}{N_i}\sum _{x_j\in H_i}{x}_j,i=1,2,\cdots ,c$$

$${\Sigma }_i=E[(x-{\mu }_i)(x-{\mu }_i{)}^T]=\frac{1}{N_i}\sum _{x_j\in H_i}(x_j-{\mu }_i)(x_j-{\mu }_i{)}^T,i=1,2,\cdots ,c$$

多维正态分布的等密度点轨迹为一超椭球面，等密度点满足下式：

$$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )=常数$$

进一步定义马氏距离的平方：

$${\gamma }^2=(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$$

对应马氏距离${\gamma }^2$的超椭球体积为：

$$V=V_d|\Sigma {|}^{1/2}{\gamma }^d$$

其中$V_d$为$d$维超球体体积：

$$V_d=\{\begin{array}{rl}& \frac{{\pi }^{d/2}}{(\frac{d}{2})!}，d为偶数\\ & \frac{2^d{\pi }^{(d-1)/2}(\frac{d-1}{2})!}{d!}，d为奇数\end{array}$$

多元正态随机向量的线性变换仍为多元正态分布的随机向量：

即若$x\sim N(\mu ,\Sigma )$，$y=Ax$，有：

$$p(y)\sim N(A\mu ,A\Sigma A^T)$$

2.5.2 正态分布概率模型下的最小错误率贝叶斯决策

其判别函数为：

$$g_i(x)=\ln p(x\mid w_i)P(w_i)=-\frac{1}{2}{\left(x-{\mu }_i\right)}^{\mathrm{T}}{\Sigma }_i^{-1}\left(x-{\mu }_i\right)-\frac{d}{2}\ln 2\pi -\frac{1}{2}\ln \left|{\Sigma }_i\right|+\ln P\left({\omega }_i\right)$$

决策规则为：

$$if{g}_i(x)=\underset{i=1,2,\cdots ,c}{\max }{g}_i(x),thenx\in w_k$$

其决策面为：

$$g_i(x)=g_j(x)$$

3×2种特殊情况下，多元正态分布的判别函数、决策规则（均是哪个类别的判别函数大，就分为哪一类），决策面（均是让两个判别函数相等）：

i)：${\Sigma }_i={\sigma }^{2}I$

a）：$P(w_i)=P(w_j)$

判函：

$$g_i(x)=-{\Vert x-{\mu }_i\Vert }^2$$

决规：

$$if{g}_i(x)=\underset{i=1,2,\cdots ,c}{\max }{g}_i(x),thenx\in w_k$$

$$(i.e.\underset{i=1,2,\cdots ,c}{\min }||x-{\mu }_i|{|}^2,minumdistanceclassifer)$$

决策面：

$${\left({\mu }_i-{\mu }_j\right)}^{\top }\left(x-\frac{1}{2}\left({\mu }_i+{\mu }_j\right)\right)=0$$

$$(i.e.w^T(x-x_0)=0)$$

b）：$P(w_i)\ne P(w_j)$

判函：

$$\begin{array}{rl}{g}_i(x)& ={\left(\frac{{\mu }_i}{{\sigma }^2}\right)}^{\top }x-\frac{1}{2{\sigma }^2}{\mu }_i^{\top }{\mu }_i+\ln P\left(w_i\right)\\ & =w^{\top }x+w_{i0}\end{array}$$

决规：

$$if{g}_k(x)=\underset{i=1,2,\cdots ,c}{\max }{g}_i(x),thenx\in w_k$$

决面：

$${\left({\mu }_i-{\mu }_j\right)}^T\left(x-\left(\frac{1}{2}\left({\mu }_i+{\mu }_j\right)-\frac{{\sigma }^2}{\Vert {\mu }_i-{\mu }_j\Vert }\ln \frac{P\left({\omega }_i\right)}{P\left(w_j\right)}\left({\mu }_i-{\mu }_j\right)\right)\right)=0$$

$$(i.e.W^T(x-x_0)=0)$$

ii)：${\Sigma }_i=\Sigma$

a）：P(w_i)=P(w_j)

判函：

$$g_i(x)={\gamma }^2={\left(x-{\mu }_i\right)}^{\top }{\Sigma }^{-1}\left(x-{\mu }_i\right)={\left({\Sigma }^{-1}{\mu }_i\right)}^{\top }x-\frac{1}{2}{\mu }_i^{\top }{\Sigma }^{-1}{\mu }_j$$

决规：

$$if{g}_k(x)=\underset{i=1,2,\cdots ,c}{\max }{g}_i(x),thenx\in w_k$$

决面：

$${\left({\Sigma }^{-1}\left({\mu }_i-{\mu }_0\right)\right)}^T\left(x-\frac{1}{2}\left({\mu }_i+{\mu }_j\right)\right)=0$$

$$(i.e.w^T(x-x_0)=0)$$

b）：P(w_i)≠P(w_j)

判函：

$$\begin{array}{rl}{g}_i(x)& ={\left({\Sigma }^{-1}{\mu }_i\right)}^{\top }x-\frac{1}{2}{\mu }_i^{\top }{\Sigma }^{-1}{\mu }_j+\ln P\left(w_i\right)\\ & =w^{\top }x+w_{i0}\end{array}$$

决规：

$$if{g}_k(x)=\underset{i=1,2,\cdots ,c}{\max }{g}_i(x),thenx\in w_k$$

决面：

$$\begin{gathered} {\left[{\Sigma }^{-1}\left({\mu }_i-{\mu }_j\right)\right]}^{\top }\left(x-\left(\frac{1}{2}\left({\mu }_i+{\mu }_j\right)-\frac{\ln \frac{P(w_i)}{P(w_j)}}{{\left({\mu }_i-{\mu }_j\right)}^{\top }{\Sigma }^{-1}\left({\mu }_i-{\mu }_j\right)}\left({\mu }_i-{\mu }_j\right)\right)\right) \\ =0 \end{gathered}$$

$$(i.e.w^T(x-x_0)=0)$$

iii）各类的协方差阵不相等

判函：

$$\begin{array}{rl}{g}_i(x)=x^{\top }\left(-\frac{1}{2}{\Sigma }_i^{-1}\right)x+{\left({\Sigma }_i^{-1}{\mu }_i\right)}^{\top }x& -\frac{1}{2}{\mu }_i^{\top }{\Sigma }_i^{-1}{\mu }_i-\frac{1}{2}\ln \left|{\Sigma }_i\right|+\ln P\left(w_i\right)\end{array}$$

$$(i.e.q_i(x)=x^T{W}_{i}x+w_i^{i}x+w_{i0})$$

决规：

$$if{g}_k(x)=\underset{i=1,2,\cdots ,c}{\max }{g}_i(x),thenx\in w_k$$

决规：

$$x^{\top }\left(W_i-W_j\right)x+{\left(w_i-w_j\right)}^{T}x+w_{i0}-w_{j0}=0$$

2.6 错误率的计算

2.6.1 正态分布且各类协方差矩阵相等情况下的错误率计算

正态分布且各类协方差矩阵相等情况下的错误率推导

正态分布且各类协方差矩阵相等情况下的错误率计算：

之前构造过最小错误率贝叶斯决策规则的负对数似然比形式：

$$h(x)=-\ln l(x)=\ln \frac{p\left(x\mid w_2\right)}{p\left(x\mid w_1\right)}$$

经推导，h(x)服从一维正态分布，并可求概密$p(x|w_1)$，$p(x|w_2)$

令$\eta =\frac{1}{2}\left[{\left({\mu }_1-{\mu }_2\right)}^{\top }{\Sigma }^{-1}\left({\mu }_1-{\mu }_2\right)\right]$

则对于$p\left(h\mid w_1\right),{\eta }_1=-\eta ,{\sigma }_1^2=2\eta$

对于$p\left(h\mid w_2\right),{\eta }_1=\eta ,{\sigma }_1^2=2\eta$

则：

$$P_1(e)={\int }_t^{+\infty }p\left(h\mid w_1\right)dh={\int }_{\frac{t+\eta }{\sigma }}^{+\infty }\frac{1}{\sqrt{2\pi }}{e}^{-\frac{{\zeta }^2}{2}}d\zeta$$

$$P_2(e)={\int }_{-\infty }^{t}p\left(h\mid w_2\right)dh={\int }_{-\infty }^{\frac{t-\mu }{\sigma }}\frac{1}{\sqrt{2\pi }}{e}^{-\frac{{\zeta }^2}{2}}d\zeta$$

其中，$t=\ln \frac{P\left(w_1\right)}{p\left(w_2\right)},\sigma =\sqrt{2\eta }$

则最终：

$$P(e)=P\left(w_1\right)\cdot P_1(e)+P\left(w_2\right)\cdot P_2(e)$$

2.6.2 高维独立随机变量时错误率的估计

高维独立随机变量时错误率的推导

高维独立随机变量时的错误率估计：

$$(h(x)\mid {\omega }_i)\sim N\left({\eta }_i,{\sigma }_i^2\right)$$

其中：

$${\eta }_i=\sum _{i=1}^d{\eta }_{il}$$

$${\sigma }_i^2=\sum _{i=1}^d{\sigma }_{il}^2$$

2.7 离散时间序列样本的统计决策

2.7.2 马尔科夫模型及在马尔科夫模型下的贝叶斯决策

△△△△△离散变量的概率模型估计问题△△△△

一阶马尔科夫链：

$$P(x_i\mid x_{i-1},x_{i-2},\cdots ,x_1)=P(x_i\mid x_{i-1})$$

转移概率：

$$a_{st}=P(x_i=t\mid x_{i-1}=s)$$

观察到指定序列的概率为：

$$P(x)=P(x_0,x_1,\cdots ,x_L)=\prod _{i=2}^L{a}_{x_{i-1}{x}_i}$$

一阶马尔科夫链的对数似然比判别：

$$S(x)=\log \frac{P(x\mid +)}{P(x\mid -)}=\sum _{i=1}^L\log \frac{a_{x_{i-1}{x}_i}^{+}}{a_{x_{i-1}}^{-}{x}_i}=\sum _{i=1}^L{\beta }_{x_{i-1}{x}_i}$$

状态转移矩阵的估计：

$$\begin{gathered} a_{st}^{+}=\frac{c_{st}^{+}}{{\sum }_{t^{\prime }}{c}_{cs{t}^{\prime }}^{+}} \\ {a}_{st}^{-}=\frac{c_{st}^{-}}{{\sum }_{t^{\prime }}{c}_{cs{t}^{\prime }}^{-}} \end{gathered}$$