【国科大模式识别】第一次作业

【题目一】设 ${\omega }_{\max }$ 为类别状态, 此时对所有的 $i(i=1,\dots ,c)$, 有 $P\left({\omega }_{\max }\mid \mathbf{x}\right)\ge$ $P\left({\omega }_i\mid \mathbf{x}\right)$

1. 证明 $P\left({\omega }_{\max }\mid \mathbf{x}\right)\ge 1/c$（最大值大于平均值）
   $$P\left({\omega }_{\max }\mid \mathbf{x}\right)\ge \frac{1}{c}\sum _{i=1}^{c}P\left({\omega }_i\mid \mathbf{x}\right)=\frac{1}{c}$$
2. 证明对于最小错误率判定规则, 平均错误概率为
   $$P(\text{ error })=1-\int P\left({\omega }_{\max }\mid \mathbf{x}\right)p(\mathbf{x})d\mathbf{x}$$

【解】当 ${\omega }_{\text{max }}$ 不是样本的真实类别时, 决策出错, 因此错误率为（回忆一下期望公式）
$$P(\text{ error })={\mathbb{E}}_x\left(1-P\left({\omega }_{\max }\mid \mathbf{x}\right)\right)=1-\int P\left({\omega }_{\max }\mid \mathbf{x}\right)p(\mathbf{x})d\mathbf{x}$$

3. 利用这两个结论证明 $P(error)\le (c-1)/c$

【解】由 (1)(2) 的结论
$$P(\text{ error })=1-\int P\left({\omega }_{\max }\mid \mathbf{x}\right)p(\mathbf{x})d\mathbf{x}\le 1-\int \frac{1}{c}p(\mathbf{x})d\mathbf{x}=\frac{c-1}{c}$$

4. 描述一种情况, 在此情况下有 $P(error)=(c-1)/c$

【解】当对任意类别 $i$ 都有 $P\left({\omega }_i\mid \mathbf{x}\right)=1/c$ 时, $P(error)=(c-1)/c$

【题目二】对于一个 $c$ 类分类问题, 假设各类先验概率为 $P\left({\omega }_i\right),i=1,\dots ,c$; 条件概率密度为 $P\left(\mathbf{x}\mid {\omega }_i\right),i=1,\dots ,c,(\mathbf{x}$ 表示特征向量 $)$; 将第 $j$ 类样本判别为第 $i$ 类的损失为 ${\lambda }_{ij}$

1. 请写出贝叶斯风险最小决策和最小错误率决策的决策规则

【解】最小风险决策:
$$\underset{i}{\mathrm{argmin}}R\left({\alpha }_i\mid \mathbf{x}\right)$$
其中, $R\left({\alpha }_i\mid \mathbf{x}\right)={\sum }_{j=1}^c\lambda \left({\alpha }_i\mid {\omega }_j\right)P\left({\omega }_j\mid \mathbf{x}\right)$.
最小错误率决策: 此时风险为 0-1 loss, 即 $\lambda \left({\alpha }_i\mid {\omega }_j\right)=\{\begin{array}{l}0,i=j\\ 1,i\ne j\end{array}$
$$R\left({\alpha }_i\mid \mathbf{x}\right)=\sum _{j=1}^c\lambda \left({\alpha }_i\mid {\omega }_j\right)P\left({\omega }_j\mid \mathbf{x}\right)=\sum _{j\ne i}P\left({\omega }_j\mid \mathbf{x}\right)=1-P\left({\omega }_i\mid x\right)$$
决策为 $\underset{i}{\mathrm{argmax}}P\left({\omega }_i\mid x\right)$.

2. 引入拒识 (表示为第 $c+1$ 类), 假设决策损失为
   $$\lambda \left({\alpha }_i\mid {\omega }_j\right)=\{\begin{array}{ll}0,& i=ji,j=1,\dots ,c\\ {\lambda }_r,& i=c+1\\ {\lambda }_s,& \text{ otherwise }\end{array}$$
   请写出最小风险决策的决策规则 (包括分类规则和拒识规则)

【解】注意这边按照定义，$c+1$类判别为 $i$ 类的风险也是${\lambda }_s$（注意理解这个拒识的定义，很绕，我用排除法，如果不属于第一种情况，又不属于第二种情况，那就是第三种情况）
$$R\left({\alpha }_i\mid \mathbf{x}\right)=\sum _{j=1}^{c+1}\lambda \left({\alpha }_i\mid {\omega }_j\right)P\left({\omega }_j\mid \mathbf{x}\right)={\lambda }_s\left[1-P\left({\omega }_i\mid \mathbf{x}\right)\right],i=1,\cdots ,c$$
注意这边按照定义，$c+1$类判别为$c+1$类的风险也是${\lambda }_r$
$$R\left({\alpha }_{c+1}\mid \mathbf{x}\right)=\sum _{j=1}^{c+1}\lambda \left({\alpha }_{c+1}\mid {\omega }_j\right)P\left({\omega }_j\mid \mathbf{x}\right)={\lambda }_r$$

由 $R_i(x)$ 的定义可计算得:
$$R_i(x)=\{\begin{array}{c}{\lambda }_s\left[1-P\left({\omega }_i\mid \mathbf{x}\right)\right],i=1,\cdots ,c\\ {\lambda }_r,\text{ reject }\end{array}$$
因此, 带拒识的最小风险决策为:
$$\underset{i}{\mathrm{argmin}}{R}_i(x)=\{\begin{array}{c}\underset{i}{\mathrm{argmax}}P\left({\omega }_i\mid \mathbf{x}\right),\text{ if }\max P\left({\omega }_i\mid \mathbf{x}\right)>1-{\lambda }_r/{\lambda }_s\\ \text{ reject, otherwise }\end{array}$$

【题目三】考虑三维正态分布 $p(\mathbf{x}\mid \omega )\sim N(\mathbf{\mu },\Sigma )$, 其中
μ = ( 1 2 2 ) , Σ = ( 1 0 0 0 5 2 0 2 5 ) \boldsymbol{\mu}=\left(\begin{array}{l} 1 \\ 2 \\ 2 \end{array}\right), \Sigma=\left(\begin{array}{lll} 1 & 0 & 0 \\ 0 & 5 & 2 \\ 0 & 2 & 5 \end{array}\right) μ= ​122​ ​,Σ= ​100​052​025​ ​

1. 构造白化变换 ${\mathrm{A}}_{\omega }=\Phi {\Lambda }^{-1/2}$, 计算分别表示本征向量和本征值的矩阵 $\Phi$ 和 $\Lambda$; 接下来, 将此分布转换为以原点为中心、协方差矩阵为单位阵的分布, 即 $p(\mathbf{x}\mid \omega )\sim N(0,\mathrm{I})$

【解】计算可知协方差矩阵 $\Sigma$ 的本征值为: ${\lambda }_1=1,{\lambda }_2=3,{\lambda }_3=7$, 其对应的本征向量分别为: $v_1=(0,1,-1{)}^T/\sqrt{2},v_2=(0,1,1{)}^T/\sqrt{2},v_3=$ $(1,0,0{)}^T,\Phi$ 和 $\Lambda$ 和 $A_{\omega }$ 为:
Φ = ( 1 0 0 0 1 / 2 1 / 2 0 − 1 / 2 1 / 2 ) , Λ = diag ⁡ ( 1 , 3 , 7 ) A ω = Φ Λ − 1 / 2 = ( 1 0 0 0 1 / 6 1 / 14 0 − 1 / 6 1 / 14 ) \begin{gathered} \Phi=\left(\begin{array}{ccc} 1 & 0 & 0 \\ 0 & 1 / \sqrt{2} & 1 / \sqrt{2} \\ 0 & -1 / \sqrt{2} & 1 / \sqrt{2} \end{array}\right), \quad \Lambda=\operatorname{diag}(1,3,7) \\ \mathrm{A}_\omega=\Phi \Lambda^{-1 / 2}=\left(\begin{array}{ccc} 1 & 0 & 0 \\ 0 & 1 / \sqrt{6} & 1 / \sqrt{14} \\ 0 & -1 / \sqrt{6} & 1 / \sqrt{14} \end{array}\right) \end{gathered} Φ= ​100​01/2 ​−1/2 ​​01/2 ​1/2 ​​ ​,Λ=diag(1,3,7)Aω​=ΦΛ−1/2= ​100​01/6 ​−1/6 ​​01/14 ​1/14 ​​ ​​

通过变换 $\mathbf{y}={\mathrm{A}}_{\omega }{}^T(\mathbf{x}-\mathbf{\mu })$ 可将原分布变换到 $N(0,\mathrm{I})$ （单纯的白化变换只能把协方差矩阵变为单位矩阵，这边要求均值为 $0$ ，所以还得平移一下）

2. 将 (1) 中的白化变换应用于点 ${\mathbf{x}}_0=(0.5,0,1{)}^t$, 求其经过白化变换后的点 $x_{\omega }$

【解】$${\mathbf{x}}_{\omega }={\mathrm{A}}_{\omega }^T(\mathbf{x}-\mathbf{\mu })=(-0.5,-1/\sqrt{6},-3/\sqrt{14}{)}^T$$

3. 通过详细计算, 证明原分布中从 ${\mathbf{x}}_0$ 到均值 $\mathbf{\mu }$ 的 Mahalanobis 距离与变换后的分布中从 ${\mathbf{x}}_{\omega }$ 到 $0$ 的 Mahalanobis 距离相等。

【解】$x_0$ 到 $\mu$ 的马氏距离为: $\sqrt{\frac{89}{84}},x_{\omega }$ 到 0 的马氏距离为: $\sqrt{\frac{89}{84}}$, 两者相等

4. 概率密度在一个一般的线性变换下是否保持不变? 换句话说, 对于某线性变换 $T$, 是否有 $p\left({\mathbf{x}}_0\mid N(\mathbf{\mu },\Sigma )\right)=p\left(T^t{\mathbf{x}}_0\mid N\left(T^t\mathbf{\mu },T^t\Sigma T\right)\right)$ ? 解释原因

【解】
$$\begin{array}{rl}p\left(T^t{\mathbf{x}}_0\mid N\left(T^t\mathbf{\mu },T^t\Sigma T\right)\right)& =\frac{1}{(2\pi {)}^{d/2}{\left|T^t\Sigma T\right|}^{1/2}}\exp \left(-\frac{1}{2}{\left(T^{t}x-T^t\mu \right)}^t{\left(T^t\Sigma T\right)}^{-1}\left(T^{t}x-T^t\mu \right)\right)\\ & =\frac{1}{(2\pi {)}^{d/2}{\left|T^t\Sigma T\right|}^{1/2}}\exp \left(-\frac{1}{2}(x-\mu {)}^{t}T{T}^{-1}{\Sigma }^{-1}{T}^{-t}{T}^t(x-\mu )\right)\\ & =\frac{1}{(2\pi {)}^{d/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-\mu {)}^t{\Sigma }^{-1}(x-\mu )\right)\end{array}$$

【题目四】对一个 $c$ 类分类问题, 特征向量 $\mathbf{x}\in {\mathcal{R}}^d$, 假设各类先验概率相等, 每一类条件概率密度为高斯分布

1. 请写出类条件概率密度函数的数学形式

【解】类条件概率密度服从 $d$ 维高斯分布, 故类条件概率密度函数的数学形式为:
$$p\left(\mathbf{x}\mid {\omega }_i\right)=\frac{1}{(2\pi {)}^{d/2}{\left|{\Sigma }_i\right|}^{1/2}}\exp \left[-\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^T{\Sigma }_i^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_i\right)\right]$$

2. 请写出在下面两种情况下的最小错误率决策判别函数：(a) 类协方差矩阵不等; (b) 所有类协方差矩阵相等.

【解】判别函数计算公式为:
$$g_i(\mathbf{x})=\ln p\left(\mathbf{x}\mid {\omega }_i\right)+\ln P\left({\omega }_i\right)$$
类协方差矩阵不等时：可以进一步写为:
$$g_i(\mathbf{x})=-\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^T{\mathbf{\Sigma }}_i^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_i\right)-\frac{d}{2}\ln 2\pi -\frac{1}{2}\ln \left|{\mathbf{\Sigma }}_i\right|+\ln P\left({\omega }_i\right)$$
不考虑与类别 $i$ 无关的项, 且由于各类先验概率相等, 进一步有:
$$g_i(\mathbf{x})=-\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^T{\mathbf{\Sigma }}_i^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_i\right)-\frac{1}{2}\ln \left|{\mathbf{\Sigma }}_i\right|$$
所有类协方差矩阵相等时: 可以进一步写为:
$$g_i(\mathbf{x})=-\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^T{\mathbf{\Sigma }}^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_i\right)-\frac{d}{2}\ln 2\pi -\frac{1}{2}\ln |\mathbf{\Sigma }|+\ln P\left({\omega }_i\right)$$
不考虑与类别 $i$ 无关的项, 且由于各类先验概率相等, 进一步有:
$$g_i(\mathbf{x})=-\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_i\right)}^T{\mathbf{\Sigma }}^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_i\right)$$

3. 在基于高斯概率密度的二次判别函数中, 当协方差矩阵为奇异时, 判别函数变得不可计算。请说出两种克服协方差奇异的方法。

【解】a. 降维, 减少特征向量的维度, 使得较低维度的协方差矩阵可逆; b. 矩阵对角化之后在特征值为 0 的位置加上小的常数; c. 求伪逆矩阵。 ${\mathbf{\Sigma }}^{†}={\left({\mathbf{\Sigma }}^T\mathbf{\Sigma }\right)}^{-1}{\mathbf{\Sigma }}^T$