【国科大模式识别】第二次作业（阉割版）

【题目一】最大似然估计也可以用来估计先验概率。假设样本是连续独立地从自然状态 ${\omega }_i$ 中抽取的, 每一个自然状态的概率为 $P\left({\omega }_i\right)$ 。如果第 $k$ 个样本的自然状态为 ${\omega }_i$, 那么就记 $z_{ik}=1$, 否则 $z_{ik}=0$

1. 证明
   $$P\left(z_{i1},\cdots ,z_{in}\mid P\left({\omega }_i\right)\right)=\prod _{k=1}^{n}P{\left({\omega }_i\right)}^{z_{ik}}{\left(1-P\left({\omega }_i\right)\right)}^{1-z_{ik}}$$

【解】在第 $i$ 类的概率为$P({\omega }_i)$的条件下，$z_{i1}=1$即第一个样本属于第 $i$ 类的概率为$P({\omega }_i)$；在第 $i$ 类的概率为$P({\omega }_i)$的条件下，$z_{i1}=0$即第一个样本不属于第 $i$ 类的概率为$1-P({\omega }_i)$。整理一下得
$$P\left(z_{i1}\mid P\left({\omega }_i\right)\right)=P{\left({\omega }_i\right)}^{z_{i1}}{\left(1-P\left({\omega }_i\right)\right)}^{1-z_{i1}}$$
于是
$$\begin{array}{rl}P\left(z_{i1},\cdots ,z_{in}\mid P\left({\omega }_i\right)\right)& =P\left(z_{i1}\mid P\left({\omega }_i\right)\right)P\left(z_{i2}\mid P\left({\omega }_i\right)\right)\dots P\left(z_{in}\mid P\left({\omega }_i\right)\right)\\ & =\prod _{k=1}^{n}P{\left({\omega }_i\right)}^{z_{ik}}{\left(1-P\left({\omega }_i\right)\right)}^{1-z_{ik}}\end{array}$$

2. 证明对 $P\left({\omega }_i\right)$ 的最大似然估计为
   $$\hat{P}\left({\omega }_i\right)=\frac{1}{n}\sum _{k=1}^n{z}_{ik}$$
   并且简单解释这个结果。

【解】由 (1) 得对数似然函数:
$$\ln P\left(z_{i1},\cdots ,z_{in}\mid P\left({\omega }_i\right)\right)=\sum _{k=1}^n{z}_{ik}\ln P\left({\omega }_i\right)+\sum _{k=1}^n\left(1-z_{ik}\right)\ln \left(1-P\left({\omega }_i\right)\right)$$
由
$$\frac{\partial \ln P}{\partial P\left({\omega }_i\right)}=\sum _{k=1}^n{z}_{ik}\frac{1}{P\left({\omega }_i\right)}-\sum _{k=1}^n\left(1-z_{ik}\right)\frac{1}{1-P\left({\omega }_i\right)}=0$$
得:
$$\sum _{k=1}^n{z}_{ik}\left(1-P\left({\omega }_i\right)\right)-\sum _{k=1}^n\left(1-z_{ik}\right)P\left({\omega }_i\right)=0$$
化简可得, 最大似然估计为:
$$\hat{P}\left({\omega }_i\right)=\frac{1}{n}\sum _{k=1}^n{z}_{ik}$$
该结果表示, 某个类别的先验概率的最大似然估计等于样本中属于该类的样本数在总样本数中的占比。

【题目二】设 $x$ 的概率密度为均匀分布:
$$p(x\mid \theta )\sim U(0,\theta )=\{\begin{array}{cc}1/\theta ,& 0\le x\le \theta \\ 0,& \text{ otherwise }\end{array}$$

1. 假设 $n$ 个样本 $\mathcal{D}=\left\{x_1,\cdots ,x_n\right\}$ 都独立地服从分布 $p(x\mid \theta )$ 。证明对 于 $\theta$ 的最大似然估计就是 $\mathcal{D}$ 中的最大值 $\max [\mathcal{D}]$ 。

【解】$n$ 个样本独立同分布, 则:
$$\begin{array}{rl}P(\mathcal{D}\mid \theta )& =\prod _{k=1}^{n}p\left(x_k\mid \theta \right)\\ & =\{\begin{array}{ll}\frac{1}{{\theta }^n},& 0\le x_1,x_2,\dots ,x_n\le \theta \\ 0,& \text{ otherwise }\end{array}\end{array}$$

对数似然函数为:
$$L(\mathcal{D}\mid \theta )=\ln (\mathcal{D}\mid \theta )==\{\begin{array}{lr}-n\ln \theta ,& 0\le x_1,x_2,\dots ,x_n\le \theta \\ -\infty ,& \text{ otherwise }\end{array}$$
由于 $-n\ln \theta$ 是递减的, $\theta$ 越小，似然函数越大，但是 $\theta$ 又有限制 $0\le x_1,x_2,\dots ,x_n\le \theta$ ，因此 $\theta$ 的极大似然估计为 $\max [\mathcal{D}]$ 。

2. 假设从该分布中采样 5 个样本 $(n=5)$, 且有 ${\max }_k{x}_k=0.6$, 画出在区间 $0\le \theta \le 1$ 上的似然函数 $p(\mathcal{D}\mid \theta )$, 并解释为什么此时不需要知道其余四个点的值。

【解】由 (1) 得, 似然函数为:
$$P(\mathcal{D}\mid \theta )=\{\begin{array}{lr}\frac{1}{{\theta }^5}& 0\le x_1,x_2,\dots ,x_5\le \theta \\ 0,& \text{ otherwise }\end{array}$$
在区间 $[0,1]$ 上似然函数 $p(\mathcal{D}\mid \theta )$ 曲线如图 1 。由于 $\theta \ge \max [\mathcal{D}]$, 则无需知道其他四个点的具体值也可以得到似然函数。（不妨设 $x_1=0.6$, 当 $\theta <0.6$ 时, $p\left(x_1\mid \theta \right)=0,p(D\mid \theta )=0$； 当 $\theta \ge 0.6$ 时, $p(D\mid \theta )={\left(\frac{1}{\theta }\right)}^5$）（我用MATLAB画的）

【题目三】一种度量同一空间中的两个不同分布的距离的方式为 KullbackLeibler 散度 (简称 KL 散度)
$$D_{KL}\left(p_2(\mathbf{x})\Vert p_1(\mathbf{x})\right)=\int p_2(\mathbf{x})\ln \frac{p_2(\mathbf{x})}{p_1(\mathbf{x})}dx$$这个距离度量并不符合严格意义上的度量必须满足的对称性和三角不等式关系。假设我们使用正态分布 $p_1(\mathbf{x})\sim N(\mathbf{\mu },\Sigma )$ 来近似某一个任意的分布 $p_2(\mathbf{x})$ 。证明能够产生最小的 KL 散度的结果为下面这个明显的结论:
$$\begin{array}{rl}& \mathbf{\mu }={\epsilon }_2[\mathbf{x}]\\ & \Sigma ={\epsilon }_2\left[(\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^t\right]\end{array}$$其中的数学期望是对概率密度函数 $p_2(\mathbf{x})$ 进行的
【解】带入 $p_1(\mathbf{x})$ 的分布, 可得
$$\begin{array}{c}{D}_{KL}\left(p_2(\mathbf{x})\Vert p_1(\mathbf{x})\right)=\int p_2(\mathbf{x})\ln p_2(\mathbf{x})+\frac{1}{2}{p}_2(x)(d\ln 2\pi +\ln |\Sigma |)\\ +\frac{1}{2}(x-\mu {)}^t{\Sigma }^{-1}(x-\mu )p_2(x)dx\end{array}$$不考虑无关项, 令
$$f(\mu ,\Sigma )=\int p_2(x)\left(\ln |\Sigma |+(x-\mu {)}^t{\Sigma }^{-1}(x-\mu )\right)dx$$对 $\mu ,\Sigma$ 求偏导数
$$\frac{\partial f(\mu ,\Sigma )}{\partial \mu }=-\left({\Sigma }^{-1}+{\Sigma }^{-t}\right)\left(\mu -\int x{p}_2(x)dx\right)=-\left({\Sigma }^{-1}+{\Sigma }^{-t}\right)\left(\mu -{\epsilon }_2[x]\right)$$$$\begin{array}{rl}\frac{\partial f(\mu ,\Sigma )}{\partial \Sigma }& =\int p_2(x){\Sigma }^{-t}+p_2(x)\left[-{\Sigma }^{-t}(x-\mu )(x-\mu {)}^t{\Sigma }^{-t}\right]dx\\ & ={\Sigma }^{-t}\cdot \int p_2(x)\left[{\Sigma }^t-(x-\mu )(x-\mu {)}^t\right]{\Sigma }^{-t}dx\\ & ={\Sigma }^{-t}\cdot \left(\Sigma -{\epsilon }_2\left[(x-\mu )(x-\mu {)}^t\right]\right){\Sigma }^{-t}\end{array}$$令偏导数为 0 , 可得
$$\begin{array}{rl}\mathbf{\mu }& ={\epsilon }_2[\mathbf{x}]\\ \Sigma & ={\epsilon }_2\left[(\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^t\right]\end{array}$$

【题目四】 数据 $\mathcal{D}=\left\{\left(\begin{array}{l}1\\ 1\end{array}\right),\left(\begin{array}{l}3\\ 3\end{array}\right),\left(\begin{array}{l}2\\ \ast \end{array}\right)\right\}$ 中的样本独立地服从二维的分布 $p\left(x_1,x_2\right)=p\left(x_1\right)p\left(x_2\right)$ 。其中, $\ast$ 代表丢失的数据, 且有
$$p\left(x_1\right)=\{\begin{array}{l}\frac{1}{{\theta }_1}{e}^{-x_1/{\theta }_1},x_1\ge 0\\ 0,\text{ otherwise }\end{array}$$$$p\left(x_2\right)\sim U\left(0,{\theta }_2\right)=\{\begin{array}{cl}\frac{1}{{\theta }_2},& 0\le x_2\le \theta \\ 0,& \text{ otherwise }\end{array}$$

1. 假设初始估计为 ${\mathbf{\theta }}^0=\left(\begin{array}{c}2\\ 4\end{array}\right)$, 计算 $Q\left(\mathbf{\theta };{\mathbf{\theta }}^0\right)$ (EM 算法中的 $\mathrm{E}$ 步)。 注意要对分布进行归一化。

【解】对于 $\mathbf{E}$ 步骤:
$$\begin{array}{rl}& Q\left(\mathbf{\theta };{\mathbf{\theta }}^0\right)={\mathcal{E}}_{x_{32}}\left[\ln p\left({\mathbf{x}}_g;{\mathbf{x}}_b;\mathbf{\theta }\right)\mid {\mathbf{\theta }}^0,{\mathcal{D}}_g\right]\\ & ={\int }_{-\infty }^{\infty }\left[\ln p\left({\mathbf{x}}_1\mid \mathbf{\theta }\right)+\ln p\left({\mathbf{x}}_2\mid \mathbf{\theta }\right)+\ln p\left({\mathbf{x}}_3\mid \mathbf{\theta }\right)\right]p\left(x_{32}\mid {\mathbf{\theta }}^0;x_{31}=2\right)\mathrm{d}{x}_{32}\\ & =\ln p\left({\mathbf{x}}_1\mid \mathbf{\theta }\right)+\ln p\left({\mathbf{x}}_2\mid \mathbf{\theta }\right)+{\int }_{-\infty }^{\infty }\ln p\left({\mathbf{x}}_3\mid \mathbf{\theta }\right)\cdot p\left(x_{32}\mid {\mathbf{\theta }}^0;x_{31}=2\right)\mathrm{d}{x}_{32}\\ & =\ln p\left({\mathbf{x}}_1\mid \mathbf{\theta }\right)+\ln p\left({\mathbf{x}}_2\mid \mathbf{\theta }\right)+{\int }_{-\infty }^{\infty }\ln p\left(\left(\begin{array}{c}2\\ x_{32}\end{array}\right)\mid \mathbf{\theta }\right)\cdot \frac{p\left(\left(\begin{array}{c}2\\ x_{32}\end{array}\right)\mid {\mathbf{\theta }}^0\right)}{\underset{1/\left(2e^4\right)}{{\int }_{-\infty }^{\infty }p\left(\left(\begin{array}{c}2\\ x_{32}^{\prime }\end{array}\right)\mid {\mathbf{\theta }}^0\right)\mathrm{d}{x}_{32}^{\prime }}\mathrm{d}{x}_{32}}\\ & =\ln p\left({\mathbf{x}}_1\mid \mathbf{\theta }\right)+\ln p\left({\mathbf{x}}_2\mid \mathbf{\theta }\right)+2e{\int }_{-\infty }^{\infty }\ln p\left(\left(\begin{array}{c}2\\ x_{32}\end{array}\right)\mid \mathbf{\theta }\right)\cdot p\left(\left(\begin{array}{c}2\\ x_{32}\end{array}\right)\mid {\mathbf{\theta }}^0\right)\mathrm{d}{x}_{32}\\ & =\ln p\left({\mathbf{x}}_1\mid \mathbf{\theta }\right)+\ln p\left({\mathbf{x}}_2\mid \mathbf{\theta }\right)+C\\ & \end{array}\text{\hspace{1em}(1)}$$其中, 式 (1) 中的归一化项计算方式为
$$\begin{array}{rl}{\int }_{-\infty }^{\infty }p\left(\left(\begin{array}{c}2\\ x_{32}^{\prime }\end{array}\right)\mid {\mathbf{\theta }}^0\right)\mathrm{d}{x}_{32}^{\prime }& ={\int }_{-\infty }^{\infty }p\left(x_{31}=2\mid {\theta }_1^0=2\right)\cdot p\left(x_{32}^{\prime }\mid {\theta }_2^0=4\right)\mathrm{d}{x}_{32}^{\prime }\\ & ={\int }_0^4\frac{1}{2}{e}^{-2\times 2}\cdot \frac{1}{4}\mathrm{d}{x}_{32}^{\prime }\\ & =\frac{1}{2e^4}\end{array}\text{\hspace{1em}(2)}$$根据 ${\theta }_2$ 分情况, 求式 (1) 中 $C$ 的不同取值, 由于已知样本中, $\max x_2=$ $x_{22}=3$, 故: ${\theta }_2\ge 3$ 。
分类讨论如下：

• $3\le {\theta }_2\le 4$
  $$\begin{array}{rl}C& =2e^4{\int }_0^{{\theta }_2}\ln p\left(\left(\begin{array}{c}2\\ x_{32}\end{array}\right)\mid \mathbf{\theta }\right)\cdot p\left(\left(\begin{array}{c}2\\ x_{32}\end{array}\right)\mid {\mathbf{\theta }}^0\right)\mathrm{d}{x}_{32}\\ & =2e^4{\int }_0^{{\theta }_2}\ln \left(\frac{1}{{\theta }_1}{e}^{-2{\theta }_1}\frac{1}{{\theta }_2}\right)\cdot \frac{1}{2}{e}^{-2\times 2}\frac{1}{4}\mathrm{d}{x}_{32}\\ & =\frac{1}{4}{\theta }_2\ln \left(\frac{1}{{\theta }_1}{e}^{-2{\theta }_1}\frac{1}{{\theta }_2}\right)\end{array}\text{\hspace{1em}(3)}$$
• ${\theta }_2\ge 4$
  $$\begin{array}{rl}C& =2e^4{\int }_0^4\ln p\left(\left(\begin{array}{c}2\\ x_{32}\end{array}\right)\mid \mathbf{\theta }\right)\cdot p\left(\left(\begin{array}{c}2\\ x_{32}\end{array}\right)\mid {\mathbf{\theta }}^0\right)\mathrm{d}{x}_{32}\\ & =2e^4{\int }_0^4\ln \left(\frac{1}{{\theta }_1}{e}^{-2{\theta }_1}\frac{1}{{\theta }_2}\right)\cdot \frac{1}{2}{e}^{-2\times 2}\frac{1}{4}\mathrm{d}{x}_{32}\\ & =\ln \left(\frac{1}{{\theta }_1}{e}^{-2{\theta }_1}\frac{1}{{\theta }_2}\right)\end{array}\text{\hspace{1em}(4)}$$将上述几种情况的 $C$ 代入到式 (1) 中, 即可得到
  $$\begin{array}{rl}Q\left(\mathbf{\theta };{\mathbf{\theta }}^0\right)& =\ln p\left({\mathbf{x}}_1\mid \mathbf{\theta }\right)+\ln p\left({\mathbf{x}}_2\mid \mathbf{\theta }\right)+C\\ & =\ln \left(\frac{1}{{\theta }_1}{e}^{-x_{11}{\theta }_1}\frac{1}{{\theta }_2}\right)+\ln \left(\frac{1}{{\theta }_1}{e}^{-x_{21}{\theta }_1}\frac{1}{{\theta }_2}\right)+C\\ & =\ln \left(\frac{1}{{\theta }_1}{e}^{-{\theta }_1}\frac{1}{{\theta }_2}\right)+\ln \left(\frac{1}{{\theta }_1}{e}^{-3{\theta }_1}\frac{1}{{\theta }_2}\right)+C\\ & =-4{\theta }_1-2\ln \left({\theta }_1{\theta }_2\right)+C\end{array}\text{\hspace{1em}(5)}$$式 (5) 中的 $C$ 见分类讨论情况式 (3) 和式 (4)。化简可得
  $$Q\left(\mathbf{\theta };{\mathbf{\theta }}^0\right)=\{\begin{array}{l}-3\ln \left({\theta }_1{\theta }_2\right)-\frac{6}{{\theta }_1},{\theta }_2\ge 4\\ -\left(2+\frac{{\theta }_2}{4}\right)\ln \left({\theta }_1{\theta }_2\right)-\left(4+\frac{{\theta }_2}{2}\right)/{\theta }_1,3\le {\theta }_2\le 4\end{array}$$

2. 求使得 $Q\left(\mathbf{\theta };{\mathbf{\theta }}^0\right)$ 最大的那个 $\theta (\mathrm{EM}$ 算法中的 $\mathrm{M}$ 步 $)$

【解】对于 $\mathrm{M}$ 步骤, 估计准则为:
$$\hat{\mathbf{\theta }}=\arg \underset{\mathbf{\theta }}{\max }Q\left(\mathbf{\theta };{\mathbf{\theta }}^0\right)$$

• $3\le {\theta }_2\le 4:$
  计算偏导数, 进一步可得 $\theta =\left(\begin{array}{l}2\\ 3\end{array}\right)$ 时取最优, 此时 $Q=$ $-\frac{1}{4}\ln 6-\frac{13}{8}$
• ${\theta }_2\ge 4:$
  计算偏导数, 进一步可得 $\theta =\left(\begin{array}{l}2\\ 4\end{array}\right)$ 时取最优, 此时 $Q=$ $-3\ln 8-3$

综合两种情况, $\theta =\left(\begin{array}{l}2\\ 3\end{array}\right)$, 此时 $Q$ 最大
（后面还有两题，知识盲区，考了吃屎）