机器学习（最大熵与EM算法）

最大熵

• 自信息

  $$I(p_i)=-log(p_i)$$

• 信息熵(一个事件的熵)

  $$H(X)=-\sum _{i=1}^{n}p(x_i)log(p(x_i))=-\sum _{x}p(x)log(p(x))$$

• 联合熵

  $$H(X,Y)=-\sum _{x,y}p(x,y)logp(x,y)$$

• 条件熵

  $$H(Y|X)=-\sum _{x,y}p(x,y)logp(y|x)$$

• 交叉熵

  $$H(p,q)=-\sum _{x}p(x)logq(x)$$

• 相对熵（KL散度）

  $$D_{KL}(p||q)=H(p,q)-H(p)$$
  相对熵=某个策略的交叉熵-信息熵

• 互信息

  $$I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)$$
  $$I(X;Y)=\sum _{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}$$

• 最大熵理论（有先验知识的条件下做推导）

1. 模型输入

   从人工标注的训练数据中抽取的训练样本集$T=\{(x_1,y_1),\cdots ,(x_n,y_n)\}$,其中$(x_i,y_i)$表示语料库中出现$y_i$时其上下文信息为$x_i$

2. 经验分布：
   所谓经验概率分布是指通过在训练数据集T上进行统计得到的分布用$\tilde{p}$表示

   $\tilde{p}(x,y)=\frac{count(x,y)}{N}$，其中$count(x,y)$是$(x,y)$在语料中出现的次数，N为总词数

3. 数学推导

   特征$f$是指x与y之间存在某种特定关系，用二值函数表示

   ---

   $f_i(x,y)\{\begin{array}{l}1,如果x,y满足某种条件\\ 0,否则\end{array}$

   特征函数关于经验分布$\tilde{P}(X,Y)$的期望

   ---

   $E_{\tilde{p}}(f)={\sum }_{x,y}\tilde{p}(x,y)f(x,y)$

   特征函数关于模型$P(Y|X)$与经验分布$\tilde{P}(X)$的期望值

   ---

   $E_p(f)={\sum }_{x,y}\tilde{P}(x)P(y|x)f(x,y)$

   定义最大熵模型
   选择一个最好的分类模型，对于任意给定的输入$x\in X$,可以使概率$p(y|x)$输出$y\in Y$

   假设满足所有约束条件的模型集合为：$C=\{P\in D|E_p(f_i)=E_{\tilde{P}}(f_i)\}$
   定义在谈条件概率分布$P(Y|X)$上的条件熵为：$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$

4. 最大熵模型的学习

   熵模型的学习等价约束条件
   $$\underset{p\in C}{\max }H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$
   约束条件为：
   $$E_P(f_i)=E_{\tilde{P}}(f_i),i=1,2,\cdots ,n$$
   $$\sum _{y}P(y|x)=1$$

   引入拉格朗日乘子
   $$L(P,w)=-H(P)+w_0[1-\sum _{y}P(y|x)]+\sum _{i=1}^n{w}_i(E_{\tilde{P}}(f_i)-E_P(f_i))$$
   $$=\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)+w_0[1-\sum _{y}P(y|x)]$$
   $$+\sum _{i=1}^n{w}_i[\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P(y|x)f_i(x,y)]$$

最优化问题
$$\underset{p\in C}{\min }\underset{w}{\max }L(P,w)$$
对偶问题为
$$\underset{w}{\max }\underset{P\in C}{\min }L(P,w)$$

先求极小值得到
$$P_w(y|x)=\frac{1}{Z_w(x)}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))$$
$$Z_w(x)=\sum _{y}exp[\sum _{i=1}^n{w}_i{f}_i(x,y)]$$

求极大值
表现为求以下方法的极大值
$$\psi (w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)+\sum _x\tilde{P}(x)log{Z}_w(x)$$

极大化似然估计法求解
待求解的概率模型$P(Y|X)的似然函数为$
$$L_{\tilde{P}}(P_w)=log\prod _{x,y}P(y|x{)}^{\tilde{P}(x,y)}=\sum _{x,y}\tilde{P}(x,y)logP(y|x)$$
将$P_w(y|x)$代入可以得到
$$L_{\tilde{P}}(P_w)=\sum _{x,y}logP(y|x)$$
$$=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)log{Z}_w(x)$$

• 总结EM算法

1. 特征提取问题

   最大熵的输出：
   $$P(y|x,\theta )=\frac{exp(\theta \cdot f(x,y)}{{\sum }_{y}exp(\theta \cdot f(x,y)}$$
   如果限定y为二元变量，可以把最大熵模型转换为Logistic回归。我们定义特征函数

   $$f(x,y)=\{\begin{array}{rcl}g(x)& & y=y_1\\ 0& & y=y_0\end{array}$$

   改进最大熵模型
   $$P(y_1|x,\theta )=\frac{exp(\theta \cdot g(x))}{1+exp(\theta \cdot g(x))}$$
   同理：
   $$P(y_0|x,\theta )=\frac{1}{1+exp(\theta \cdot g(x))}$$

   1.目标：$P(Y|X)$
   2.一个特征函数：$f(x)$
   3.两个期望相同：以$\hat{P}(x,y)$与以$\hat{P}(x)P(y|x)$为概率的期望相同
   4.一个约束：${\int }_{y}P(y|x)=1$

EM算法

1. 目的

   主要用来进行参数的估计

2. EM路线图

   K-means ->高斯混合模型->EM方法
   最大似然方式(ML)->下边界（Q函数）->EM算法

3. 两种特殊变量

   可观测变量$Y=\{y_1,y_2,y_3,\cdots ,y_n\}$
   不可观测变量$Z=\{z_1,z_2,z_3,\cdots ,z_n\}$

4. 最大似然
   $$P(x_1,x_2,x_3,\cdots ,x_n)=\prod _{j=1}^{N}p(y_j)$$
   则最大似然函数
   $$L(\theta )=\prod _{j=1}^{N}p(y_j)$$
5. 含隐式变量的最大似然
   $$L(\theta )=\prod _{j=1}^N{p}_{\theta }(y_i)=\prod _{j=1}^N\sum _z{p}_{\theta }(y_j|z)p_{\theta }(z)$$
6. 解释
   在对数中有加和项时难以求得解析解，则我们会求一个近似最优解
7. 求解
   $$ln(L(\theta ))=\sum _{j=1}^{N}ln[\sum _z{p}_{\theta }(y_j|z)p_{\theta }(z)]$$
   $$=\sum _{j=1}^{N}ln[\sum _z\frac{p_{\theta }(y_j|z)p_{\theta }(z)}{Q(z)}Q(z)]$$
   $$\ge \sum _{j=1}^N\sum _{z}Q(z)ln\frac{p_{\theta }(y_j|z)p_{\theta }(z)}{Q(z)}$$
   约束条件为：
   $$\sum _{z}Q(z)=1$$
   即可理解为：
   $$ln(L(\theta ))\ge \sum _{j=1}^N\sum _{z}Q(z)ln\frac{p_{\theta }(y_j|z)p_{\theta }(z)}{Q(z)}=LowBound(\theta )$$
   假设当前参数${\theta }^{(t)}$,在下界上求出最大似然函数的参数为${\theta }^{(t+1)}$则有：
   $$ln(L({\theta }^{(t+1)}))\ge LowBound({\theta }^{(t+1)})\ge LowBound({\theta }^{(t)})$$
   此时下边界函数有很多取法，但为了最终使等号成立则必须有以下条件：
   $$\frac{p_{\theta }(y_j|z)p_{\theta }(z)}{Q(z)}=c$$即左式为与z无关的常数
   又因为约束条件，所以有：
   $$c=\sum _z{p}_{\theta }(y_j|z)p_{\theta }(z)$$
   $$Q(z)=\frac{p_{\theta }(y_j,z)}{p_{\theta }(y_j)}=p_{\theta }(z|y_j)$$
   设定：
   $$Q(Z)=Q(Z,\theta )$$则设定
   因此定义每次的计算方式为：
   a、先根据上一次的${\theta }_n$计算$Q(Z)$
   b、根据上式的$Q(Z)$，求出含有$\theta$的似然函数的下界并最大化，得到新的参数$\theta$并以此不断迭代

GMM

1. GMM的原型

$$p(x)=\sum _{k=1}^K{\pi }_{k}N(x|{\mu }_k,{\delta }_k)$$

引入一个新的K维随机变量$z$。$z_k(1\le k\le K)$只能取0或1两个值。$z_k=1$表示第$k$类被选中的概率，即$p(z_k=1)={\pi }_k$;如果$z_k=1$表示第$k$类没有被选中的概率：
$$z_k\in \{0,1\}$$
$$\sum _K{z}_k=1$$

2. GMM 模型分析

假设$z_k$之间是独立同分布的，我们可以写出$z$的联合概率分布形式：

$$p(z)=p(z_1)p(z_2)\cdots p(z_k)=\prod _{k=1}^K{\pi }_k^{z_k}$$

上式中只能有一个$z_k$为1,而其它$z_j(j̸=k)$全为0

第$k$类中的数据服从正态分布，因此有如下形式：

$$p(x|z)=\prod _{k=1}^{K}N(x|{\mu }_k,{\delta }_k{)}^{z_k}$$

上面两个式子分别给出了$p(z)$和$p(x|z)$的形式，根据条件概率公式，可以求出$p(x)$的形式：
$$p(x)=\sum _{z}p(z)p(x|z)=\sum _z(\prod _{k=1}^K{\pi }_k^{z_k}N(x|{\mu }_k,{\delta }_k))=\sum _{k=1}^K{\pi }_{k}N(x|{\mu }_k,{\delta }_k)$$

求后验概率如下：

$$\gamma (z_k)=p(z_k=1|x)=\frac{p(z_k=1)p(x|z_k=1)}{p(x)}=\frac{{\pi }_{k}N(x|{\mu }_k,{\delta }_k)}{{\sum }_{j=1}^K{\pi }_{j}N(x|{\mu }_j,{\delta }_j)}$$

3. GMM模型的似然函数

   $$\sum {i=1}^{N}log\{\sum _k-1^K{\pi }_{k}N(x_i|{\mu }_k,{\delta }_k)\}$$

4、 迭代公式

$${\mu }_k=\frac{1}{N_k}\sum _{i=1}^N\gamma (z_{ik})x_i$$
$${\delta }_k=\frac{1}{N_k}\sum _{i=1}^N\gamma (z_{ik})(x_i-{\mu }_k)(x_i-{\mu }_k{)}^T$$

其中$N_k={\sum }_{i=1}^N\gamma (z_{ik})$,${\pi }_k=N_k/N$