机器学习笔记之指数族分布

机器学习笔记之指数族分布

背景介绍

​ 指数族分布是一类分布，包括高斯分布，伯努利分布，二项分布，泊松分布，Beta分布，Dirichlet 分布，Gamma分布等等，指数族分布的标准形式为
$$X|\eta =h(x)exp({\eta }^T\varphi (x)-A(\eta ))=\frac{1}{exp(A(\eta ))}h(x)exp({\eta }^T\varphi (x))$$
​ 其中，$\eta$为参数向量，$x\in {\mathbb{R}}^P$。

​ $A(\eta )$称为log partition function，对于形式$P(X|\theta )=\frac{1}{Z}\hat{P}(X|\theta )$，我们称Z为变分函数，通过对式子两边求积分，我们求出$Z={\int }_x\hat{P}(x|\theta )dx$，类比指数族分布，我们发现$A(\eta )=\log Z$，故将$A(\eta )$称为log的配分函数。

​ $\varphi (x)$​叫做充分统计量，包含样本集合所有的信息，例如高斯分布中的均值和方差。对于一个数据集，只需要记录样本的充分统计量即可表示样本的分布。

​ 指数族分布具有共轭的特点，对于后验概率$P(Z|X)=\frac{P(X|Z)P(Z)}{{\int }_{Z}P(X|Z)P(Z)dZ}$​，通常${\int }_{Z}P(X|Z)P(Z)dZ$​难以求解，我们会利用共轭的形式简化运算，即对于$P(Z|X)\propto P(X|Z)P(Z)$​​​，如果似然有一个共轭的先验，其效果就是先验与后验具有相同的分布形式。同时，指数族分布满足最大熵的思想（无信息先验），也就是说对于经验分布利用最大熵原理导出的分布就是指数族分布。

​ 观察到指数族分布的表达式类似线性模型，事实上，指数族分布很自然地导出广义线性模型，广义模型为线性模型的扩展，广义模型定义如下：

​ 假设因变量$Y_1,Y_2,...,Y_n$是n个独立的观测，服从指数族分布，$x_1,x_2,...,x_n$是其对应p维向量的观测值，计${\eta }_i=x_i^T\beta$，假设$E[Y_i]={\mu }_i$，并且${\mu }_i$与${\eta }_i$具有关系
$${\eta }_i=g({\mu }_i),i=1,2,...,n$$
​ 称如此定义的模型为广义线性模型，$g(.)$称为link function，其是激活函数的反函数。

​ 在更复杂的概率图模型中，例如在无向图模型中如受限玻尔兹曼机中，指数族分布也扮演着重要作用。在推断的算法中，例如变分推断中，指数族分布也会大大简化计算。

一维高斯分布改写指数分布形式

​ 对于一维高斯分布
$$P(x|\theta )=\frac{1}{\sqrt{x\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
​ 对其进行改写
$$P(x|\theta )=\frac{1}{\sqrt{2\pi {\sigma }^2}}exp\{-\frac{1}{2{\sigma }^2}(x^2-2\mu x+{\mu }^2\}$$
$$=exp\{log\frac{1}{\sqrt{2\pi {\sigma }^2}}\}exp\{-\frac{1}{2{\sigma }^2}(x^2-2\mu x+{\mu }^2\}$$
$$=exp\{\left(\frac{\mu }{{\sigma }^2}-\frac{1}{2{\sigma }^2}\right){\left(x_1{x}_2\right)}^T-(\frac{{\mu }^2}{2{\sigma }^2}+\frac{1}{2}log(2\pi {\sigma }^2))\}$$
​ 可以看出
$$\eta ={\left({\eta }_1{\eta }_2\right)}^T={\left(\frac{\mu }{{\sigma }^2}-\frac{1}{2{\sigma }^2}\right)}^T$$
$$\varphi (x)={\left(x_1{x}_2\right)}^T$$
​ 于是
$$A(\eta )=-\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}\log (-\frac{\pi }{{\eta }_2})$$

对数配分函数与统计量的关系

​ 由指数分布的函数推出
$$exp\{A(\eta )\}=\int h(x)exp\{{\eta }^T\varphi (x)\}dx$$
​ 两边对$\eta$求导，有
$$\begin{gathered} exp\{A(\eta )\}{A}^{‘}(\eta )=\int h(x)exp\{{\eta }^T\varphi (x)\}\varphi (x)dx \\ {A}^{‘}(\eta )=\int \frac{1}{exp\{A(\eta )\}}h(x)exp\{{\eta }^T\varphi (x)\}\varphi (x)dx \\ =\int P(x|\eta )\varphi (x)dx=E_{P(x|\eta )}[\varphi (x)] \end{gathered}$$
​ 于是
$$A^{‘}(\eta )=E_{P(x|\eta )}[\varphi (x)]$$
​ 实际上，对$\eta$再次求二阶导，有
$$A^{‘‘}(\eta )=Va{r}_{P(x|\eta )}[\varphi (x)]$$
​ 并且，$A(\eta )$是凸函数

极大似然估计与充分统计量

​ 对于观测量 $D=(x_1,x_2,...,x_N)$，未知参数的最大似然估计量
$$\begin{gathered} {\eta }_{MLE}={\mathrm{argmax}}_{\eta }\log P(D|\eta ) \\ ={\mathrm{argmax}}_{\eta }\sum _{i=1}^N\log P(x_i|\eta ) \\ ={\mathrm{argmax}}_{\eta }\log [h(x_i)exp\{{\eta }^T\varphi (x_i)-A(\eta )\}] \\ ={\mathrm{argmax}}_{\eta }\sum _{i=1}^N[\log h(x_i)+{\eta }^T\varphi (x_i)-A(\eta )] \\ ={\mathrm{argmax}}_{\eta }\sum _{i=1}^N[{\eta }^T\varphi (x_i)-A(\eta )] \\ ={\mathrm{argmax}}_{\eta }\sum _{i=1}^N{\eta }^T\varphi (x_i)+NA(\eta ) \end{gathered}$$
​ 令
$$\frac{\partial }{\partial \eta }\sum _{i=1}^N{\eta }^T\varphi (x_i)+NA(\eta )=0$$
​ 即
$$\sum _{i=1}^N\varphi (x_i)-N{A}^{‘}(\eta )=0$$
​ 于是
$$A^{‘}(\eta )=\frac{1}{N}\sum _{i=1}^N\varphi (x_i)$$
​ 由此可以看到，$A^{‘}(\eta )$是关于$\eta$​的函数，只要求其反函数就可以求得参数，故只需要知道充分统计量就可以估算参数。

最大熵角度看指数族分布

​ 对于概率P，信息量的定义为$-\log P$，熵定义为信息量的期望，即$H[P]=E_{P(x)}[P(x)]$​。

​ 对于连续型分布，$H[P]=\int -P(x)\log P(x)dx$​

​ 对于离散型分布，$H[p]={\sum }_{X}p(x)\log P(x)$

​ 最大熵等价于随机变量等可能分布，我们假设变量的离散的，对于数据$x_1,x_2,...,x_K$，其概率为$P_1,P2,...,P_K$，概率满足${\sum }_{i=1}^K{P}_i=1$，求最大熵
$$maxH[P)]=max-\sum _{i=1}^K{P}_i\log P_i⟺min\sum _{i=1}^K{P}_i\log P_{i}s.t,\sum _{i=1}^K{P}_i=1$$
​ 于是
$$\widehat{P_i}=argmin\sum _{i=1}^K{P}_i\log P_i$$
​ 引入拉格朗日函数
$$L(P,\lambda )=\sum _{i=1}^K{P}_i\log P_i+\lambda (1-\sum _{i=1}^K{P}_i)$$
​ 令
$$\frac{\partial L}{\partial P_i}=\log P_i+1-\lambda =0$$
​ 求出
$$\widehat{P_i}=e^{\lambda -1}$$
​ 可以看出，当变量满足均匀分布时，求得最大熵。

​ 对于观测数据$Data=(x_1,x_2,...,x_n)$，在这个数据集上的经验分布定义为${\hat{P}}_{X=x}=\frac{Count(x)}{N}$，实际不可能满足所有数据的经验概率相同，于是在上面的最大熵原理中还需要加入这个经验分布的约束。

​ 对于任意一个函数$f(x)$，经验期望为
$$E_{\hat{p}}[f(x)]=\Delta$$
​ 最大熵原理等价于求
$$\begin{gathered} min\sum _{X}P(x)\log P(x) \\ s.t.\sum _{X}P(x)=1,E_P[f(x)]=E_{\hat{p}}[f(x)]=\Delta \end{gathered}$$
​ 定义拉格朗日函数
$$L(P,{\lambda }_0,\lambda )=\sum _{i=1}^K{p}_i\log p_i+{\lambda }_0(1-\sum _{i=1}^K{p}_i)+{\lambda }^T(\Delta -E_P[f(x)])$$
​ 令
$$\begin{gathered} \frac{\partial L}{\partial p_i}=\sum _{i=1}^K[p_i+1]-\sum _{i=1}^K{\lambda }_0-\sum _{i=1}^K{\lambda }^{T}f(x) \\ =\sum _{i=1}^K[p_i+1-{\lambda }_0-{\lambda }^{T}f(x)]=0 \end{gathered}$$
​ 于是
$$p_i+1-{\lambda }_0-{\lambda }^{T}f(x)=0$$
​ 求得
$$\hat{p}=exp\{{\lambda }^{T}f(x)-(1-{\lambda }_o)\}$$
​ 上面的式子可以改写为$\hat{p}=exp\{{\eta }^T\varphi (x)-A(\eta )\}$​​这就是指数族分布。

​