机器学习笔记之指数族分布——指数族分布介绍

引言

本节及后续小节将从指数族分布 $\to$ 熵、最大熵原理 $\to sigmoid,softmax$函数的思路进行介绍。

指数族分布介绍

指数族分布(Exponential Families of Distributions)，它不是某一个分布，而是满足某种条件的分布集合。从名字可以看出，指数族分布的概率分布与指数相关。指数族分布的统一格式表示如下：
$$P(x\mid \eta )=h(x)e^{{\eta }^T\varphi (x)-A(\eta )}$$

如果只看公式等号左边 $\to P(x\mid \eta )$，在介绍极大似然估计与最大后验概率估计中介绍过，它可以表示为 基于参数向量$\eta$，生成随机样本$x$的概率模型。

我们称：

• $\varphi (x)$为充分统计量，它可以理解成样本的函数—— 如果已知充分统计量，就可以通过该统计量得到完整的概率分布表达形式。
  在后续的公式推导中进行证明。
• $\eta$表示生成概率模型$P(x\mid \eta )$的参数向量；
• $h(x)$仅表示关于$x$的一个函数，在一些具体分布中(如高斯分布、伯努利分布)通常以常数形式出现；
• $A(\eta )$通常表示为 $\log$配分函数(对数配分函数)(log Partition Function)，在指数族分布主要起归一化作用，其本质是关于模型参数$\eta$的函数；
  因此，指数族分布还有另一种常见表达形式(将$A(\eta )$提出来)：
  $$\begin{array}{rl}P(x\mid \eta )& =h(x)e^{{\eta }^T\varphi (x)}{e}^{-A(\eta )}\\ & =\frac{1}{e^{A(\eta )}}h(x)e^{{\eta }^T\varphi (x)}\end{array}$$
  令$e^{A(\eta )}=z$(z表示 配分函数)；原始表示为：
  $$\frac{1}{z}h(x)e^{{\eta }^T\varphi (x)}$$
  因此，$A(\eta )=\log z$。 这也是$A(\eta )\log$配分函数的由来。
  先挖好‘配分函数’的坑，后期拿传送门来填。

指数族分布应用广泛，如广义线性模型(Generalized Linear Model,GLM)，概率图中的无向图模型如受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)均存在指数族分布的理论支撑；
甚至在深度强化学习中，使用策略梯度方法求解强化学习任务时，需要使用$softmax$函数将离散型的动作映射成具有连续性质的指数族分布。

常见的指数族分布

我们在概率论与数理统计中学习到的大部分分布都是指数族分布，下面列举一些常见分布：

• 高斯分布(Normal Distribution)；
• 伯努利分布(Bernoulli Distribution)；
• 二项分布(Binomial Distribution)；
• 泊松分布(Poisson Distribution)；
• 贝塔分布(Beta Distribution)；
• 狄利克雷分布(Dirichlet Distribution)；
• 伽马分布(Gamma Distribution)等等。

下面对伯努利分布、高斯分布、二项分布进行推导，观察经过变化后的分布和指数族分布统一格式之间的关联关系。

推导过程

• 伯努利分布：
  $$P(x)=p^x(1-p{)}^{1-x}=\{\begin{array}{l}pifx=1\\ qifx=0\end{array}$$

  将上述公式进行变化：

  • 插入$exp$并完全展开：
    $$\begin{array}{rl}P(x)& =p^x(1-p{)}^{1-x}\\ & =e^{\log [p^x(1-p{)}^{1-x}]}\\ & =e^{x\log \frac{p}{1-p}+\log (1-p)}\end{array}$$
  • 令$\eta =\log \frac{p}{1-p}$，那么$p$用$\eta$表示为：
    $$p=\frac{e^{\eta }}{1+e^{\eta }}$$
  • 将 $p=\frac{e^{\eta }}{1+e^{\eta }}$带回上述展开式：
    $$\begin{array}{rl}I& =e^{x\cdot \eta +\log (1-\frac{e^{\eta }}{e^{\eta }+1})}\\ & =e^{x\cdot \eta +\log (\frac{1}{1+e^{\eta }})}\\ & =e^{{\eta }^{T}x-\log (1+e^{\eta })}\end{array}$$

  观察变化后的公式，对照指数族分布的定义式，可以发现：

  • $\varphi (x)=x$
  • $h(x)=1$
  • $A(\eta )=\log (1+e^{\eta })$

  伯努利分布完全可以写成指数族分布的形式。

• 二项分布：
  二项分布可以看成若干次独立重复的伯努利实验，它的具体概率分布公式表示如下：
  $$P(x=k)={\mathcal{C}}_n^k{p}^k(1-p{)}^{n-k}$$
  其中，${\mathcal{C}}_n^k$表示二项式系数：
  $$C_n^k=\frac{n!}{k!(n-k)!}$$
  它的指数族分布表示和伯努利分布非常相似：

  • 插入$exp$并完全展开：
    $$\begin{array}{rl}P(x)& =\frac{n!}{x!(n-x)!}{p}^x(1-p{)}^{n-x}\\ & =e^{log[\frac{n!}{x!(n-x)!}{p}^x(1-p{)}^{n-x}]}\\ & =e^{log\frac{n!}{x!(n-x)!}+x\log p+n\log (1-p)-x\log (1-p)}\\ & =e^{log\frac{n!}{x!(n-x)!}+x\log \frac{p}{1-p}+n\log (1-p)}\end{array}$$
  • 由于$\frac{n!}{x!(n-x)!}$中$n$是表示实验次数，是常数，因此$\frac{n!}{x!(n-x)!}$可看做仅关于$x$的函数，将其提出；并令$\eta =\log \frac{p}{1-p}$，那么$P(x)$用$\eta$表示为：
    $$p=\frac{e^{\eta }}{1+e^{\eta }}$$
  • 继续化简如下(将$p$带回原式)：
    $$\begin{array}{rl}I& =\frac{n!}{x!(n-x)!}{e}^{[x\log \frac{p}{1-p}+n\log (1-p)]}\\ & =\frac{n!}{x!(n-x)!}{e}^{{\eta }^{T}x-n\log (1+e^{\eta })}\end{array}$$

  对照指数族分布定义式，获取参数如下：

  • $\varphi (x)=x$
  • $h(x)=\frac{n!}{x!(n-x)!}$
  • $A(\eta )=n\log (1+e^{\eta })$

• 一维高斯分布：
  $$P(x\mid \theta )=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
  同理，将上述公式完全展开，系数部分插入$exp$：
  $$\begin{array}{rl}I& =e^{\log (2\pi {\sigma }^2{)}^{-\frac{1}{2}}}{e}^{-\frac{1}{2{\sigma }^2}(x^2-2\mu x+{\mu }^2)}\\ & =e^{-\frac{1}{2}\log (2\pi {\sigma }^2)}{e}^{-\frac{1}{2{\sigma }^2}(x^2-2\mu x)-\frac{{\mu }^2}{2{\sigma }^2}}\end{array}$$
  此时，两项都有相同的底$exp$，将两项合并；技巧操作：将$x^2-2\mu x$视为两向量的乘法操作。即：
  $$x^2-2\mu x=\left(\begin{array}{c}-2\mu ,1\end{array}\right)\left(\begin{array}{c}x\\ x^2\end{array}\right)$$
  化简得到如下结果：
  将$-\frac{1}{2{\sigma }^2}$作为系数带到矩阵中：
  $$-\frac{1}{2{\sigma }^2}\left(\begin{array}{c}-2\mu ,1\end{array}\right)=(\frac{\mu }{{\sigma }^2},-\frac{1}{2{\sigma }^2})$$
  最终化简结果为：
  $$e^{(\frac{\mu }{{\sigma }^2},-\frac{1}{2{\sigma }^2})\left(\begin{array}{c}x\\ x^2\end{array}\right)-[\frac{{\mu }^2}{2{\sigma }^2}+\frac{1}{2}\log (2\pi {\sigma }^2)]}$$

  对照指数族分布定义式：

  • $\varphi =\left(\begin{array}{c}x\\ x^2\end{array}\right)$；
  • $h(x)=1$；
  • ${\eta }^T=(\frac{\mu }{{\sigma }^2},-\frac{1}{2{\sigma }^2})$；
  • $A(\eta )=\frac{{\mu }^2}{2{\sigma }^2}+\frac{1}{2}\log (2\pi {\sigma }^2)$

实际上，我们可以对$\eta$继续化简：

• 令$\eta =\left(\begin{array}{c}{\eta }_1\\ {\eta }_2\end{array}\right)=\left(\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ -\frac{1}{2{\sigma }^2}\end{array}\right)$：
• 求得$\mu ,\sigma$表示如下：
  $$\mu =-\frac{{\eta }_1}{2{\eta }_2};{\sigma }^2=-\frac{1}{2{\eta }_2}$$
• $A(\eta )$表示为如下形式：
  $$A(\eta )=-\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}\log (\frac{\pi }{{\eta }_2})$$

回头观察充分统计量：
$$\varphi =\left(\begin{array}{c}x\\ x^2\end{array}\right)$$
如果某组数据$\mathcal{X}=\{x^{(1)},x^{(2)},\cdots ,x^{(N)}\}$服从高斯分布，并且知晓该数据的两种信息：
$$\left(\begin{array}{c}{\sum }_{i=1}^N{x}_i\\ \\ {\sum }_{i=1}^N{x}_i^2\end{array}\right)$$
那么该信息就可以构建一个完整的高斯分布模型$P(x\mid \eta )$， 并可以从该模型中源源不断地生成和$\mathcal{X}$相同分布的样本：
$$\begin{array}{rl}\mu & =\frac{1}{N}\sum _{i=1}^N{x}_i\\ {\sigma }^2& =\sum _{i=1}^N{x}_i^2-{\mu }^2\end{array}$$
有了均值$\mu$，方差$\sigma$，自然可以求解高斯分布：
$$P(x\mid \theta )=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
因此，指数族分布概率模型中的所有信息都存储在充分统计量中。换句话说，如果某一概率模型是指数族分布，那么该模型的统计量本身就是充分统计量。

指数族分布的共轭性质

在极大似然估计与最大后验概率估计介绍了贝叶斯估计及其弊端：
$$P(\theta \mid x)=\frac{P(x\mid \theta )P(\theta )}{{\int }_{\theta }P(x\mid \theta )P(\theta )d\theta }$$

其本质是积分难问题，如果$\theta$是多维向量，每一维度都要计算积分，是相当耗费计算资源的事情。

共轭本身意思是指：给定特殊的似然$P(x\mid \theta )$条件下，后验分布$P(\theta \mid x)$与先验分布$P(\theta )$会形成相同分布形式。
如果概率模型$P(x\mid \theta )$是指数族分布，就可以满足共轭条件，在使用贝叶斯估计求解问题时，可以直接跳过求解分母积分的过程，这种性质为推断、模型选择提供很大便利。

具体表述逻辑如下：

• 如果概率模型(似然函数)$P(x\mid \theta )$分布 存在一个共轭的先验分布$P(\theta )$，那么效果是：后验分布$P(\theta \mid x)$与先验分布$P(\theta )$会形成相同分布形式。
  注意：先验分布和后验分布的分布形式相同，但并不是相等。

下一节将介绍指数族分布与最大熵的关系。

相关参考：
二项分布
指数族分布
机器学习-白板推导系列(八)-指数族分布（Exponential Family Distribution）