机器学习（十）——指数族（The exponential family）

原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf

为了达到广义线性模型，我们首先定义指数族分布。我们说如果一个分布是指数族分布，那么它可以用以下形式表示：

这里，η被称为分布的自然参数（也称为规范参数）；T(y)是充分统计量（对于我们所考虑的分布，通常情况下有T(y)=y）；a(η)被称为对数划分函数。这一项本质上是起到了正则化常数的作用，确保了分布p(y;η)的总和或是积分在y到1上。

固定T，a和b，我们定义一族以η为参数的分布；随着η的变化，我们可以在这个族中得到不同的分布。

我们现在以Bernoulli分布和Gauss分布为例，来说明它们属于指数族分布。均值为φ的Bernoulli分布，可以写成Bernoulli(φ),指定y∈ {0,1}的分布，使得p(y=1;φ)=φ;p(y=1;φ)=1-φ。随着φ的变化，我们得到了不同均值的Bernoulli分布。我们现在来证明这类由变化的φ得到的bernoulli分布，属于指数族分布。也就是说，有一个T，a和b的选择，使方程(6)完全成为Bernoulli分布的一类。

我们可以将bernoulli分布写成如下的形式：

因此，自然参数由η=log(φ/(1−φ))给出。有趣的是，如果我们把η的这个定义转化为用η来求解φ，我们可以得到φ=，这不就是大家熟悉的 sigmoid 函数！当我们将Logistic回归作为GLM时，这将再次出现。为了完成Bernoulli分布作为指数族分布的公式，我们也有

这表明，使用适当的T、a和b的选择，Bernoulli分布可以用方程(6)的形式写成。

现在让我们继续考虑高斯分布。回想一下，当导出线性回归时，的值对我们最终选择θ和没有影响。因此，我们可以为选择任意值，而无需更改任何内容。为了简化下面的推导，我们让=1。然后，我们有：

因此，我们可以得到 Gaussian 也是指数族，其中：

还有许多其他分布也是指数族的成员。例如，多项式分布，泊松分布， gamma 分布，指数分布，beta分布， Dirichlet 分布。