【学习笔记】斯坦福大学公开课（机器学习）之指数分布族

可以写出下式形式的分布，都属于指数分布族:

p(y;η)=b(y)exp(ηTT(y)−a(η))(1)

其中 η 称为自然参数（natural parameter）， T(y) 称为充分统计量（通常情况下 T(y)=y ）, a(η) 称为日志配分函数(log partition function)。 e−a(η) 是归一化常数（normalization constant），这个常数的作用是让 p(y;η) 中 y 的和为1。
T,a,b 固定后就定义了以 η 为参数的分布，根据 η 的变化，我们就可以得到这个分布族中不同的分布。
接下来我们会来验证伯努利分布和高斯分布都属于是指数分布族。以均值为 ϕ 的伯努利分布，写为Bernoulli( ϕ ）。
可以把伯努利分布写成以下形式：

p(y;θ)=ϕy(1−ϕ)1−y=exp(ylogϕ+(1−y)log(1−ϕ))=exp((log(ϕ1−ϕ))y+log(1−ϕ))

到这里就可以看到对应于公式（1）我们有 b(y)=1,T(y)=y ,自然参数为 log(ϕ1−ϕ) ，即 η=log(ϕ1−ϕ) ,我们再用 η 来表示 ϕ ，可以得到 ϕ=1/(1+e−η) ，这个正是我们的逻辑斯蒂函数。这是因为逻辑斯蒂模型对问题的前置概率估计是伯努利分布的缘故。
再来看高斯分布，我们知道 高斯分布中的方差对于我们的假设函数没有关系，我们令方差为1，即使不这样做那么方差也只是作为参数出现在我们的推导结果最后面：

p(y;μ)=12π−−√exp(−12(y−μ)2)=12π−−√exp(−12y2)∗exp(μy−12μ2)

其中：

ηT(y)a(η)b(y)=μ=y=12μ2=12π−−√exp(−12y2)

还有其它一些分布都属于是指数分布族中的一类。
1. 多项式分布（The multinomial ）
2. 泊松分布（the Poisson ）
3. 伽马和指数分布 （ the gamma and the exponential）
4. β 分布
5. Dirichlet 分布 (for distributions over probabilities);
等等