指数分布族

我们都知道logistic回归，softmax回归，线性回归，他们看上去不一样但是他们都属于广义线性模型【Generalized Linear Mode】。这篇博客就来介绍他们。要介绍广义线性模型前，首先介绍指数分布族。

一、指数分布族【The exponential family】

指数分布族具有如下形式：

下面是对指数分布族的一些理解：

下面列出怎么求解参数

二、最大熵的角度理解指数分布族：

2.1、熵的定义

假设离散随机变量X的概率分布是P（X），其熵为

                                                               

2.2、最大熵原理

最大熵原理认为，学习概率模型时，在所有的概率模型中，熵最大的模型是最好的模型。在满足约束条件下，如果没有更多的信息，则那些不确定的部分概率相等时熵最大。

举一个没有已知分布约束条件下的例子。假设随机变量X有5个取值{A,B,C,D,E},要估计各个值的概P(A),P(B),P(C),P(D),

P(E).这些概率值相加为1，则他们的概率值都是五分之一。下面给出证明：

上面给出了没有任何已知条件下，各个概率相等的条件下，熵最大。下面给出了有已知条件下，最大熵模型的求解。

三、高斯分布的指数形式

本来想写成广义线性模型来，可是看了好久的笔记，不知道怎么把这一部分写出来，这个先放下，等以后有时间的时候，在写成广义线性模型。

参考资料：1>机器学习-白板推导系列-指数分布族

                    2>CS229机器学习课件

                    3>李航-统计机器学习