指数分布族和广义线性模型

一、综述

广义线性模型就是通过是三个假设将指数分布族转换成对应的机器学习模型
常见的线性回归、logistic 回归、Softmax模型等等都是属于广义线性模型
由指数分布族和广义线性模型的三个假设推导出sigmoid函数
1、首先很多我们平常接触的概率分布都可以被表示成为指数形式，也就是很多概率分布属于指数分布族。在指数分布族格式中，一组确定的BAT三个参数（b，a，T），对应一个概率分布
2、广义线性模型的三个假设：（5个参数）

• y|x,θ属于某个概率分布：给定x的前提下，y属于谁（确定三个参数）
• h = E[t(y)|x] 目标函数是充分统计量的期望（因变量的条件期望）
• η = θX 因为线性模型，自然参数=参数和x的线性组合（自变量的线性组合）

3、根据以上，就能得出h和η的关系，得到各个模型

二、指数分布族

在这里，η叫做分布的自然参数，a(η)叫做累积量母函数（又称log partition function）。exp(-α(η))这个量是分布p(y;η)的归一化常数，用来确保分布p(y;η)对y的积分为1。T(y)称为充分统计量（sufficient statistic）,对于我们考虑的分布，一般认为T(y)=y。
一组确定的T，a和b定义了这样一个以η为参数的分布族。对于不同的η，我们可以得到指数分布族中不同的分布。

指数分布族

三、伯努利分布→逻辑回归

四、高斯分布→线性回归

五、详解广义线性模型的三个假设

三个假设

1、第一个假设解释

无需多解释，先验分布属于指数分布族中的某一个分布

2、第二个假设解释（核心）

η 以不同的连接函数与其它概率分布函数中的参数发生联系，从而得到不同的模型。广义线性模型正是将指数分布族中的所有成员（每个成员正好有一个这样的联系）都作为线性模型的扩展，通过各种非线性的连接函数将线性函数映射到其他空间，从而扩大了线性模型可解决的问题。

对于h = E(y|x) 的公式解释
例如在逻辑回归中

假设一个点x1 =（1，5，1）,y1 = 1，假设属于伯努利分布
p(y=1|（1，5，1）) = 0.7
p(y=0|（1，5，1）) = 0.3
h(x1) = E(y|x1) = p(y=1|（1，5，1）) 1 + p(y=0|（1，5，1）)0 = 0.7

这篇文章关于连接函数说的很好

3、第三个假设解释

这是一个设计策略，默认θ和x成线性关系，自然分布参数η可以表示为θ和x成线性关系。参考视频 斯坦福机器学习54分解释

参考：
1、 牛顿方法、指数分布族、广义线性模型—斯坦福ML公开课笔记4
2、机器学习之回归（二）：广义线性模型（GLM）

番外