广义线性模型

今天我来介绍一种在机器学习中应用的比较多的模型，叫做广义线性模型（GLM）。这种模型是把自变量的线性预测函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广义线性模型。

Contents

1. 广义线性模型的认识

2. 常见概率分布的认识

---

1. 广义线性模型的认识

首先，广义线性模型是基于指数分布族的，而指数分布族的原型如下

其中

为自然参数，它可能是一个向量，而

叫做充分统计量，也可能是一个向量，通常来说。

实际上线性最小二乘回归和Logistic回归都是广义线性模型的一个特例。

当随机变量服从高斯分布，那么y得到的是线性最小二乘回归。

当随机变量y服从伯努利分布，则得到的是Logistic回归。

---

那么如何根据指数分布族来构建广义线性模型呢？ 首先以如下三个假设为基础

---

2. 常见概率分布的认识

（1）高斯分布

关于高斯分布的内容我就不再多讲了，如果把它看成指数分布族，那么有

对比一下指数分布族，可以发现

所以高斯分布实际上也是属于指数分布族，线性最小二乘就是基于高斯分布的。

（2）伯努利分布

伯努利分布又叫做两点分布或者0-1分布，是一个离散型概率分布。

若伯努利实验成功，则伯努利随机变量取值为1，并记成功的概率为

如果失败，则伯努利随机变量取值为0，那么失败的概率就是

所以得到其概率密度函数为

如果把伯努利分布写成指数分布族，形式如下

对比指数分布族，有

Logistic回归就是基于伯努利分布的，之前的Sigmoid函数，现在我们就可以知道它是如何来的了。如下

如果

---

广义线性模型