线性模型（一）--广义线性模型（GLM）简介

我们从初中开始接触线性方程，线性关系是变量间最简单的关系，所以我打算从线性模型入手开始介绍机器学习的基本算法。广义线性模型（General Linear Model,GLM）是线性回归模型的推广形式，由广义线性模型可以推导出线性回归、logistic回归、softmax回归等。之前看过的大多数的书籍，包括大家认可度最高的standford cs229课程都是先介绍具体的回归模型，再抽象得出广义线性回归模型，当我按照这样的学习路线在学习具体的回归模型的时候，不是很理有些知识点解为什么这样使用，比如logistic回归的sigmoid函数，最初接触的时候原本以为就是人为规定的，没有过多的追寻其本质来源，只是在数学形式上知道了它是怎么推导的。但是在后来的广义线性模型中，我才理解了sigmoid函数的由来。我一直认为掌握公式推导只是了解了模型的表达形式，只有理解了模型的来源才是真正掌握了模型本身，所以个人觉得在学习线性模型前，有必要对广义线性模型的形式有一个了解，这样在学习具体的回归模型时，有助于理解模型本身。

广义线性模型是基于指数分布族的，指数分布族的数学模型如下所示：

其中为自然参数，可以为一个向量；叫做充分统计量，也可以作为一个向量，一般来说。

由指数分布族构建广义线性模型以以下三个假设为基础：

1、给定特征属性x和参数后，y的条件概率服从指数分布族，即

2、预测的期望，即计算

3、与x之间是线性的，即

以上就是广义线性模型的定义，目前不需要深究该模型，在之后具体的线性回归、logistic回归中我会再详细介绍这些模型与广义线性模型的关系。