线性回归与广义线性模型(GLM)简介

线性回归

假设我们有一堆数据 ，我们的任务是根据这些数据建立一个模型，如果我们另外获得了新的样本x，我们要用该模型预测y。如果这是一个回归问题，最简单的一个想法是将它建立为线性模型(这里的线性是指对参数的线性)：

                                                                  

这里是噪音，通常我们会假设噪音满足，这样y满足一下分布：

                                                                        

接下来就是最大似然概率的事情了

                                                                  

这里我们可以把上式变为矩阵形式（非常漂亮），我们设

                                                              

且

                                                                  

则原问题转化为

                                                          

229我们对求导，中间推导过程比较长(可参考吴恩达CS229 note1)这里就省略了，最后可以得到 ，令其等于零，即结果。

广义线性模型

对于y是连续值得情况，我们可以用这种方式处理，但当y是离散值(比如count data，binary data 见wiki Statistical data type)我们用普通线性模型就不合适了，这时我们引用另外一种模型 --- Generalised Linear Models 广义线性模型。

为了获取GLM模型，我们列出3个条件：

1. ，也就是y|x为指数族分布，指数族分布形式：

2. 如果我们判断y的假设为 ，则。

3. 自然参数和输入x呈线性关系：

这3个条件的来由我们不讨论，我们只知道做这样的假设是基于“设计”的选择，而非必然。

我们以泊松回归为例, y服从泊松分布 ，化为指数族形式，我们可以得到，，，。所以

之后即为最大似然法的过程。

参考文献：

[1] 吴恩达 cs229 lecture note 1

[2] Introduction to Generalized Linear Models