关于机器学习中的广义线性模型(GLM)

在机器学习中，有着许多模型，比如传统的线性回归模型，logistic回归，soft max回归啊之类的很多，那么从传统的线性回归模型中我们观察到，这并不能很好的解决因变量是离散的或者是分类的这样的情况，经过国内外许多数学界的大牛们长期的摸索与验证，广义线性模型的理论被逐步建立起来，用以解决以往传统的线性回归模型的缺陷。
在引入广义线性模型之前，有必要先引入指数分布族（exponential family）这一概念
指数分布族的定义很简单，只要是形式上如同下图这样的即是指数分布族

for1

其密度函数如果可以转化成这种形式的话，那么就为指数分布族
η是一个自然的参数，T（y）是充分统计量，一般来说T（y）=y，a（y）为累计量母函数。
正态分布，伯努利分布，泊松分布，指数分布等均属于指数分布族，我们可以求出相应的η的表达式。
根据三个假设来建立广义线性模型
y的概率分布服从指数分布
计算T（y）的期望
η是x的线性表示

那么到这里你可能还是不知道广义线性模型的作用，广义线性模型的主要作用在于第二个假设中，计算T（y）的期望，一般情况下就是计算y的期望，那么和我们之前学习的利用一个h（x）去估计y是不是有点类似呢，没错，就是这样的作用，我们之前利用一个线性带参的函数h(x)去估计其实都是基于我们对样本的理解从而主观假设出来的，而广义线性模型给出了一个通用的方法来计算出我们的假设函数h（x）
步骤一般是这样的，首先通过指数分布族的建立，我们可以计算出指数分布的各个参数的表达式，然后利用对于T（y）的期望来试着去估计y，而T（y）的期望我们可以通过概率统计的知识用原有的概率密度函数的参数表示出来，再利用之前我们得到的表达式，关联起来就可以得到T（y）和x之间的联系
举个简单的例子，伯努利分布（y只有0和1两种取值）

for2

首先转换成指数分布族的形式

for3

简单得

for4

接着利用我们概率论的知识可以知道伯努利分布的期望就是概率，并且通过第三个假设我们知道x的线性表示其实就是μ，那么我们就将θ联系起来了
最后利用期望来估计y，得到

for5

这其实就是logistic回归
到此，你应该对广义线性模型有个大概的了解，知道它有什么用怎么去用了。