广义线性模型(logistic和softmax)

再谈广义线性模型之前，先来看一下普通线性模型：

普通线性模型的假设主要有以下几点：

1.响应变量Y和误差项ϵ正态性：响应变量Y和误差项ϵ服从正态分布，且ϵ是一个白噪声过程，因而具有零均值，同方差的特性。

2.预测量xi和未知参数βi的非随机性：预测量xi具有非随机性、可测且不存在测量误差；未知参数βi认为是未知但不具随机性的常数，值得注意的是运用最小二乘法或极大似然法解出的未知参数的估计值β^i则具有正态性。

 

广义线性模型(generalized linear model)正是在普通线性模型的基础上，将上述四点模型假设进行推广而得出的应用范围更广，更具实用性的回归模型。此模式假设实验者所量测的随机变量的分布函数与实验中系统性效应(即非随机的效应)可经由一链结函数(link function)建立起可资解释其相关性的函数。响应变量的分布推广至指数分散族(exponential dispersion family)：比如正态分布、泊松分布、二项分布、负二项分布、伽玛分布、逆高斯分布。

指数分布族

指数分布族(exponential dispersion family)实质上是对一类具有以下形式的概率密度函数或具有此类密度函数的分布的总括：

其中η成为分布的自然参数(natural parameter)，T(y)成为充分统计，对于很多分类问题，这个值就是y,固定T,a,b,形成了一个参数是η的函数簇。

我们把伯努力分布写成：

在这里自然参数η就是。

以二分类为例，预测值y是二值的{1,0}，假设给定x和参数，y的概率分布服从伯努利分布（对应构建GLM的第一条假设）。由上面高斯分布和指数家族分布的对应关系可知。

可以从GLM这种角度理解为什么logistic regression的公式是这个形式~

 

Logistic回归可以解决二元分类问题，但是对于多元分类，就需要使用Softmax回归来解决，比如对于邮件不是仅仅分为spam和not-spam，而是分为spam，personal，work

所以数据的分布也变成多项分布（multinomial distribution），是二项分布的推广

与上面不同的是不再成立，取而代之的是

Softmax的指数分布族如下所示：

虽然看着挺复杂，但如果理解了logistic的相应函数，要看懂这个应该没问题。

我们的目标是要取出其中的：

根据上述公式推导出。