从「一」到「无穷大」：广义线性模型 (GLM)

从「一」到「无穷大」：广义线性模型 (GLM)

本文基于「指数分布族」的理论，以「Logistic回归」为例，讲解推广线性模型的过程。

如果你还不了解指数分布族，请看：指数分布族

本文的md源码地址：AnBlogs

Logistc回归举个例子

先讲解Logistc预测使用的概率模型「伯努利分布」，并把它写成「指数族分布」的形式，再看看预测是如何操作的。

如果你还不了解Logistic回归，请看：Logistic回归

原始概率模型

「Logistic回归」解决一个二分类问题，二分类问题就是求对象分到某个类的概率，用伯努利分布描述。
$$p(y|\mu )={\mu }^y(1-\mu {)}^{1-y}$$
以上形式就是在说$p(y=1|\mu )=\mu$，只是把$y=0,y=1$的情况融合在一起。

这里需要使用一点术语，$\mu$称为均值参数，意在它表达了分布的均值，或者可以直接叫做参数。

指数族分布形式 (Exponential Family)

伯努利分布写成指数族分布形式如下：
$$p(y|\mu )=(1-\mu )\exp (y\ln \frac{\mu }{1-\mu }),\frac{1}{Z}=1-\mu ,\varphi (y)=y,\theta =\ln \frac{\mu }{1-\mu }$$
如果你对这个结论不了解，请看：指数分布族

这里给出了$\mu \to \theta$的映射，称为$\Psi$，也就是$\theta =\Psi (\mu )$。这个映射是从原始参数到自然参数的映射。这里说「原始参数」是为了和「自然参数」相区分。

这个映射是可逆的，是Sigmoid函数：
$$\mu =\frac{1}{1+e^{-\theta }}=A^{\prime }(\theta ),{\Psi }^{-1}(\theta )=sigm(\theta )$$
最终的指数族分布形式为：
$$p(y|\mu )=\exp (y\theta -A(\theta )),A(\theta )=\ln (1+e^{\theta })$$

和线性组合连接 (Link Function)

我们通常通过$w^{T}x$的值估计目标$y$分布的参数，进而求得分布。

比如在线性回归中，$w^{T}x$直接确定了目标$y$的均值，把方差当作常数，则目标$y$的分布就确定了。在Logistic回归中，$w^{T}x$的值带入Sigmoid函数，得到分布的参数$\mu$。它们都是在建立「目标的分布的原始参数」和「特征的线性组合」之间的映射，这样的映射就是「连接函数」。

如果你还记得的话，Logistic回归的映射是这样的：
$$\ln \frac{\mu }{1-\mu }=\theta =w^{T}x$$
计作：
$$w^{T}x=g(\mu )=\ln \frac{\mu }{1-\mu }$$
这样写可能比较陌生，写出反函数你肯定知道了：
$$\mu =g^{-1}(w^{T}x)=\frac{1}{1+\exp (-w^{T}x)}$$
这就是我们熟悉的Logistic回归！

选择这个$g$，而不选择别的$g$的原因，在于可以极大地简化指数族分布的形式：
$$\theta =\Psi (\mu )=\Psi (g^{-1}(w^{T}x))=w^{T}x\Rightarrow p(y|x,w)=\exp (y\cdot w^{T}x-A(w^{T}x))$$
这样选择映射使得$y\cdot w^{T}x$形式出现，让问题变得简单。

对于其它的模型也是如此。我们适当选择「连接函数」，建立特征的线性组合和原始参数之间的映射，并且让这个映射尽量简化问题。如选择使得$\theta =w^{T}x$的连接函数，可以使得$y\cdot w^{T}x$出现，这样的连接函数和「原始参数」到「自然参数」的映射$\Psi$具有相同形式。也可以选择更简洁的$\mu =w^{T}x$，具体视问题本身而定。

推广总结

把以上结论推广到一般情况，操作其实非常固定。

1. 对于一个机器学习模型需要估计的「目标」$y$，它服从一个「指数族分布」$p(y|\mu )$，$\mu$是相应的「原始参数」。
2. 求出指数族分布的各个成员$A(\theta ),\varphi (y),\theta =\Psi (\mu )$。
3. 选择一个「连接函数」，建立「特征的线性组合」和「均值参数」之间的映射。
4. 进行参数估计，计算后验分布等等。

详细说说连接函数 (Link Function)

定义和意义

「连接函数」是「均值参数」$\mu$和「特征的线性组合」之间的映射。刚刚说的是「原始参数」，而不是「均值参数」。现在改口的原因有这些：

1. 「原始参数」通常就是「均值参数」，区别不大。
2. 使用「均值参数」，就是在通过「特征的线性组合」计算预测目标的「均值」。这样的处理反映的是「用线性组合估计均值」的思想，也就是线性模型的意义！

这个映射通常用$g$表示，「正映射」规定为从「均值参数」到「特征的线性组合」，「逆映射」规定为从「特征的线性组合」到「均值参数」。

「均值参数」就是表达均值的参数（废话）。常用的分布都有「均值参数」，你可以随意回顾一下伯努利分布、正态分布、泊松分布，等等，以这些分布建立起来的模型可以很方便地选取连接函数。有些分布好像没有均值参数，如二项分布，他们其实是由更简单的分布建立起来的「二级结论」，如二项分布是由伯努利分布推出来的。

到这里，你应该明白，所谓「广义线性模型」，就是用「特征的线性组合」，通过「连接函数」，预测一个符合「指数族分布」的目标变量。

General Linear Model = Link Funtion + Exponential Family Distribution

函数的记号和术语

特征的线性组合用$\eta$表示：
$$\eta =w^{T}x$$
连接函数则这样表示：
$$w^{T}x=\eta =g(\mu )$$
「逆映射」$g^{-1}$也叫「均值函数」(Mean Function)，意味着函数的返回值是个「均值」。
$$\mu =g^{-1}(\eta )$$
对于Logistic回归，连接函数这样表示：
$$g(\mu )=\ln \frac{\mu }{1-\mu },g^{-1}(\eta )=\frac{1}{1+\exp (-\eta )}$$

如何选择

选择以「简单」为首要考虑。在Logistc回归中，选择的连接函数令指数族形式中出现了$y\cdot w^{T}x$，没有$\ln$等复杂的东西出现，这就是一个很好的选择。这样的选择在计算「梯度」和「海塞矩阵」的时候可以提供巨大方便，同时还可以完美地完成任务。

没有多个要预测的变量

以上例子的均值参数$\mu$都是「一个」数，一个常见的问题便是「均值参数是向量怎么办？」或者是「是多变量分布怎么办？」。这样的问题通常不会出现，因为传统机器学习预测问题只涉及「一个」预测，即便有多个预测， 也可以拆分成多个模型来处理。只有「一个」预测，也就只有「一个」均值参数啦！

这里以线性回归再举个例子。

线性回归举个例子

如果你还不了解线性回归，请看：线性回归

线性回归预测的目标是连续取值的，故假定服从正态分布：
$$p(y|\mu )=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (\frac{(y-\mu {)}^2}{2{\sigma }^2})$$
写成指数族分布形式：
$$p(y|\mu )=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (\frac{1}{{\sigma }^2}(-\frac{1}{2}{y}^2+\mu y-\frac{1}{2}{\mu }^2))$$
各个成员：
$$\theta =[\frac{\mu }{{\sigma }^2},-\frac{1}{2{\sigma }^2}],\varphi (x)=[x,x^2],A(\theta )=\frac{1}{2{\sigma }^2}{\mu }^2+\frac{1}{2}\ln 2\pi {\sigma }^2$$
选择「简单」的连接函数：
$$\mu =g^{-1}(\eta )=\eta$$
带入原来的模型，得到的就是我们熟悉的L2回归！

最大似然估计

广义线性模型的优势之一，就是可以采用几乎相同的最大似然估计/最大后验估计。我们在指数族分布中已经计算过了指数族分布的最大似然估计和最大后验估计，请看：指数族分布

表达似然

对于一行数据$x^{(i)},y^{(i)}$，对应的似然的对数：
$$l^{(i)}=\ln p(x^{(i)},y^{(i)}|w)={\theta }^{(i)}{y}^{(i)}-A({\theta }^{(i)})$$
如此简洁的形式，就是指数族分布的威力！

总的似然：
$$l(w)=\ln \prod _{i}p(x^{(i)},y^{(i)}|w)=\sum _i{l}^{(i)}$$

求导

采用习惯的上下标表达方式，上标表示行索引，下表表示列索引。如$w_j$表示对应第$j$个特征的线性组合的系数，${\eta }^{(i)}$表示输入第$i$行数据$x^{(i)}$得到的${\eta }^{(i)}=w^T{x}^{(i)}$的值，其它同理。
$$\frac{d{l}^{(i)}}{d{w}_j}=\frac{d{l}^{(i)}}{d{\theta }^{(i)}}\frac{d{\theta }^{(i)}}{d{\mu }^{(i)}}\frac{d{\mu }^{(i)}}{d{\eta }^{(i)}}\frac{d{\eta }^{(i)}}{d{w}^{(i)}}=(y^{(i)}-{\mu }^{(i)})\frac{d{\theta }^{(i)}}{d{\mu }^{(i)}}\frac{d{\mu }^{(i)}}{d{\eta }^{(i)}}{x}_j^{(i)}$$
使用Cannonical连接函数$\eta =\theta$，以上结论变为：
$$\frac{d{l}^{(i)}}{d{w}_j}=(y^{(i)}-{\mu }^{(i)})x_j^{(i)}$$
正是Logisitc回归的结论！

这里不知如何翻译Cannonical，字面含义大概是「符合简单规则的、符合通行规则的」。经典力学中有Cannonical Form，翻译为「正则」。在此大概是「简单、显然」之类的意思，这个连接函数确实是最简单的一种形式。