机器学习笔记-03-广义线性模型推导线性回归及逻辑回归

本文我们讨论以下问题：

指数分布族
广义线性模型
利用广义线性模型构建线性回归
利用广义线性模型构建二分类逻辑回归(sigmoid)
利用广义线性模型构建多分类逻辑回归(softmax)
逻辑回归的极大似然估计和代价函数

1. 广义线性模型(Generalized Linear Model)

机器学习的目的是针对已有的样本进行建模，以便对新数据进行预测。
而无论是线性回归还是逻辑回归，在满足一些假设前提下，我们都可以使用广义线性模型进行建模求解。

1.1 指数分布族(Exponential Family)

在开始讨论广义线性模型前，我们需要先看一下指数分布族的定义，以便理解后面涉及的内容。
指数分布族就是指可以表示为特定指数形式的概率分布，形式如下：

其中：

：该分布的自然参数(nature parameter)，是概率分布参数的函数；
：充分统计量(sufficient statistic)，一般认为；
：对数分割函数(log partition function)，主要是为了使。

满足上面这个形式的概率分布都属于指数分布族。

1.2 广义线性模型的定义

接下来我们看构建广义线性模型需要满足的条件：

目标估计概率分布属于指数分布族，估计值服从指数分布族中的某个分布，即：;
线性预测因子;
对目标的估计等于概率分布的期望。

我们假设目标估计(针对单个样本)服从某个概率分布，对于不同的模型参数得到的估计值，能够通过此概率分布的概率密度函数在估计值处的取值作为所取模型参数的似然，因而可以很方便进行极大似然估计求解参数；
第二点容易理解，即自然参数与输入满足线性关系；
既然我们假设估计值服从某个概率分布，回归拟合的目标自然是这个分布的期望，从而就可以确定模型需要拟合的函数。

在维基百科上，第三点描述为：链接函数(Link function)使得。
链接函数在这里链接的是线性预测因子和概率分布的期望，原因是因为线性预测因子是线性的，但是概率分布的期望可能不是线性的，所以需要将其转换为线性才能建立对应的模型。

比如Y和X原本是指数关系，但是给Y取对数之后,logY和X就是线性关系，所以就可以建立对应的线性模型，这也是GLM的核心，这里的log就是链接函数。

2. 广义线性模型构建线性回归

对于线性回归，针对某个样本，真实值为，我们假设估计值服从高斯分布：。

稍微扯远一点理解下：对于特定参数的取值，必然有些样本的估计值和真实值之间存在误差；
我们希望回归所有样本，当然是误差为0最佳，所以假设所有样本上估计值和真实值的误差服从均值为零的正态分布，是符合回归的思想的。

下面我们将高斯分布写成指数分布族形式，为了方便，假设方差已知且:
$\begin{align*} N(\mu,1) & = \frac{1}{\sqrt{2\pi}} exp\left( - \frac{1}{2}(y-\mu)^2\right) \\ & = \frac{1}{\sqrt{2\pi}} exp\left(-\frac{1}{2}y^2 -\frac{1}{2}\mu^2 + \mu y\right) \\ & = \frac{1}{\sqrt{2\pi}} exp\left(-\frac{1}{2}y^2\right) exp\left(\mu y - \frac{1}{2} \mu^2\right) \end{align*}$
因此：

所以，在线性回归中，我们需要拟合的模型函数就是：

在这里链接函数为恒等函数：。

3. 广义线性模型构建逻辑回归

对于逻辑回归，就是针对分类问题进行建模，简单二分类我们可以假设估计值服从伯努利(Bernoulli)分布:

因此：

伯努利分布的期望是，所以有：

这就是逻辑回归需要拟合的函数，也是机器学习中最常用的激活函数之一，sigmoid函数。
此时的链接函数是：，即常用的logit变换：

图1 Logit变换

Odds和Logit(P)的函数图形如下：

图2 概率P和Odds、Logit之间的关系

直观上看，因为伯努利分布的取值范围是[0, 1]，而的取值范围却是(-∞, +∞)，经过Logit变换之后，将概率也映射到了(-∞, +∞)，所以就可以建模了。

4. 广义线性模型构建多分类模型

对于多分类，我们就采用多项式分布进行建模。
假设y有多个分类；每种分类对应的概率依次为；
下面先引入，它是一个k维的向量，如下：

再引入指示函数，令，则的某个元素可以表示为：

因为概率和为1，有，所以可以少用一个参数，用k-1维的向量表示，为全零；，下面的推导也将会用到此技巧。

所以可以得到每个类别的期望：

将其表示为指数分布族形式：
$\begin{align*} p(y|\phi) &= \phi_1^{I(y = 1)}\phi_2^{I(y = 2)}...\phi_k^{I(y = k)} \\ &= \phi_1^{I(y = 1)}\phi_2^{I(y = 2)}...\phi_k^{1 - \sum_{i = 1}^{ k - 1} I(y = i)} \\ &= \phi_1^{T(y)_1}\phi_2^{T(y)_2}...\phi_k^{1 - \sum_{i = 1}^{ k - 1} T(y)_i} \\ &= exp(T(y)_1log(\phi_1) + T(y)_2log(\phi_2) + ... + (1 - \sum_{i = 1}^{ k - 1} T(y)_i)log(\phi_k)) \\ &= exp(T(y)_1log(\phi_1/\phi_k) + T(y)_2log(\phi_2/\phi_k) + ... + T(y)_{k-1}log(\phi_{k-1}/\phi_k) + log(\phi_k)) \end{align*}$
注意，对于，其对应结果为0，可以令。
所以可以得到为：

因而有：
$\begin{align*} \eta_i &= log(\phi_i/\phi_k)\Rightarrow \phi_i = \phi_k e^{\eta_i} \\ \sum_{i = 1}^{k} \phi_i &= 1 \Rightarrow \phi_k = \frac{1}{\sum_{i = 1}^{k}e^{\eta_i}} \\ \phi_i &= \frac{e^{\eta_i}}{\sum_{i = 1}^{k}e^{\eta_i}} \end{align*}$
所以我们就可以得到多分类模型：
$\begin{align*} h_\theta(x) &= E[T(y)|x;\theta] \\ &= \begin{bmatrix} \phi_1\\ \phi_2\\ \vdots\\ \phi_k\\ \end{bmatrix} \\ & = \begin{bmatrix} \frac{exp(\theta_1^Tx)}{\sum_{i = 1}^{k}exp(\theta_i^Tx)}\\ \frac{exp(\theta_2^Tx)}{\sum_{i = 1}^{k}exp(\theta_i^Tx)}\\ \vdots\\ \frac{exp(\theta_k^Tx)}{\sum_{i = 1}^{k}exp(\theta_i^Tx)}\\ \end{bmatrix} \end{align*}$

5. 逻辑回归的似然估计

对于二分类，利用其概率密度函数估计似然性，故其似然函数是：

对于个样本，联合似然函数为：

求解此函数取最大值时的参数即为逻辑回归模型的极大似然估计。
在机器学习中，我们将其转化为最小值问题便于运用梯度下降等求解方法，取对数，取反，求平均，即逻辑回归的代价函数：

对于多分类，是类似的(个样本，个分类)：

6. 总结

指数分布族即符合某一形式的一族概率分布，常见的正态分布、伯努利分布、泊松分布等；
构建广义线性模型即假设模型的预估值服从某一指数分布族的概率分布，找到合适的链接函数将此概率分布的期望和广义线性模型的线性预测因子建立线性关系；
通过假设线性回归预估值服从正态分布，逻辑回归服从伯努利分布或多项式分布，就可以推导出对应的预测函数(或者就叫模型，Andrew Ng的课程中称为Hypothesis)；
利用极大似然估计可以很容易确定模型求解的优化问题，简单转换就可以得到机器学习中采用的代价函数，然后利用梯度下降等手段进行求解。

2019-08-16