你真的学懂了线性回归和logistic回归吗？——从指数族分布说起

---

1. 回顾机器学习的基本思想

机器学习所要实现多任务往往是：给定一组训练数据$D$，我们希望通过$D$得到我们研究的输入空间的概率分布。或者换句话讲，我们想用一个概率分布来尽可能准确地描述这组训练数据的分布。这样，我们就可以对给定的一个测试数据，找出条件概率最大的值作为输出，完成机器学习的预测部分。

然而，在没有任何假设的情况下，直接学习概率分布是不现实的。直接学习概率分布的一种最简单最暴力的方法，就是把空间分成很多小的单元，然后统计样本落在每个单元的频率，作为每个单元的概率分布（每个单元近似成一个均匀分布）。但是这种方法的确定很明显：数据不足、有噪音、存储能力受限等。单元分割得越细，得到的概率分布就越准确，但是这就需要越多的数据来训练，也需要越多的存储空间来存储。当考虑的空间是n维时，所需要的空间就是单元个数的n次方，这样会出现维度爆炸的情况。

因此，在大多数情况下，我们都会人为指定某种概率分布。例如，指定数据服从高斯分布或者伯努利分布等。这样，对概率分布函数的学校就简化为了对指定的函数参数的学习，这样一方面降低了学习的难度，另一方面也减少了存储空间（只需要存储我们感兴趣的统计量，例如对于高斯分布只需要存储均值和方差；对于伯努利分布，只需要存储正类的概率）。这种方法需要根据不同的问题选择不同的分布，需要一定先验知识。

指数族分布就是一类常用的分布模型，它有很多优良的性质，利用指数族分布假设来推导出的线性模型成为广义线性模型，Generalized Linear Model(GLM)。下面我们介绍指数族分布的由来。

2. 指数族分布

2.1. 指数族分布由来的推导

我们这里讨论的是离散模型的指数族分布。
设 $X^{(i)}$ 表示第 $i$ 条训练数据，$T(X^{(i)})$ 表示从第 $i$ 条训练数据中我们感兴趣的统计量（或者也叫特征数，常用的比如k阶矩，例如$T(X^{(i)})=[x,x^2,\cdots ]$ 。注意这里$T(X^{(i)})$是一个向量，这样我们就可以表示两个或者更多我们感兴趣的统计量）。我们希望我们的概率模型 $p$ 能满足以下性质
$$\begin{gathered} {\mathbb{E}}_p[T(X)]=\hat{\mu } \\ \text{\hspace{1em}(2-1)} \end{gathered}$$
其中
$$\begin{gathered} \hat{\mu }=\frac{1}{n}\sum _{i=1}^{m}T(X^{(i)}) \\ \text{\hspace{1em}(2-2)} \end{gathered}$$
简单来说，就是我们希望概率模型的统计量的期望等于所有训练数据的统计量的均值，这个希望是非常合理、自然的。

除此之外，我们还希望我们的概率模型要有最大的信息熵，也即满足最大熵原理，这是因为在没有更多的信息的情况下，我们希望我们的概率模型有最大的不确定性，也即能够涵盖更多的可能性。

为此，我们可以将上述目标写成如下的最优化问题：
$$\begin{array}{rl}{p}^{\ast }(x)=& \underset{p(x)}{\mathrm{argmax}}-\sum _{x}p(x)\log p(x)\\ \text{s.t.}& \sum _{x}T(x)p(x)=\hat{\mu }\\ & \sum _{x}p(x)=1\end{array}\text{\hspace{1em}(2-3)}$$
这是一个仅含等式约束的凸优化问题，可以用Lagrange对偶方法来求解。
Lagrange函数为：
$$\begin{array}{rl}L(x,\eta ,\lambda )& =-\sum _{x}p(x)\log p(x)+{\eta }^T(\sum _{x}T(x)p(x)-\hat{\mu })+\lambda (\sum _{x}p(x)-1)\\ & =\sum _x(-p(x)\log p(x)+{\eta }^{T}T(x)p(x)+\lambda p(x))-{\eta }^T\hat{\mu }-\lambda \end{array}\text{\hspace{1em}(2-4)}$$
由于$(2-3)$是一个仅含等式约束的凸优化问题的标准形式，所以强对偶性成立。对$(2-4)$中的$p(x)$求导令导数等于0，有
$$\begin{gathered} -1-\log p(x)+{\eta }^{T}T(x)+\lambda =0 \\ \text{\hspace{1em}(2-5)} \end{gathered}$$
可进一步得到：
$$\begin{array}{rl}p(x)& =\exp ({\eta }^{T}T(x)+\lambda -1)\\ & =\exp ({\eta }^{T}T(x)-a)\end{array}\text{\hspace{1em}(2-6)}$$
对$(2-6)$两边求和，可得：
$$\begin{gathered} \sum _{x}p(x)=1=\sum _x\exp ({\eta }^{T}T(x)-a) \\ \text{\hspace{1em}(2-7)} \end{gathered}$$
由上式可以得到
$$\begin{gathered} a(\eta )=\log \sum _x\exp ({\eta }^{T}T(x)) \\ \text{\hspace{1em}(2-8)} \end{gathered}$$
令
${\eta }^{\prime T}={\eta }^T$ 以及 $T^{\prime }(x)=T(x)\log b(x)$，可以得到$p(x)$的一种更常见的表达式：
$$\begin{gathered} p(y;\eta )=b(y)\exp ({\eta }^{T}T(y)-a(\eta )) \\ \text{\hspace{1em}(2-9)} \end{gathered}$$
上式就是很多文献中常见的指数族分布的概率密度函数表达式。

2.2. 指数族分布的特殊情形：伯努利分布和高斯分布

在$(2-9)$中；

• $\eta$被称为自然参数（natural parameter）或者典范参数（canonical parameter）
• $T(y)$被称为充分统计量（sufficient statistic），常用的是$T(y)=y$；
• $a(\eta )$被称为对数分割函数（log partition function），可以起到归一化的作用

下面我们来说明一下，伯努利分布和高斯分布都是指数族分布的特殊情形。
假设伯努利分布的均值（也即取值为1的概率）为$\varphi$，那么伯努利分布的概率密度函数可以表示成：
$$\begin{array}{rl}p(y;\varphi )& ={\varphi }^y(1-\varphi {)}^{1-y}\\ & =exp(ylog\varphi +(1-y)log(1-\varphi ))\\ & =exp\left(\left(log\frac{\varphi }{1-\varphi }+log(1-\varphi )\right)\right)\end{array}\text{\hspace{1em}(2-10)}$$

$\eta$就是$log\frac{\varphi }{1-\varphi }$，
与此同时，如果我们用$\eta$来反解出$\varphi$，有：
$$\begin{gathered} \varphi =\frac{1}{1+e^{-\eta }} \\ \text{\hspace{1em}(2-11)} \end{gathered}$$
这其实就是sigmoid函数的表达形式 ！后面我们会再深入些讨论logistic回归和sigmoid函数。
此时，指数族分布中的参数对应地可以写成如下：
$$\begin{array}{rl}\eta & =log\frac{\varphi }{1-\varphi }\\ T(y)& =y\\ a(\eta )& =-log(1-\varphi )\\ & =log(1+e^{\eta })\\ b(y)& =1\end{array}\text{\hspace{1em}(2-12)}$$

对于高斯分布，为了简化起见，我们这里考虑方差为1的情况。（这种简化是有意义的，尤其是在作为线性回归的铺垫的时候。因为在推导线性回归模型的时候，高斯分布的方差对后的优化目标无影响，因此可以选取任意的方差来进行推导说明）。令均值为$\mu$，高斯分布的概率密度函数为：

$$\begin{array}{rl}p(y;\mu ,\delta )& =\frac{1}{\delta \sqrt{2\pi }}exp\left(-\frac{1}{2{\delta }^2}(y-\mu {)}^2\right)\\ & =\frac{1}{\delta \sqrt{2\pi }}exp\left(-\frac{1}{2{\delta }^2}{y}^2\right)exp\left(\frac{\mu y}{{\delta }^2}-\frac{1}{2{\delta }^2}{\mu }^2\right)\end{array}\text{\hspace{1em}(2-13)}$$
对应的指数族分布的参数为：
$$\begin{array}{rl}\eta & =\frac{\mu }{{\delta }^2}\\ T(y)& =y\\ a(\eta )& =\frac{1}{2{\delta }^2}{\mu }^2\\ & =\frac{{\delta }^2}{2}{\eta }^2\\ b(y)& =\frac{1}{\delta \sqrt{2\pi }}exp\left(-\frac{1}{2{\delta }^2}{y}^2\right)\end{array}\text{\hspace{1em}(2-14)}$$
从上式我们可以得到：
$$\begin{gathered} \hat{y}=E(y|x;\mu ,\delta )=\mu ={\delta }^2\cdot \eta \\ \text{\hspace{1em}(2-15)} \end{gathered}$$

2.3. 关于参数$\eta$如何求取的一点讨论

在2.1.节中，我们其实并没有求出$\eta$的最优值。正常的思路，应该是通过求取Lagrange对偶函数的最大值点来求出$\eta$，然而实际中这比较困难，因此一般用另一种方法来求——极大似然估计法。下面我们证明用极大似然估计的方法来求$\eta$，满足$(2-2)$
所谓极大似然估计法，其实就是求如下最优化问题：
$$\begin{array}{rl}\underset{\eta }{\mathrm{argmax}}& L(p(D|\eta ))\\ & =\underset{\eta }{\mathrm{argmax}}p(D|\eta )\\ & =\underset{\eta }{\mathrm{argmax}}\sum _{i=1}^m({\eta }^{T}T(X^{(i)})-a(\eta ))\end{array}\text{\hspace{1em}(2-16)}$$
不失一般性，我们这里仅给出$\eta$为1维的情况下的求解过程。上式对$\eta$求导令导数为0（这里其实省略了上式中的最优化目标函数是凹函数的证明，读者有兴趣可以自行证明）：
$$\begin{gathered} \sum _{i=1}^{m}T(X^{(i)})-m\frac{\partial a(\eta )}{\partial \eta }=0 \\ \text{\hspace{1em}(2-17)} \end{gathered}$$
求得：
$$\begin{gathered} \frac{\partial a(\eta )}{\partial \eta }=\frac{1}{m}\sum _{i=1}^{m}T(X^{(i)})=\hat{\mu } \\ \text{\hspace{1em}(2-18)} \end{gathered}$$
也即，用极大似然估计的方法也满足$(2-2)$，因此可以放心用。
此外我们还注意到，如果$T(x)=x$，也即我们关心的统计量是一阶矩（对弈一个样本，就是x本身；对于多个样本，就是均值）。也即，这里隐含了一个结论：$\eta$是x的线性函数！。这是下一小节的铺垫。

2.4. 用广义线性模型(GLM)来对问题进行建模的几个基本假设

下面我们来总结一下，利用GLM对问题建模的三个基本假设

1. $y|x;\theta \sim ExponentialFamily(\eta )$，即给定样本输入$x$和参数$\theta$，样本的输出分布服从指数族分布。参数$\theta$的含义见3.
2. 给定$x$，我们的目标是预测x对应的输出$y$的统计量$T(y)$的期望。在大多数情况下，统计量就是$y$（的期望）。
3. 指数族分布的参数$\eta$是$x$的线性组合，这个在上一小节中已经得到证明。也即$y=w^{T}x+b$。如果令$x_0=1,\theta =[w;b]$,则前式可以写成更紧凑的形式：$\eta ={\theta }^{T}x$。

3. 线性回归与普通最小二乘法（Ordinary Least Squares, OLS）

3.1. 从指数族分布推导出线性回归模型

本章研究的问题场景是：输出变量$y$是连续的，同时假设误差${ϵ}^{(i)}$（模型预测值和实际值的茶）是独立同分布的，也即${ϵ}^{(i)}\sim N(0,{\delta }^2)$。
这个假设也等价于$y|x;\theta \sim N(\mu ,{\delta }^2)$。当然，严谨一点的线性回归理论中，并不要求误差一定符合正态分布（一般只假设误差的均值的期望为0），这里不做深入研究。但是我们一般都会假设误差服从正态分布。这个假设的理由如下：

1. 误差服从正态分布，处理起来方便许多。
2. 大多数误差经过测量被证实是服从高斯分布的，说明高斯分布对误差假设来说是一种比较合适的模型。
3. 中心极限定理：许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看做是服从正态分布的。

结合前面的2.2节可知，当输出量$y$服从整体分布时，有$\hat{y}={\delta }^2\cdot \eta$;再结合2.4节中的假设3，可以得到$\hat{y}={\delta }^2\cdot (w^{T}x+b)$。如果令$w^{\prime }={\delta }^{2}w,b^{\prime }={\delta }^{2}b$，则有$\hat{y}=w^{T}x+b$，这就是线性回归的模型表达式！这也说明了，如果问题是回归问题（$y$是连续变量），且误差服从均值为0的正态分布，并且没有其他多余的信息，那么用线性回归来建模是最优的选择。

3.2. 从极大似然估计导出cost function

我们用如下更紧凑的方式来表示线性回归模型：
$$\begin{gathered} y^{(i)}=\theta x^{(i)}+{ϵ}^{(i)} \\ \text{\hspace{1em}(3-1)} \end{gathered}$$
其中$x_0=1,\theta =[w;b]$，${ϵ}^{(i)}\sim N(0,{\delta }^2)$。
用极大似然估计的方法来求取最优的$\theta$。似然函数为：
$$\begin{gathered} L(\theta )=L(\theta ;x,y)=p(y|x;\theta ) \\ \text{\hspace{1em}(3-2)} \end{gathered}$$
因为随机误差${ϵ}^{(i)}$是相互独立的，因此似然函数可以写成：
$$\begin{array}{rl}L(\theta )& =\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )\\ & =\prod _{i=1}^m\frac{1}{\delta \sqrt{2\pi }}exp\left(-\frac{1}{2{\delta }^2}(y-\mu {)}^2\right)\end{array}\text{\hspace{1em}(3-3)}$$
对数自然函数为：
$$\begin{array}{rl}l(\theta )& =logL(\theta )\\ & =mlog\frac{1}{\delta \sqrt{2\pi }}-\frac{1}{{\delta }^2}\cdot \frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2\end{array}\text{\hspace{1em}(3-4)}$$
最大化$l(\theta )$其实也就是等价于最小化如下式子（一般要再除以样本数$m$，使cost function的量级不会依赖于样本数）：
$$\begin{gathered} \frac{1}{2m}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2 \\ \text{\hspace{1em}(3-5)} \end{gathered}$$
这就是线性回归的cost function！。

4. Logistic回归与sigmoid函数

4.1. 从指数族分布推导出logistic回归模型

本章研究的问题场景是二分类场景，也即输出变量$y$是离散的且只能取两个不同的值，不妨设为$y\in \{0,1\}$。很自然地我们可以假设$y$服从伯努利分布，假设伯努利分布的均值（也即取值为1的概率）为$\varphi$，由2.2节和2.3节可知：
$$\begin{gathered} \hat{y}=E(y|x;\varphi )=\varphi =\frac{1}{1+e^{-\eta }}=\frac{1}{1+e^{-{\theta }^{T}x}} \\ \text{\hspace{1em}(4-1)} \end{gathered}$$
上式就是logistic回归的模型，用到的就是sigmoid函数。也即，在二分类问题中，假设样本之间是相互独立的，如果没有其他更多信息，用sigmoid函数来对输出值（或者取正例的概率）进行建模是最优的选择。

4.2. 从极大似然估计推导出logistic的cost function

记$h_{\theta }=\frac{1}{1+e^{(-{\theta }^{T}x)}}$,则
$$\begin{gathered} P(y|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y} \\ \text{\hspace{1em}(4-2)} \end{gathered}$$
似然函数为：
$$\begin{array}{rl}L(\theta )& =P(\mathbf{Y}|\mathbf{X};\theta )\\ & =\prod _{i=1}^{m}P(y^{(i)}|x^{(i)};\theta )\\ & =\prod _{i=1}^m(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}\end{array}\text{\hspace{1em}(4-3)}$$
对数似然函数为：
$$\begin{array}{rl}l(\theta )& =\log L(\theta )\\ & =\sum _{i=1}^m{y}^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))\end{array}\text{\hspace{1em}(4-4)}$$
我们的木事是使对数似然函数最大化，因此cost function为如下（一般会再除以样本数$m$使cost function的量级不会依赖样本数）：
$$J(\theta )=-\frac{1}{m}\left[\sum _{i=1}^m{y}^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))\right]\text{\hspace{1em}(4-5)}$$