《统计学习方法》—— 逻辑斯谛回归 与 最大熵模型 的介绍以及详细推导

前言

在《统计学习方法》第二版的第6章，作者将逻辑斯谛回归与最大熵这两个模型放在一起讲，初看令人困惑。但是看到后面才明白，这是作者为了介绍以似然函数为目标函数的最优化问题的解法。

当一个最优化问题以似然函数作为其目标函数的时候，作者提到三种常用的优化方法，改进的迭代尺度法、梯度下降法以及牛顿法或者拟牛顿法。

作为例子，作者演示了如何将 逻辑斯谛回归问题和最大熵模型 转化为以似然函数为目标函数的最优化问题，并利用上面提到的三种优化方法进行求解。

本文将主要聚焦于 逻辑斯谛回归与最大熵模型 转化为 以似然函数为目标函数的最优化问题的推导过程。

1. 逻辑斯谛回归

1.1 逻辑斯谛分布

假设随机变量 $X$ 满足
(1) 分布函数为 $$P(X\le x)=\frac{1}{1+e^{-\frac{x-\mu }{\lambda }}}$$

(2) 密度函数为 $$f(x)=\frac{e^{-\frac{x-\mu }{\lambda }}}{\lambda {\left(1+e^{-\frac{x-\mu }{\lambda }}\right)}^2}$$

则称随机变量 $X$ 服从一个参数为 $(\mu ,\lambda )$ 的逻辑斯谛分布。

1.2 逻辑斯谛回归模型

设 $x\in {\mathbb{R}}^n$ 为输入，$y\in \{0,1\}$ 为输出，现在若分类模型 $P(Y|X)$ 具有如下形式：
$$P(Y=1|X=x)=\frac{e^{w\cdot x+b}}{1+e^{w\cdot x+b}}$$

$$P(Y=0|X=x)=\frac{1}{1+e^{w\cdot x+b}}$$

则称 $P(Y|X)$ 为逻辑斯谛回归模型。这里，$w$ 为权值，$b$ 为偏置。

从形式上可以看出，当令$\mu =0,\lambda =1$时，逻辑斯谛分布就是逻辑斯谛回归模型。

我们当一件事情的发生概率为 $p$，则这件事的几率定义为 $\frac{p}{1-p}$。可以看到，$Y=1$ 的对数几率为
$$log\frac{P(Y=1|X=x)}{1-P(Y=1|X=x)}=w\cdot x+b$$

也就是说，输出 $Y=1$ 的对数几率为输入 $x$ 的线性函数。

1.3 逻辑斯谛回归的似然函数

已知数据 $T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中，$y_i\in \{0,1\}$。

记 $P(Y=1|X=x)=p(x)$，则 $P(Y=0|X=x)=1-p(x)$。因此，似然函数可以写为
$$\begin{array}{lll}L(w,b)& =& log\left({\Pi }_{i=1}^{N}p(x_i{)}^{y_i}(1-p(x_i){)}^{1-y_i}\right)\\ & =& {\sum }_{i=1}^N\left(y_{i}logp(x_i)+(1-y_i)log(1-p(x_i))\right)\\ & =& {\sum }_{i=1}^N\left(y_i(w\cdot x_i+b)-log(1+e^{w\cdot x_i+b})\right)\end{array}$$

这里，最优的 $(w^{\ast },b^{\ast })$ 满足
$$(w^{\ast },b^{\ast })=\underset{w,b}{\mathrm{argmax}}L(w,b)$$

2. 最大熵模型

2.1 熵、条件熵

熵是用来衡量随机变量不确定性程度的量。

熵的定义。设随机变量 $X$ 满足 $P(X=x_i)=p_i$，则随机变量 $X$ 的熵 $H(X)$ 为
$$H(X)=-\sum _{i=1}^N{p}_i\cdot log(p_i)$$

其中，$N$ 为随机变量所有可能取值的个数。

条件熵的定义。设$P(X,Y)$ 为随机变量 $X$ 和 $Y$ 的联合概率，$P(Y|X)$ 为条件概率，则条件概率 $P(Y|X)$ 的熵 $H(Y|X)$ 为
$$\begin{array}{lll}H(Y|X)& =& {\sum }_{i=1}^{N}P(X=x_i)H(Y|X=x_i)\\ & =& {\sum }_{i=1}^{N}P(X=x_i){\sum }_{j=1}^{M}P(Y=y_j|X=x_i)logP(Y=y_j|X=x_i)\\ & =& {\sum }_{i=1}^N{\sum }_{j=1}^{M}P(X=x_i)P(Y=y_i|X=x_i)logP(Y=y_j|X=x_i)\\ & =& {\sum }_{x,y}P(X=x)P(Y=y|X=x)logP(Y=y|X=x)\end{array}$$

其中，$N$ 和 $M$ 分别为 $X$ 和 $Y$ 所有可能取值的个数。

2.2 最大熵原理及一个例子

对于一个随机变量 $X$，它的取值为 $\{x_1,x_2,...,x_N\}$，如果不知道其他信息，则我们通过最大熵原理来估计 $P(X=x_i)=p_i$ 的值，是指
$$(p_1,p_2,...,p_N)=\mathrm{argmax}H(X)$$

我们选择使得熵最大的数值作为我们估计的概率。

这样，我们有优化问题
$$\begin{array}{cll}& \max & H(X)=-{\sum }_{i=1}^N{p}_{i}log(p_i)\\ & s.t.& {\sum }_{i=1}^N{p}_i=1\\ & & p_i\ge 0,i=1,2,...,N\end{array}$$

由 ${\sum }_{i=1}^N{p}_i=1$ 可知，$p_N=1-{\sum }_{i=1}^{N-1}{p}_i$，将 $p_N$ 代入 $H(X)$，我们有
$$H(X)=-\sum _{i=1}^{N-1}{p}_{i}log(p_i)-(1-\sum _{i=1}^{N-1}{p}_i)log(1-\sum _{i=1}^{N-1}{p}_i)$$

为了求最大值，我们对 $p_i,i=1,2,...,N-1$ 分别求导，有
$$\frac{\partial H(X)}{\partial p_i}=log(1-\sum _{i=1}^{N-1}{p}_i)-log(p_i)$$

令 $\frac{\partial H(X)}{\partial p_i}=0$，得 $p_i=1-{\sum }_{i=1}^{N-1}{p}_i$，考虑到 $1-{\sum }_{i=1}^{N-1}{p}_i=p_N$，因此，对于任意的 $i=1,2,...,N-1$，我们恒有
$$p_i=p_N$$

由于 ${\sum }_{i=1}^N{p}_i=1$， 因此，对于任何 $i=1,2,...,N$，我们有 $$p_i=\frac{1}{N}$$

2.3 最大熵问题

现在，我们有随机变量 $X$ 和 $Y$，以及由它们生成的数据 $T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，现在，根据最大熵原理，我们应该怎样获得 条件概率，也就是分类模型 $P(Y|X)$？

• 经验分布：根据数据集 $T$，我们可以获得 联合分布 $P(X,Y)$ 和边缘分布 $P(X)$ 的经验分布，即 $$P(X=x,Y=y)=\frac{\nu (X=x,Y=y)}{N}$$ $$P(X=x)=\frac{\nu (X=x)}{N}$$

其中，$\nu (X=x,Y=y)$ 为样本 $(x,y)$ 在数据集 $T$ 中的个数，当 $(x,y)\notin T$时，$\nu (X=x,Y=y)=0$。

• 特征函数 $f(x,y)$：这里可以理解为关于随机变量 $X$ 和 $Y$ 的约束条件，形式化为一个二值函数，具体为
  $$f(x,y)=\{\begin{array}{lll}1,& & x与y满足某一约束\\ 0,& & x与y不满足该约束\end{array}$$

这样约束可以为 $(x,y)\in T$，或者 $(x,y)=(x_i,y_i)$等等。

• 特征函数 $f(x,y)$ 关于分布的两个经验期望值：
  $$E_P(f)=\sum _{x,y}P(x,y)f(x,y)$$

$$E_P(f)=\sum _{x,y}P(x)P(y|x)f(x,y)$$

我们期望这两个经验期望值相等，在某种意义上，这意味着 $$P(x)P(y|x)=P(x,y)$$

这样，$P(y|x)$ 就可以被定义出来。当然，实际上式并不成立。

我们可以给出很多的特征函数 $f_i(x,y),i=1,2,...,n$，它们构成的约束条件为
$$E_P(f_i)=E_P(f_i),i=1,2,...,n$$

要想利用最大熵求 $P(Y|X)$，我们需要给出条件熵，也就是
$$H(P)=-\sum _{x,y}P(x)P(y|x)logP(y|x)$$

下面，我们将给出最大熵问题。
$$\begin{array}{lll}& \max & H(P)=-{\sum }_{x,y}P(x)P(y|x)logP(y|x)\\ & s.t.& E_P(f_i)=E_P(f_i),i=1,2,...,n\\ & & {\sum }_{y}P(y|x)=1\end{array}$$

通过拉格朗日方法，我们可以将有约束的原始问题转为为无约束的对偶问题。根据库恩塔克定理，只要 $H(P)$ 是凹函数，原始问题与对偶问题等价。而要判断 $H(P)$ 是凹函数，我们需要判断 $H(P)$ 的Hessian矩阵是否为负定的。

我们假设 $X$ 的取值为$\{x_1,x_2,...,x_N\}$，$Y$ 的取值为 $\{y_1,y_2,...,y_M\}$。进一步，我们记 $P(Y=y_j|X=x_i)=p_{ji}$。因此，$H(P)$ 作为 $(p_{11},p_{21},...,p_{M-1,1},p_{12},p_{22},...,p_{M-1,2},...,p_{1N},p_{2N},...,p_{M-1,N})$ 的函数，可以重写为
$$\begin{array}{lll}H(P)& =& -{\sum }_{i=1}^N{\sum }_{j=1}^{M}P(x_i)p_{ji}log(p_{ji})\\ & =& -{\sum }_{i=1}^{N}P(x_i){\sum }_{j=1}^M{p}_{ji}log(p_{ji})\\ & =& -{\sum }_{i=1}^{N}P(x_i)\left({\sum }_j^{M-1}{p}_{ji}log(p_{ji})+(1-{\sum }_j^{M-1}{p}_{ji})log(1-{\sum }_j^{M-1}{p}_{ji})\right)\end{array}$$

第三个等式成立是因为 ${\sum }_{j=1}^M{p}_{ji}=1$。

可以直接求导，得到
$$\frac{{\partial }^{2}H(P)}{\partial p_{ji}\partial p_{lk}}=\{\begin{array}{lll}-\frac{1}{p_{ji}}-\frac{1}{p_{Mi}}& if& (i,j)=(k,l)\\ -\frac{1}{p_{Mi}}& if& (i,j)\ne (k,l)\end{array}$$

可以证明$H(P)$的Hessian矩阵是负定的，从而也就说明了原始问题与对偶问题的等价性。

为了写着方便，我们将原始问题重新写成

$$\begin{array}{lll}& \min & -H(P)={\sum }_{i=1}^N{\sum }_{j=1}^{M}P(x_i)p_{ji}log(p_{ji})\\ & s.t.& E_P(f_i)=E_P(f_i),i=1,2,...,n\\ & & {\sum }_{j=1}^M{p}_{ji}=1\end{array}$$

根据拉格朗日方法，我们写出拉格朗日函数
$$\begin{array}{lll}L(p_{ji},w)& =& -H(P)+w_0(1-{\sum }_{j=1}^M{p}_{ji})+{\sum }_{k=1}^n{w}_k\left(E_P(f_k)-E_P(f_k)\right)\\ & =& {\sum }_{i=1}^N{\sum }_{j=1}^{M}P(x_i)p_{ji}log(p_{ji})+w_0(1-{\sum }_{j=1}^M{p}_{ji})+{\sum }_{k=1}^n{w}_k\left({\sum }_{i,j}{f}_k(x_i,y_j)(P(x_i,y_j)-P(x_i)p_{ji})\right)\end{array}$$

则原问题为 $$\underset{P\in \mathcal{P}}{\min }\underset{w}{\max }L(p_{ji},w)$$
而对偶问题为 $$\underset{w}{\max }\underset{P\in \mathcal{P}}{\min }L(p_{ji},w)$$

我们可以先对对偶问题进行求解。给定 $w$，计算 ${\min }_{P\in \mathcal{P}}L(p_{ji},w)$。我们对 $L(p_{ji},w)$ 关于 $p_{ji}$ 求导，有
$$\begin{array}{lll}\frac{\partial L(p_{ji},w)}{\partial p_{ji}}& =& P(x_i)(1+log(p_{ji}))-w_0-P(x_i){\sum }_{k=1}^n{w}_k{f}_k(x_i,y_j)\end{array}$$

令 $\frac{\partial L(p_{ji},w)}{\partial p_{ji}}=0$，有
$$p_{ji}=\frac{e^{{\sum }_{k=1}^n{w}_k{f}_k(x_i,y_j)}}{e^{1-\frac{w_0}{P(x_i)}}}$$

由于 ${\sum }_{j=1}^M{p}_{ji}=1$，所以 $$e^{1-\frac{w_0}{P(x_i)}}=\sum _{j=1}^M{e}^{{\sum }_{k=1}^n{w}_k{f}_k(x_i,y_j)}$$

因此，我们有
$$p_{ji}(w)=\frac{e^{{\sum }_{k=1}^n{w}_k{f}_k(x_i,y_j)}}{{\sum }_{j=1}^M{e}^{{\sum }_{k=1}^n{w}_k{f}_k(x_i,y_j)}}$$

之后，我们将 $p_{ji}(w)$ 代入对偶问题，继续关于 $w$ 做优化，即，
$$\underset{w}{\max }L(p_{ji}(w),w)$$

只要将 $w$ 求出来，对偶问题便得到解决，等价于原始问题解决，也就意味着最大熵模型已经学习完毕。

2.4 对偶函数的极大化与最大熵模型的似然估计

我们将 $p_{ji}$ 重写为 $$p_{ji}(w)=\frac{e^{{\sum }_{k=1}^n{w}_k{f}_k(x_i,y_j)}}{Z_w(x_i)}$$

其中，$Z_w(x_i)={\sum }_{j=1}^M{e}^{{\sum }_{k=1}^n{w}_k{f}_k(x_i,y_j)}$。

这样，对偶函数为
$$\begin{array}{lll}L(p_{ji}(w),w)& =& {\sum }_{i,j}P(x_i)p_{ji}(w)log(p_{ji}(w))+{\sum }_{k=1}^n{w}_k{\sum }_{i,j}\left(f_k(x_i,y_j)(P(x_i,y_j)-P(x_i)p_{ji}(w))\right)\\ & =& {\sum }_{i,j}P(x_i,y_j){\sum }_{k=1}^n{w}_k{f}_k(x_i,y_j)+{\sum }_{i,j}P(x_i)p_{ji}(w)\left(log(p_{ji}(w))-{\sum }_{k=1}^n{w}_k{f}_k(x_i,y_j)\right)\\ & =& {\sum }_{i,j}P(x_i,y_j){\sum }_{k=1}^n{w}_k{f}_k(x_i,y_j)-{\sum }_{i,j}P(x_i)p_{ji}(w)log{Z}_w(x_i)\\ & =& {\sum }_{i,j}P(x_i,y_j){\sum }_{k=1}^n{w}_k{f}_k(x_i,y_j)-{\sum }_{i}P(x_i)log{Z}_w(x_i)\end{array}$$

与此同时，对于最大熵模型 $P(Y=y_j|X=x_i)=p_{ji}$，我们可以写出似然函数
$$\begin{array}{lll}L(p_{ji})& =& log{\Pi }_{i,j}{p}_{ji}^{|T|\cdot P(X=x_i,Y=y_i)}\\ & =& |T|\cdot {\sum }_{i,j}P(x_i,y_j)log(p_{ji}(w))\\ & =& |T|\cdot \left({\sum }_{i,j}P(x_i,y_j){\sum }_{k=1}^n{w}_k{f}_k(x_i,y_j)-{\sum }_{i}P(x_i)log{Z}_w(x_i)\right)\end{array}$$

观察 $L(p_{ji})$ 和 $L(p_{ji}(w),w)$，发现它们只有常数因子不同，因此，对于它们的优化而言是等价的。因此，最大熵模型的极大似然估计与对偶问题的最优化是等价的。

实际上，观察 $L(p_{ji})$ 的形式，与逻辑斯谛回归的似然函数是非常类似的。对于这种类似的目标函数，作者提出可以用 迭代尺度法、梯度下降法和牛顿法或者拟牛顿法予以解决。

后面如果允许，将依次介绍这三种方法，以及他们在这两个模型上应用。