《统计学习方法》算法学习笔记五 之 逻辑斯谛回归与最大熵模型

逻辑斯谛回归与最大熵模型

总述

逻辑斯谛回归是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。逻辑斯谛回归与最大熵模型都属于对数模型。

逻辑斯谛回归模型

1.1 逻辑斯谛分布

逻辑斯谛分布：设$X$是连续随机变量，$X$服从逻辑斯谛分布是指$X$具有下列分布函数和密度函数：

式中，$\mu$为未知参数，$\sigma >0$为形状参数。

分布函数在中心附近增长速度较快，在两端增长速度较慢。形状参数$\sigma$的值越小，曲线在中心附近增长越快。

1.2 二项逻辑斯谛回归模型

二项逻辑斯谛回归模型是一种分类模型，由条件概率分布$p(Y|X)$表示，形式为参数化的逻辑斯谛分布。这里，随机变量$X$取为实数，随机变量$Y$取为0或1，通过监督学习的方法来估计模型参数。
逻辑斯谛回归模型：二项逻辑斯谛回归模型是如下的条件概率分布：

逻辑斯谛回归比较两个条件概率值的大小，将实例$x$分到概率值较大的一类。
从事件几率的角度看（几率指该事件发生的概率与不发生的概率的比值），如果事件发生的概率是$p$，那么该事件的几率是$p/(1-p)$，该事件的对数几率或logit函数是：
$$logit(p)=log(p/(1-p))$$对逻辑斯谛回归而言，有

由此可见，在逻辑斯谛回归模型中，输出$Y=1$的对数几率是输入$x$的线性函数。
从分类角度看，考虑对输入$x$进行分类的线性函数$w\ast x$，其值域为实数域，这里$x\in R^n+1,w属于R^n+1$。通过逻辑斯谛回归模型定义式可以将线性函数$w\ast x$转化为概率：

线性函数的值越接近正无穷，概率值越接近1；线性值越接近负无穷，概率值越接近0。

1.3 模型参数估计

逻辑斯谛回归模型学习时，对于给定的训练数据集
$T=${$(x_1,y_1),(x_2,y_2),...,(x_n,y_n),$}
其中，$x_i属于R^n,y_i\in${0,1}。可以应用极大似然估计法训练估计模型参数，从而得到逻辑斯谛回归模型。
设：$p(Y=1|x)=\pi (x)$，$p(Y=0x)=1-\pi (x)$
似然函数为

对数似然函数为

对$L(w)$求极大值，得到$w$的估计值。问题变成了以对数似然函数为目标函数的最优化问题，通常采用梯度下降或拟牛顿法求解。

1.4 多项逻辑斯谛回归

假设离散型随机变量$Y$的取值集合为{$1,2,...,K$}，则多项逻辑斯谛回归模型是

2 最大熵模型

2.1 最大熵原理

最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。
假设离散随机变量$X$的概率分布是$p(X)$，则其熵是
熵满足下列不等式
$$0\le H(p)\le log(x)$$
式中，$|X|$是$X$的取值个数，当且仅当$X$的分布是均匀分布时右边的等号成立。即当$X$服从均匀分布时，熵最大。
在没有更多信息的情况下，那些不确定的部分都是“等可能的”，最大熵原理通过熵的最大化表示等可能性。

2.2 最大熵模型的定义

假设分类模型是一个条件概率分布$p(Y|X)$，给定一个训练数据集$T=${$(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$}。学习的目标是用最大熵原理选择最好的分类模型。
考虑模型应满足的约束条件。给定训练数据集，可以确定联合分布$p(X,Y)$的经验分布和边缘分布$p(X)$的经验分布，分别以如下式子表述：

其中，$v(X=x,Y=y)$表示训练数据样本$(x,y)$出现的频数，$v(X=x)$表示训练数据中输入$x$出现的频数，$N$表示训练样本容量。
用特征函数$f(x,y)$描述输入$x$和输出$y$之间的某一个事实。其定义是

特征函数$f(x,y)$关于联合分布的经验分布的期望值，用下式表示：

特征函数$f(x,y)$关于模型$p(Y|X)$与边缘分布的经验分布的期望值，用下式表示：

如果模型能够获得训练数据中的信息，则将这两个期望值相等作为模型学习的约束条件，即
假如有$n$个特征函数$f_i(x,y),i=1,2,...,n$，那么就有$n$个约束条件。
最大熵模型：假设满足所有约束条件的模型集合为

定义在条件概率分布$p(Y|X)$上的条件熵为

则模型集合$C$中条件熵$H(p)$最大的模型成为最大熵模型，式中的对数为自然对数。

2.3 最大熵模型的学习

最大熵模型的学习过程就是求解最大熵模型的过程，可以形式化为约束最优化问题。
对于给定的训练数据集$T=${$(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$}以及特征函数$f_i(x,y),i=1,2,...,n$，最大熵的学习等价于约束最优化问题：

将最大值问题改写为等价的求最小值问题

将约束最优化的原始问题转化为无约束最优化的对偶问题，通过求解对偶问题求解原始问题。
首先，引入拉格朗日乘子$w_0,w_1,...,w_n$，定义拉格朗日函数$L(p,w)$：

最优化原始问题为

对偶问题为

由于拉格朗日函数$L(p,w)$是$p$的凸函数，原始问题的解与对偶问题的解是等价的。
其次，求解对偶问题内部的极小化问题

上式是$w$的函数，记作

其解记作

具体地，求$L(p,w)$的偏导数，并令偏导数为0，结合p’(x)>0和条件概率和为1，得到：

其中

$Z_w(x)$称为规范化因子，$f_i(x,y)$是特征函数，$p_w=p_w(y|x)$就是最大熵模型。
最后，求解对偶问题外部的极大化问题

其解记作$w^{\ast }$，即·

就是学习到的最优化模型（最大熵模型）。
步骤：（1）将原始问题转化为对偶问题；
（2）引进拉格朗日乘子，定义对偶问题的拉格朗日函数；
（3）求解对偶最优化问题
1）求解$L(p,w)$关于$p$的极小化问题；
2）求解$L(p_w,w)$关于$w$的极大化问题。

2.4 极大似然估计

最大熵模型学习中的对偶函数最大化等价于最大熵模型的极大似然估计。这样，最大熵模型的学习问题就转化为具体求解对数似然函数极大化或对偶函数极大化问题。
最大熵模型更为一般的形式是

其中

这里，$x\in R^n$为输入，$y\in${$1,2,...,K$}为输出，$w\in R^n$为极值向量，$f_i(x,y)，i=1,2,...,n$为任意实值特征向量。
最大熵模型与逻辑斯谛回归模型有类似的形式，他们又称为对数线性模型。模型学习就是在给定的训练数据条件下对模型进行极大似然估计或正则化的极大似然估计。

3 模型学习的最优化算法

逻辑斯谛回归模型、最大熵模型学习归结为以似然函数为目标的最优化问题。通常通过迭代算法求解。

3.1 改进的迭代尺度法

最大熵模型的对数似然函数为
目标是通过极大似然估计学习模型参数，即求对数似然函数的极大值$w^{\ast }$。
改进的迭代尺度法（IIS）的想法是：假设最大熵模型当前的参数向量是$w=(w_1,w_2,...,w_n{)}^T$，我们希望找到一个新的参数向量$w+\delta =(w_1+{\delta }_1,w_2+{\delta }_2,...,w_n+{\delta }_n{)}^T$，使得模型的对数似然函数值增大。若有这样一种参数向量更新方法：$w\to w+\delta$，就可以重复使用这一方法，直到找到对数似然函数的最大值。
对于给定的经验分布$\tilde{p}(x,y)$，模型参数从$w$到$w+\delta$，对数似然函数的该变量是
$$L(w+\delta )-L(w)\ge A(\delta ,w)$$如果能够找到合适的$\delta$使得下界$A(\delta ,w)$提高，那么对数似然函数也会提高。IIS试图一次只优化其中一个变量${\delta }_i$（因为$A(\delta ,w)$中的$\delta$是一个向量），而固定其他变量${\delta }_j,i\ne j$。IIS进一步降低下界$A(\delta ,w)$来达到这一目的。具体的，引进一个量$f^{\ast }(x,y)$，

$f^{\ast }(x,y)$表示所有特征$(x,y)$出现的次数，则有
$$L(w+\delta )-L(w)\ge B(\delta |w)$$
$B(\delta |w)$是对数似然函数该变量的一个新的下界，求$B(\delta |w)$对${\delta }_i$的偏导数，并令偏导数为0，即可求出$\delta$。
算法：改进迭代尺度算法IIS
输入：特征函数$f_1,f_2,...,f_n$；经验分布$\tilde{p}(X,Y)$；模型$P_w(y|x)$
输出：最优参数值$w_i^{\ast }$；最优模型$p_w^{\ast }$
（1）对所有$i\in${$1,2,...,n$}，取初值$w_i=0$
（2）对每一$i\in${1,2,…,n}：
a）令${\delta }_i$是方程

的解，这里

b)更新$w_i$值：
（3）如果不是所有$w_i$都收敛，重复步（2）。
这一算法关键的一步是求解a）中的${\delta }_i$。如果$f^{\ast }(x,y)$是常数，即任何$x,y$，有$f^{\ast }(x,y)=M$，那么${\delta }_i$可以显示的表示为

如果$f^{\ast }(x,y)$不是常数，则必须通过数值计算求得${\delta }_i$。牛顿法通过迭代求得${\delta }_i^{\ast }$的迭代公式是

3.2 拟牛顿法

目标函数
梯度：

其中，

算法：最大熵模型学习的BFGS算法
输入：特征函数$f_1,f_2,...,f_n$；经验分布$\tilde{p}(x,y)$；目标函数$f(w)$；梯度$g(w)=\nabla f(w)$；精度要求$ϵ$
输出：最优参数值$w^{\ast }$；最优模型$p_w^{\ast }(y|x)$
（1）选定初始点$w^0$，取$B_0$为正定对称矩阵，置$k=0$；
（2）计算$g_k=g(w^k)$，若||$g_k$||<$ϵ$，则停止计算，得$w^{\ast }=w^k$；否则转(3)；
（3）由$B_k{p}_k=-g_k$求出$p_k$；
（4）一维搜索，求${\lambda }_k$使得

（5）置$w^k+1=w^k+{\lambda }_k{p}_k$
（6）计算$g_k+1=g(w^k+1)$，若||$g_k+1<ϵ$||，则停止计算，得$w^{\ast }=w^k+1$；否则，按下式求出$B_k+1$：
（7）值$k=k+1$，转（3）。