逻辑斯谛回归与最大熵模型logistic regression/maximum entropy model

本文是《统计学习方法》李航著学习笔记。
为了叙述方便，将logistic regression mode简称LR，maximum entropy mode简称ME。LR和ME都是判别模型，即将预测实例点分配到“条件概率分布”最大的类中。下述讨论会着重于LR模型和ME模型的学习过程。
逻辑斯谛函数：
$$l(x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}，\mu 为位置参数，\gamma >0为形状参数$$
逻辑斯谛分布：
$X$是连续型随机变量，如$X\sim F(x)$，其中$F(x)$是形如上述$l(x)$的逻辑斯谛函数，则称$X$服从逻辑斯谛分布，此时，随机变量$X$：
$$分布函数：F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}$$
$$密度函数：f(x)=F^{{}^{\prime }}(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}$$

将上述分布函数变形，并记$\frac{1}{\gamma }=\hat{w}，-\frac{\mu }{\gamma }=b$，则得类似于二类分类问题的logistic模型函数：
$$F(x)=P(X\le x)=\frac{e^{\frac{1}{\gamma }x-\frac{\mu }{\gamma }}}{1+e^{\frac{1}{\gamma }x-\frac{\mu }{\gamma }}}=\frac{exp(\hat{w}\cdot x+b)}{1+exp(\hat{w}\cdot x+b)}$$
极大似然估计：
参考http://blog.csdn.net/cymy001/article/details/78016109

LR模型：

二项LR模型的条件概率分布：
$$\begin{gathered} P(Y=1|x)=\frac{exp(\hat{w}\cdot x+b)}{1+exp(\hat{w}\cdot x+b)} \\ P(Y=0|x)=\frac{1}{1+exp(\hat{w}\cdot x+b)} \end{gathered}$$
上述$x=(x^{(1)},x^{(2)},\cdots ,x^{(n)}{)}^T\in R^n$为训练数据的输入，$Y\in \{0,1\}$为训练数据的输出，$\hat{w}\in R^n，b\in R$是需要用训练数据集学习的模型参数。
记$w=({\hat{w}}^T,b{)}^T，x=(x^{(1)},x^{(2)},\cdots ,x^{(n)},1)$，二项LR模型的条件概率分布进一步化简：
$$\begin{gathered} P(Y=1|x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)} \\ P(Y=0|x)=\frac{1}{1+exp(w\cdot x)} \end{gathered}$$
则对于给定的训练数据集$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$，其中$x_i\in R^n,y_i\in \{0,1\}$，每个样本点$(x_i,y_i)$的概率分布为
$$P(Y=1|x_i{)}^{y_i}P(Y=0|x_i{)}^{1-y_i}$$
训练数据集$T$中的样本点联合概率分布为
$$\prod _{i=1}^{N}P(Y=1|x_i{)}^{y_i}P(Y=0|x_i{)}^{1-y_i}$$
上式也就是LR模型参数的似然函数，取对数得对数似然函数
$$\begin{gathered} L(w)=\sum _{i=1}^N[y_i\log P(Y=1|x_i)+(1-y_i)\log P(Y=0|x_i)] \\ =\sum _{i=1}^N[y_i(w\cdot x_i)-\log (1+exp(w\cdot x_i))] \end{gathered}$$
采用极大似然估计求LR模型参数$w$，就是对$L(w)$求极大值，即无约束最优化问题。可以通过梯度下降法、牛顿法等求$w^{\ast }={\mathrm{argmax}}_{w}L(w)$，将$w^{\ast }$带回$P(Y=1|x),P(Y=0|x)$即是训练数据集$T$学习到的LR模型。

事件的几率：
$$事件的几率=\frac{事件发生的概率}{事件不发生的概率}=\frac{事件发生的概率}{1-事件发生的概率}$$
$$事件的对数几率=\log (事件的几率)$$
对于二项LR模型，“输出$Y=1$”这一事件发生的对数几率
$$\log \left(\frac{P(Y=1|x)}{1-P(Y=1|x)}\right)=w\cdot x$$
是关于输入$x$的线性函数，这也是LR回归模型的名字由来。

多项LR模型：
输出随机变量$Y$的取值范围是$\{1,2,\cdots ,K\}$，对应的LR模型是
$$P(Y=k|x)=\frac{exp(w_k\cdot x)}{1+\sum _{k=1}^{K-1}exp(w_k\cdot x)},k=1,2,\cdots ,K-1$$
$$P(Y=K|x)=\frac{1}{1+\sum _{k=1}^{K-1}exp(w_k\cdot x)}$$
其中$x，w_k\in R^{n+1}$。

—————————————————————————

最大熵原理：
学习概率模型时，在所有可能的概率分布模型中，熵最大的模型是最好的。在满足约束条件的模型集合中，选择熵最大的模型。熵的最大化表示等可能性。

模型获取训练数据集信息：
1.)给定训练数据集$T$，联合分布$P(X,Y)$的经验分布$P(X,Y)$，边缘分布$P(X)$的经验分布$P(X)$依次为：
$$P(X=x,Y=y)=\frac{\nu (X=x,Y=y)}{|T|},P(X=x)=\frac{\nu (X=x)}{|T|}$$
其中$\nu (X=x,Y=y)$表示训练数据集中样本$(x,y)$出现的频数，$\nu (X=x)$表示训练数据集中样本输入$x$出现的频次，$|T|$表示训练数据集样本容量。
2.)定义特征函数$f(x,y)$满足：
$$f(x,y)=\{\begin{array}{ll}1,& x与y满足某一事实\\ 0,& 否则\end{array}$$

soso，若“特征函数$f(x,y)$关于经验分布$P(X,Y)$的期望”：
$$E_P(f)=\sum _{x,y}P(x,y)f(x,y)$$
与“特征函数$f(x,y)$关于学习到的条件概率分布模型$P(Y|X)$和经验分布$P(X)$的期望”：
$$E_P(f)=\sum _{x,y}P(x)P(y|x)f(x,y)$$
相等，则表示“模型能够获取训练数据集的信息”，即$E_P(f)=E_P(f)$。

ME模型：

ME模型就是“满足$E_P(f)=E_P(f)$条件，并且使条件熵
$$H(P)=-\sum _{x,y}P(x)P(y|x)\log P(y|x)$$
最大的条件概率分布$P(Y|X)$模型”。$\iff$如下优化问题：
KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲ &\max_{P\in C}…
将上述优化问题转化成极小化$\underset{P\in C}{\min }-H(P)$，再有Lagrange乘子法，可得Lagrange函数$L(P,w)$：
$$L(P,w)=-H(P)+w_0(1-\sum _{y}P(y|x))+\sum _{i=1}^n(E_P(f_{})-E_P(f_i))$$
则上述优化问题可$\iff$转化为无约束优化问题：
$$\underset{P\in C}{\min }\underset{w}{\max }L(P,w)$$
由于$L(P,w)$是$P$的凸函数，进一步，优化问题可以转化成对偶问题：
$$\underset{w}{\max }\underset{P\in C}{\min }L(P,w)$$
a.)先求$\underset{P\in C}{\min }L(P,w)$得关于$w$的条件概率分布$P_w(y|x)$：
$$\{\begin{array}{l}\frac{\partial L(P,w)}{\partial P(y|x)}=0\\ P(x)=0\\ \sum _{y}P(y|x)=1\end{array}\Rightarrow \{\begin{array}{l}{P}_w(y|x)=\frac{1}{Z_w(x)}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))\\ Z_w(x)=\sum _{y}exp(\sum _{i=1}^n{w}_i{f}_i(x,y))\end{array}$$
上式$P_w(y|x)$即为最大熵模型，记
$$\Phi (w)=\underset{P\in C}{\min }L(P,w)=L(P_w,w)=\sum _{x,y}P(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x}P(x)\log Z_w(x)$$
称$\Phi (w)$为“对偶函数”，此时优化目标可转化为
$$\underset{w}{\max }\Phi (w)$$
b.)到此为止，就可以采用改进的迭代尺度法或者拟牛顿法求解“$\Phi (w)$关于$w$的极大值问题”了。
改进的迭代尺度法：
假设最大熵模型的当前参数向量$w=(w_1,w_2,\cdots ,w_n{)}^T$，希望找到一个新的参数向量$w+\delta =(w_1+{\delta }_1,w_2+{\delta }_2,\cdots ,w_n+{\delta }_n)$，使模型的对偶函数值$\Phi (w+\delta )>\Phi (w)$。
$$\begin{gathered} \Phi (w+\delta )-\Phi (w)=\sum _{x,y}P(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)-\sum _{x}P(x)\log \frac{Z_{w+\delta }(x)}{Z_w(x)} \\ \ge \sum _{x,y}P(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _{x}P(x)\sum _y{P}_w(y|x)exp(\sum _{i=1}^n{\delta }_i{f}_i(x,y))\triangleq A(\delta |w) \end{gathered}$$
由于指数项$exp({\sum }_{i=1}^n{\delta }_i{f}_i(x,y))$关于${\delta }_i$求导时无法分离${\delta }_j,j̸=i$，所以利用Jensen不等式进一步降低下限，记$f^{♯}(x,y)={\sum }_i{f}_i(x,y)$为所有特征在$(x,y)$出现的次数，于是有：
$$\begin{gathered} A(\delta |w)=\sum _{x,y}P(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _{x}P(x)\sum _y{P}_w(y|x)exp(f^{♯}(x,y)\sum _{i=1}^n\frac{{\delta }_i{f}_i(x,y)}{f^{♯}(x,y)}) \\ \ge \sum _{x,y}P(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _{x}P(x)\sum _y{P}_w(y|x)\sum _{i=1}^n\frac{f_i(x,y)}{f^{♯}(x,y)}exp({\delta }_i{f}^{♯}(x,y))\triangleq B(\delta |w) \end{gathered}$$
由上式可见$B(\delta |w)$关于${\delta }_i$求导可分离其余${\delta }_j,j̸=i$，则由$\frac{\partial B(\delta |w)}{\partial {\delta }_i}=0$得：
$$\sum _{x,y}P(x,y)f_i(x,y)=\sum _{x,y}P(x)P_w(y|x)f_i(x,y)exp({\delta }_i{f}^{♯}(x,y))$$
由此式求解${\delta }_i$即可，这是一个一元函数求零点问题，当解析解不易求解时，可通过牛顿法、二分法等求解。

拟牛顿法BFGS算法：
$$\underset{w\in R^n}{\min }-\Phi (w)=\underset{w\in R^n}{\max }\Phi (w)$$
不同于改进的迭代尺度法，拟牛顿法直接处理的是多元函数的优化问题，记$g(w)=-\nabla \Phi (w)$，则由拟牛顿条件$B_k{p}_k=-g_k$更新参数$w_k$每一步的迭代方向；由一维精确或不精确线性搜索方法进行步长搜索更新$f(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(w^{(k)}+{\lambda }_k{p}_k)$；由BFGS公式对类Hessian矩阵进行更新。

ME模型生成算法的问题转化：

（1.）学习概率模型时，在满足已有事实条件下，不确定部分按照“等可能”处理，转化成“最大熵原理”。
（2.）“最大熵模型”也就是“在满足约束的条件下，使条件熵最大的条件概率分布模型”，这是一个含等式约束的优化问题，通过Lagrange乘子法求解，进而转化成“对偶问题”，可以先求出“含参数的最大熵条件概率分布模型”。
（3.）对“含参数的最大熵条件概率分布模型”确定的“对偶函数”关于参数求极大值。A.)一种方法，可以通过“改进的迭代尺度法”求迭代参数序列，使“对偶函数”递增。以降低“对偶函数”增加幅度为代价，将“多变量参数优化”通过Jensen不等式转化成“单变量参数优化”问题。B.)另一种方法，可以直接利用拟牛顿法的BFGS等算法对“对偶函数”关于参数求极值。

最后，由于“最大熵模型$P(y|x)$关于训练数据集$T$的联合概率分布的对数似然函数” $\iff$ “对偶函数”，所以“对偶函数的极大化”$\iff$“最大熵模型的极大似然估计”：