《统计学习方法》（第六章）—— 逻辑斯谛回归与最大熵模型

逻辑斯谛回归模型

逻辑斯谛分布

• 定义：设X是连续随机变量，$X$服从罗辑斯谛分布是指$X$具有下列分布函数和密度函数：
        $F(x)=P(X\le x)=\frac{1}{1+e^{-\frac{-(x-\mu )}{\gamma }}}$
        $f(x)=F^{\prime }(x)=P(X\le x)=\frac{e^{\frac{-(x-\mu )}{\gamma }}}{\gamma (1+e^{-\frac{-(x-\mu )}{\gamma }}{)}^2}$式中$\mu$为位置参数,$\gamma >0$为形状参数，其以$(\mu ,\frac{1}{2})$为中心对称点，即满足$F(-x+\mu )-\frac{1}{2}=-F(x+\mu )+\frac{1}{2}$在中心增长速度快，两端速度慢，$\gamma$越小在中心增长越快

二项式逻辑斯谛回归模型

• 定义：二项式逻辑斯谛回归模型是如下条件概率分布：
        $P(y=1|x)=\frac{\exp (w\cdot x+b)}{1+\exp (w\cdot x+b)}$
  
        $P(y=0|x)=\frac{1}{1+\exp (w\cdot x+b)}$
  这里，$x\in R^n$是输入，$y\in \{0,1\}是输出,$ $w\in R^n$ 和 $b\in R$是参数，$w$称为权值向量，$b$为偏值，$w\cdot x$为$w$和$x$的内积，扩充$w=(w^1,w^2,...w^n,b{)}^T,x=(x^1,x^2,...,x^m,1{)}^T$,则$w $
• 几率定义:发生概率与不发生概率的比值，$\frac{p}{1-p}$对数几率,$logit(p)=\log \frac{p}{1-p}$
    对于逻辑斯谛回归模型，$\log \frac{P(y=1|x)}{1-P(y=1|x)}=w\cdot x$

模型参数估计

设:
      $P(y=1|x)=\pi (x),P(y=0|x)=1-\pi (x)$
似然函数为
      $\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$
对数似然函数为$L(w)=\sum _{i=1}^N[y_i\log \pi (x_i)+(1-y_i)\log (1-\pi (x_i))]$
$=\sum _{i=1}^N[y_i\log \frac{\pi (x_i)}{1-\pi (x_i)}+\log (1-\pi (x_i))]$
$=\sum _{i=1}^N[y_i(w\cdot x_i)-\log (1+\exp (w\cdot x_i)]$
对$L(w)$求极大值，得到$w$的估计

多项式逻辑斯谛回归

      $P(y=k|x)=\frac{\exp (w_k\cdot x)}{1+\sum _{k=1}^{K-1}\exp (w_k\cdot x)}$其中$k=1,2,...,K-1$

      $P(y=K|x)=\frac{1}{1+\sum _{k=1}^{K-1}\exp (w_k\cdot x)}$

最大熵模型

最大熵模型是由最大熵原理推导实现。

最大熵原理

最大熵原理认为学习概率模型时，在所有可能的概率模型里，熵最大的模型是最好的模型。
$H(P)=-\sum _{x}P(x)\log P(x)$,满足$0\le H(P)\le \log |X|$,其中$|X|$是X的取值个数.在约束条件下，那些不确定的事件是等可能的是最好的.

最大熵模型的定义

假设分类模型是一个条件概率分布$P(Y|X)$,给定一个训练数据集
$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$,学习目标是利用最大熵选择最好的模型
首先确定$P(X,Y)$和$P(X)$的经验分布
      $\hat{P}(X=x,Y=y)=\frac{v(X=x,Y=y)}{N}$
      $\hat{P}(X=x)=\frac{v(X=x)}{N}$
其中$v(X=x)$为样本中$X=x$的个数，$v(X=x,Y=y)$同理.
用特征函数$f(x,y)$描述输入$x$和输出$y$之间某一事实
$f(x,y)=\{\begin{array}{ll}1& x,y满足某一事实\\ 0& 其他\end{array}$
则特征函数关于经验分布$\hat{P}(X,Y)$的期望值，用$E_{\hat{P}}(f)$表示
      $E_{\hat{P}}(f)=\sum _{x,y}\hat{P}(x,y)f(x,y)$
特征函数关于模型$P(Y|X)$与经验分布$\hat{P}$的期望值,用$E_P(f)$表示
      $E_P(f)=\sum _{x,y}\hat{P}(x)P(y|x)f(x,y)$
如果模型能够获取训练数据的信息，则
      $E_{\hat{P}}(f)=E_P(f)$

• 定义
  假设满足所有约束条件的模型集合为
  $C=\{P\in \rho |E_{\hat{P}}(f_i)=E_P(f_i),i=1,2,...,n\}$
  定义在条件概率分布$P(Y|X)$上的条件熵为
  $H(P)=-\sum _{x,y}\hat{P}(x)P(y|x)\log P(y|x)$
  则模型集合$C$中条件熵最大的模型称为最大熵模型

最大熵模型的学习

$\underset{P\in C}{\min }-H(P)=\sum _{x,y}\hat{P}(x)P(y|x)\log P(y|x)$
$s.t.$
      $E_{\hat{P}}(f_i)=E_P(f_i)$
      $\sum _{y}P(y|x)=1$
引入拉格朗日乘子$w_0,w_1,...,w_n$定义拉格朗日函数$L(P,w)$
$L(P,w)=-H(P)+w_0(1-\sum _{y}P(y|x))+\sum _{i=1}^n{w}_i(E_{\hat{P}}(f_i)-E_P(f_i))$
$=\sum _{x,y}\hat{P}(x)P(y|x\log P(y|x)+w_0(1-\sum _{y}P(y|x))+$
$\sum _{i=1}^n{w}_i(\sum _{x,y}\hat{P}(x,y)f(x,y)-\sum _{x,y}\hat{P}(x)P(y|x)f(x,y))$
最优的原始问题是$\underset{P\in C}{\min }\underset{w}{\max }L(P,w)$
则对偶问题为$\underset{w}{\max }\underset{P\in C}{\min }L(P,w)$
$\frac{\partial L(P,w)}{\partial P(y|x)}=\sum _{x,y}\hat{P}(x)(\log P(y|x)+1)-\sum _y{w}_0-\sum _{x,y}(\hat{P}(x)\sum _{i=1}^n{w}_i{f}_i(x,y))$
$=\sum _{x,y}\hat{P}(x)(\log P(y|x)+1-w_0-\sum _{i=1}^n{w}_i{f}_i(x,y))=0$
则
$P(y|x)=\exp (\sum _{i=1}^n{w}_i{f}_i(x,y)+w_0-1)=\frac{\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))}{\exp (1-w_0)}$
又由
$\sum _{y}P(y|x)=1$

      $P_w(y|x)=\frac{1}{Z_w(x)}\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))$
其中
$Z_w(x)=\sum _y\exp (\sum _{i=1}^n{w}_i{f}_i(x,y))$
把以上代入$L(P,w)$后，我们只需要最大化求解$w$即可

极大似然估计

设极大似然估计
$L_{\hat{P}}(P_w)=\log \prod _{x,y}P(y|x{)}^{\hat{P}(x,y)}=\sum _{x,y}\hat{P}(x,y)\log P(y|x)$
$=\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}\hat{P}(x,y)\log Z_w(x)$
$=\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\hat{P}(x)\log Z_w(x)$
又对偶函数
$\psi (w)=\sum _{x,y}\hat{P}(x)P_w(y|x)\log P_w(y|x)+$
$\sum _{i=1}^n{w}_i(\sum _{x,y}\hat{P}(x,y)f_i(x,y)-\sum _{x,y}\hat{P}(x)P_w(y|x)f_i(x,y))$
$=\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)+\sum _{x,y}\hat{P}(x)P_w(y|x)(\log P_w(y|x)-\sum _{i=1}^n{w}_i{f}_i(x,y)$
$=\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}\hat{P}(x)P_w(y|x)\log Z_w(x)$
$=\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\hat{P}(x)\log Z_w(x)$

在最大熵模型下对偶最大化等价于极大似然估计.

模型学习的最优化算法

1. 改进迭代尺度法
2. 梯度下降法
3. 牛顿法
4. 拟牛顿法

改进的迭代尺度法

希望求的$\varrho =({\varrho }_1,{\varrho }_2,...,{\varrho }_n)$,使$w+\varrho$优于$w$
$L(w+\varrho )-L(w)=\sum _{x,y}\hat{P}(x,y)\log P_{w+\varrho }(y|x)-\sum _{x,y}\hat{P}(x,y)\log P_w(y|x)$
$=\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{\varrho }_i{f}_i(x,y)-\sum _x\hat{P}(x)\log \frac{Z_{w+\varrho }(x)}{Z_w(x)}$
又
$-\log a\ge 1-a,a>0$
得
$L(w+\varrho )-L(w)\ge \sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{\varrho }_i{f}_i(x,y)+1-\sum _x\hat{P}(x)\frac{Z_{w+\varrho }(x)}{Z_w(x)}$
$=\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{\varrho }_i{f}_i(x,y)+1-\sum _x\hat{P}(x)\sum _y{P}_w(y|x)\exp \sum _{i=1}^n{\varrho }_i{f}_i(x,y)$
记右端为
$A(\varrho |w)=\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{\varrho }_i{f}_i(x,y)+1-\sum _x\hat{P}(x)\sum _y{P}_w(y|x)\exp \sum _{i=1}^n{\varrho }_i{f}_i(x,y)$
于是
$L(w+\varrho )-L(w)\ge A(\varrho |w)$
但$\varrho$为向量不易优化故继续化简
定义
$f^{\#}(x,y)=\sum _i{f}_i(x,y)$
$A(\varrho |w)=\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{\varrho }_i{f}_i(x,y)+1-\sum _x\hat{P}(x)\sum _y{P}_w(y|x)\exp (f^{\#}(x,y)\sum _{i=1}^n\frac{{\varrho }_i{f}_i(x,y)}{f^{\#}(x,y)})$
又$\frac{f_i(x,y)}{f^{\#}(x,y)}\ge 0$且$\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}=1$
根据Jensen不等式
$\exp (\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}{\varrho }_i{f}^{\#}(x,y))\le \sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}\exp ({\varrho }_i{f}^{\#}(x,y))$
于是$A(\varrho |w)\ge B(\varrho |w)=\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{\varrho }_i{f}_i(x,y)+1-\sum _x\hat{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n(\frac{f_i(x,y)}{f^{\#}(x,y)})\exp ({\varrho }_i{f}^{\#}(x,y))$
得到
$L(w+\varrho )-L(w)\ge B(\varrho |w)$

$\frac{\partial B(\varrho |w)}{\partial \varrho }=\sum _{x,y}\hat{P}(x,y)f_i(x,y)-\sum _x\hat{P}(x)\sum _y{P}_w(y|x)f_i(x,y)\exp ({\varrho }_i{f}^{\#}(x,y))=0$
得
$\sum _x\hat{P}(x)\sum _y{P}_w(y|x)f_i(x,y)\exp ({\varrho }_i{f}^{\#}(x,y))=E_{\hat{P}}(f_i)$

• 算法
  输入:特征函数$f_1,f_2,...,f_n$,经验分布$\hat{P}(X,Y)$,模型$P_w(y|x)$
  输出:最优参数$w^{\ast }$
  $(1)$ 对所有$i\in \{1,2,...,n\}$,取$w_i=0$
  $(2)$对每个$i$求方程
  $\sum _x\hat{P}(x)\sum _y{P}_w(y|x)f_i(x,y)\exp ({\varrho }_i{f}^{\#}(x,y))=E_{\hat{P}}(f_i)$
  $w_i⟵w_i+{\varrho }_i$
  $(3)$如果不是所有$w_i$收敛则重复(2)

拟牛顿法

对于最大熵模型
目标函数:
$\underset{w\in R^n}{\min }f(w)=\sum _x\hat{P}(x)\log \exp (\sum _{i=1}^n{w}_i{f}_i(x,y))-\sum _{x,y}\hat{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)$
则梯度为
$g(w)=(\frac{\partial f(w)}{\partial w_1},\frac{\partial f(w)}{\partial w_2},...,\frac{\partial f(w)}{\partial w_n}{)}^T$

$\frac{\partial f(w)}{\partial w_i}=\sum _{x,y}\hat{P}(x)P_w(y|x)f_i(x,y)-E_{\hat{P}}(f_i)$

• 算法
  输入:特征函数$f_1,f_2,...,f_n$,经验分布$\hat{P}(x,y)$,目标函数$f(w)$,梯度$g(w)=▽f(w)$，精度要求$\epsilon$
  输出:最优参数$w^{\ast }$
  $(1)$选定初始点$w^{(0)},$取$B_0$为正定对称矩阵,$k=0$
  $(2)$计算$g_k=g(w^{(k)})$,如果$||g_k||<\epsilon$,则停止计算，取$w^{\ast }=w^{(k)}$,否则转(3)
  $(3)$由$B_k{p}_k=-g_k$求出$p_k$
  $(4)$一维搜索求${\lambda }_k$
  $f(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(w^{(k)}+\lambda p_k)$
  $(5)$$w^{(k+1)}=w^{(k)}+{\lambda }_k{p}_k$
  $(6)$计算$g_{k+1}=g(w^{(k+1)})$如果$||g_{k+1}||<\epsilon$则停止，得到$w=w^{(k+1)}$否则计算$B_{k+1}$
  $B_{k+1}=B_k+\frac{y_k{y}_k^T}{y_k^T{\varrho }_k}-\frac{B_k{\varrho }_k{\varrho }_k^T{B}_k}{{\varrho }_k^T{B}_k{\varrho }_k}$其中$y_k=g_{k+1}-g_k,{\varrho }_k=w^{(k+1)}-w(k)$
  $(7)$$k=k+1$,转$(3)$