统计学习方法（机器学习）——6、逻辑斯谛回归与最大熵模型

逻辑斯谛回归模型

逻辑斯谛分布

定义 逻辑斯谛分布

        设$X$是连续随机变量，$X$服从逻辑斯谛分布是指$X$有以下分布函数和密度函数：
$$F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}\text{\hspace{1em}(1)}$$
$$f(x)=F^{\prime }(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}\text{\hspace{1em}(2)}$$
式子中的$\mu$为位置参数，$\gamma >0$为形状参数。
        逻辑斯谛分布的密度函数$f(x)$和分布函数$F(x)$的图形如下所示。分布函数属于逻辑斯谛函数，其图形是一条$S$形曲线，该曲线以点$(\mu ,\frac{1}{2})$为中心对称，即满足
$$F(-x+\mu )-\frac{1}{2}=-F(x-\mu )+\frac{1}{2}$$
曲线在中心附近增长速度较快，在两端增长速度较慢。形状参数$\gamma$的值越小，曲线在中心附近增长的越快。

---

二项逻辑斯谛回归模型

        二项逻辑斯谛回归模型是一种分类模型，由条件概率分布$P(Y|X)$表示，形式为参数化的逻辑斯谛分布。这里，随机变量$X$取值为实数，随机变量$Y$取值为1或0，通过监督学习的方法来估计模型参数。

定义 逻辑斯谛回归模型

        二项逻辑斯谛回归模型是如下的条件概率分布：
$$P(Y=1|x)=\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)}\text{\hspace{1em}(3)}$$
$$P(Y=0|x)=\frac{1}{1+exp(w\cdot x+b)}\text{\hspace{1em}(4)}$$
这里，$x\in R^n$是输入，$Y\in \{0,1\}$是输出，$w\in R^n$ 和 $b\in R$ 是参数，$w$ 称为权值向量，$b$ 称为偏置，$w\cdot x$ 为 $w$ 和 $x$的内积。
        对于给定的输入实例$x$，按照（3）（4）可以求得$P(Y=1|x)$和$P(Y=0|x)$。逻辑斯谛回归比较两个条件概率值的大小，将实例$x$分到概率值较大的那一类。
        有时为了方便，将权值向量和输入向量加以扩充，仍记作$w,x$，即$w=(w^{(1)},w^{(2)},...,w^{(n)},b{)}^T,x=(x^{(1)},x^{(2)},...,x^{(n)},1{)}^T$。这时的逻辑斯谛回归模型如下：
$$P(Y=1|x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)}\text{\hspace{1em}(5)}$$
$$P(Y=0|x)=\frac{1}{1+exp(w\cdot x)}\text{\hspace{1em}(6)}$$
        一个事件的几率是指该事件发生的概率于该事件不发生的概率的比值。如果事件发生的概率是$p$，那么该事件的几率是 $\frac{p}{1-p}$ ,该事件的对数几率（log odds）或logit函数是：
$$logit(p)=log\frac{p}{1-p}$$
        对于逻辑斯谛回归而言，由（5）（6）得：
$$log\frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot x$$
也就是说，在逻辑斯谛回归模型中，输出$Y=1$的对数几率是输入$x$的线性函数。或者说，输出$Y=1$的对数几率是由输入$x$的线性函数表示的模型，即逻辑斯谛回归模型。
        考虑对输入$x$进行分类的线性函数$w\cdot x$，其值域为实数域，这里$x\in R^{n+1},w\in R^{n+1}$，通过逻辑斯谛回归模型（5）可以将线性函数$w\cdot x$转换为概率：
$$P(Y=1|x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)}$$
这时，线性函数$w\cdot x$的值越接近正无穷，概率值越接近1；线性函数的值越接近负无穷，概率值就越接近0，即逻辑斯谛回归模型。

---

模型参数估计

        逻辑斯谛回归模型学习时，对于给定的训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中，$x_i\in R^n，y_i\in \{0,1\}$，可以用极大似然估计法估计模型参数，从而得到逻辑斯谛回归模型。
        设
$$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$$
似然函数为
$$\prod _{i=1}^N{\left[\pi (x_i)\right]}^{y_i}{\left[1-\pi (x_i)\right]}^{1-y_i}$$
对数似然函数为
$$\begin{gathered} L(w)=\sum _{i=1}^N\left[y_{i}log\pi (x_i)+(1-y_i)log(1-\pi (x_i))\right] \\ =\sum _{i=1}^N\left[y_{i}log\frac{\pi (x_i)}{1-\pi (x_i)}+log(1-\pi (x_i))\right] \\ =\sum _{i=1}^N\left[y_i(w\cdot x)-log(1+exp(w\cdot x))\right] \end{gathered}$$
对$L(w)$求极大值，得到$w$的估计值。
        这样，问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯谛回归学习中常用的方法是梯度下降法和拟牛顿法。
假设$w$的极大似然估计值是$\hat{w}$，那么学到的逻辑斯谛回归模型为：
$$P(Y=1|x)=\frac{exp(\hat{w}\cdot x)}{1+exp(\hat{w}\cdot x)}$$
$$P(Y=0|x)=\frac{1}{1+exp(\hat{w}\cdot x)}$$

---

多项逻辑斯谛回归

        可以将二项分类模型推广到多项逻辑斯谛回归模型，用于多类分类。假设离散型随机变量$Y$的取值集合是$\{1,2,...,K\}$，多项逻辑斯谛回归模型是：
$$P(Y=k|x)=\frac{exp(w_k\cdot x)}{1+\sum _{k=1}^{K-1}exp(w_k\cdot x)},k=1,2,...,K-1\text{\hspace{1em}(7)}$$
$$P(Y=K|x)=\frac{1}{1+\sum _{k=1}^{K-1}exp(w_k\cdot x)}\text{\hspace{1em}(8)}$$
这里$x\in R^{n+1},w_k\in R^{n+1}$，同样参数估计法也可以推广到多项逻辑斯谛回归。

---

最大熵模型

最大熵原理

        最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。
        假设离散随机变量$X$的概率分布是$P(X)$，则其熵是：
$$H(P)=-\sum _{x}P(x)logP(x)\text{\hspace{1em}(9)}$$
熵满足下列不等式：
$$0\le H(P)\le log|X|$$
式子中的$|X|$是$X$的取值个数，当且仅当$X$的分布是均匀分布时，右边的等号成立，即$X$服从均匀分布时，熵最大。
        直观地，最大熵原理认为要选择的概率模型首先必须满足已有的约束条件。在没有更多信息的情况下，那些不确定的部分都是“等可能的”。最大熵原理通过熵的最大化来表示等可能性，“等可能”不易操作，而熵是一个可以优化的数值指标。

---

最大熵模型的定义

        最大熵原理是统计学习的一般原理，将其应用到分类得到最大熵模型。
        假设分类模型是一个条件概率分布$P(Y|X)，X\in \mathcal{X}\subseteq R^n$表示输入，$Y\in \mathcal{Y}$表示输出，$\mathcal{X},\mathcal{Y}$分别是输入和输出的集合。这个模型表示的是对于给定的输入$X$，以条件概率$P(Y|X)$输出$Y$。
        给定一个训练集
$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_n=N))\}$$
学习的目标是用最大熵原理选择最好的分类模型。
        首先考虑模型应该满足的条件。给定训练数据集，可以确定联合概率分布$P(X,Y)$的经验分布和边缘分布$P(X)$的经验分布，分别以$\tilde{P}(X,Y)$和$\tilde{P}(X)$表示。这里，
$$\tilde{P}(X=x,Y=y)=\frac{v(X=x,Y=y)}{N}$$
$$\tilde{P}(X=x)=\frac{v(X=x)}{N}$$
其中，$v(X=x,Y=y)$表示训练数据中样本$(x,y)$出现的频数，$v(X=x)$表示训练数据中输入$x$出现的频数，$N$表示训练样本的容量。
        用特征函数$f(x,y)$描述输入$x$和输出$y$之间的某一个事实，其定义为：
$$f(x,y)=\{\begin{array}{ll}1& x与y满足某一事实\\ 0& 否则\end{array}$$
        特征函数$f(x,y)$关于经验分布$\tilde{P}(X,Y)$的期望值，用$E_{\tilde{P}}(f)$表示。
$$E_{\tilde{P}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$
        特征函数$f(x,y)$关于模型$P(Y|X)$与经验分布$\tilde{P}(X)$的期望值，用$E_P(f)$表示。
$$E_P(f)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$
        如果模型能够获取训练数据中的信息，那么就可以假设这两个期望值相等，即：
$$E_P(f)=E_{\tilde{P}}(f)\text{\hspace{1em}(10)}$$
或
$$\sum _{x,y}\tilde{P}(x,y)f(x,y)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)\text{\hspace{1em}(11)}$$
将式（10）或（11）作为模型学习的约束条件。假如有$n$个特征函数$f_i(x,y),i=1,2,...,n$，就有$n$个约束条件。

定义 最大熵模型

        假设满足所有约束条件的模型集合为
$$\mathcal{C}\equiv \{P\in \mathcal{P}|E_P(f_i)=E_{\tilde{P}}(f_i),i=1,2,...,n\}\text{\hspace{1em}(12)}$$
定义在条件概率分布$P(Y|X)$上的条件熵为：
$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)\text{\hspace{1em}(13)}$$
则模型集合$\mathcal{C}$中条件熵$H(P)$最大的模型称为最大熵模型，式中的对数为自然对数。

---

最大熵模型的学习

        最大熵模型的学习过程就是求解最大熵模型的过程，可以形式化为约束最优化问题。
        对于给定的训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_n=N))\}$以及特征函数$f_i(x,y),i=1,2,...,n$，最大熵模型的学习等价于约束最优化问题：
$$\underset{\mathcal{P}\in \mathcal{C}}{\max }H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$
$$s.t.E_P(f_i)=E_{\tilde{P}}(f_i),i=1,2,...,n$$
$$\sum _{y}P(y|x)=1$$
        按照最优化问题的习惯，将求最大值问题改写为等价的求最小值的问题：
$$\underset{\mathcal{P}\in \mathcal{C}}{\min }-H(P)=\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)\text{\hspace{1em}(14)}$$
$$s.t.E_P(f_i)=E_{\tilde{P}}(f_i),i=1,2,...,n\text{\hspace{1em}(15)}$$
$$\sum _{y}P(y|x)=1\text{\hspace{1em}(16)}$$
        求解约束最优化问题（14）~（16）所得出的解，就是最大熵模型学习的解，这里一般引进拉格朗日乘子，然后用拉格朗日函数来求解。

---

极大似然估计

        对偶函数的极大化等价于最大熵模型的极大似然估计，最大熵模型的学习问题可以转换成具体求解对数似然函数极大化或对偶函数极大化的问题。
        可以将最大熵模型写成更一般的形式：
$$P_w(y|x)=\frac{1}{Z_w(x)}exp\left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\text{\hspace{1em}(17)}$$
其中,
$$Z_w(x)=\sum _{y}exp\left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\text{\hspace{1em}(18)}$$
这里，$x\in R^n$为输入， $y\in \{1,2,...,K\}$为输出, $w\in R^n$为权值向量，$f_i(x,y),i=1,2,...,n$为任意实值特征函数。
        最大熵模型与逻辑斯谛回归模型有类似的形式，它们又称为对数线性模型。模型学习就是在给定的训练数据条件下对模型进行极大似然估计或正则化的极大似然估计。

---

模型学习的最优化算法

        逻辑斯谛回归模型、最大熵模型学习归结为以似然函数为目标函数的最优化问题，通常通过迭代算法求解。从最优化的观点看，这时的目标函数具有很好的性质。它是光滑的凸函数，因此多种最优化方法都适用，保证能够找到全局最优解。常用的方法有改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法。牛顿法或拟牛顿法一般收敛速度更快。

---

改进的迭代尺度法

        改进的迭代尺度法（IIS）是一种最大熵模型学习的最优化算法。
        已知最大熵模型为：
$$P_w(y|x)=\frac{1}{Z_w(x)}exp\left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\text{\hspace{1em}(19)}$$
其中,
$$Z_w(x)=\sum _{y}exp\left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\text{\hspace{1em}(20)}$$
        对数似然函数为：
$$L(w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)log{Z}_w(x)\text{\hspace{1em}(21)}$$
目标是通过极大似然估计学习模型参数，即求对数似然函数的极大值$\hat{w}$。
        IIS的想法是：假设最大熵模型当前的参数向量是$w=(w_1,w_2,...,w_n{)}^T$，我们希望找到一个新的参数向量$w+\delta =(w_1+\delta ,w_2+\delta ,...,w_n+\delta {)}^T$，使得模型的对数似然函数值增大。如果能有这样一种参数向量更新方法$:w\to w+\delta$，那么就可以重复使用这一方法，直到找到对数似然函数的最大值。
        对于给定的经验分布$\tilde{P}(x,y)$，模型参数从$w$到$w+\delta$，对数似然函数的改变量是：
$$L(w+\delta )-L(w)=\sum _{x,y}\tilde{P}(x,y)log{P}_{w+\delta }(y|x)-\sum _{x,y}\tilde{P}(x,y)log{P}_w(y|x)$$
化简得：
$$L(w+\delta )-L(w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)-\sum _x\tilde{P}(x)log\frac{Z_{w+\delta }(x)}{Z_w(x)}$$
        利用不等式
$$-log\alpha \ge 1-\alpha ,\alpha >0$$
建立对数似然函数改变量的下界：
$$L(w+\delta )-L(w)\ge \sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)exp\sum _{i=1}^n{\delta }_i{f}_i(x,y)$$
将右端记为：
$$A(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)exp\sum _{i=1}^n{\delta }_i{f}_i(x,y)$$
于是有：
$$L(w+\delta )-L(w)\ge A(\delta |w)$$
即$A(\delta |w)$是对数似然函数该变量的一个下界。
        如果能找到适当的$\delta$使下界$A(\delta |w)$提高，那么对数似然函数也会提高。然而，函数$A(\delta |w)$中的$\delta$是一个向量，含有多个变量，不易同时优化。IIS试图一次只优化其中的一个变量，而固定其它变量。
        为达到这一目的，IIS进一步降低下界$A(\delta |w)$。具体地，IIS引进一个量$f^{\#}(x,y)$，
$$f^{\#}(x,y)=\sum _i{f}_i(x,y)$$
因为$f_i$是二值函数，故$f^{\#}(x,y)$表示所有特征在$(x,y)$出现的次数。这样，$A(\delta |w)$可以改写为：
$$A(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)exp\left(f^{\#}(x,y)\sum _{i=1}^n\frac{{\delta }_i{f}_i(x,y)}{f^{\#}(x,y)}\right)\text{\hspace{1em}(22)}$$
可以（根据Jensen不等式、指数函数的凸性等等）将上式改写为：
$$A(\delta |w)\ge \sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n\left(\frac{f_i(x,y)}{f^{\#}(x,y)}\right)exp\left({\delta }_i,f^{\#}(x,y)\right)\text{\hspace{1em}(23)}$$
记该不等式右端为：
$$B(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n\left(\frac{f_i(x,y)}{f^{\#}(x,y)}\right)exp\left({\delta }_i,f^{\#}(x,y)\right)$$
于是得到
$$L(w+\delta )-L(w)\ge B(\delta |w)$$
这里，$B(\delta |w)$是对数似然函数改变量的一个新的（相对不紧的）下界。
        求$B(\delta |w)$对${\delta }_i$的偏导数：
$$\frac{\partial B(\delta |w)}{\partial {\delta }_i}=\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)f_i(x,y)exp({\delta }_i{f}^{\#}(x,y))\text{\hspace{1em}(24)}$$
在式（24）中，除了${\delta }_i$外不含任何其它变量。令偏导数为0得到：
$$\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)exp({\delta }_i{f}^{\#}(x,y))=E_{\tilde{P}}(f_i)\text{\hspace{1em}(25)}$$
于是，依次对${\delta }_i$求解方程（25)可以求出$\delta$。

---

算法 改进的迭代尺度算法 IIS
输入：特征函数$f_1,f_2,...,f_n$；经验分布$\tilde{P}(X,Y)$，模型$P_w(y|x)$
输出：最优参数值$w_i^{\ast }$；最优模型$P_{w^{\ast }}$
（1）对所有$i\in \{1,2,..,n\}$，取初值$w_i=0$
（2）对每一$i\in \{1,2,..,n\}$:
        (a)令${\delta }_i$是方程
$$\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)exp({\delta }_i{f}^{\#}(x,y))=E_{\tilde{P}}(f_i)$$
的解，这里，
$$f^{\#}(x,y)=\sum _i{f}_i(x,y)$$
        (b)更新$w_i$值，$w_i\leftarrow w_i+{\delta }_i$
（3）如果不是所有的$w_i$都收敛，重复步骤（2）

---

        这一算法的关键一步是(a)，即求解方程（25）的${\delta }_i$。如果$f^{\#}(x,y)$是常数，即对任何的$x,y$，有$f^{\#}(x,y)=M$，那么${\delta }_1$可以显示地表示成
$${\delta }_1=\frac{1}{M}log\frac{E_{\tilde{P}}(f_i)}{E_P(f_i)}\text{\hspace{1em}(26)}$$
        如果$f^{\#}(x,y)$不是常数，必须通过数值计算求${\delta }_i$。简单有效的方法是牛顿法，以$g({\delta }_i)=0$表示方程（25），通过迭代求得${\delta }_i^{\ast }$，使得$g({\delta }_i^{\ast })=0$。迭代公式是：
$${\delta }_i^{(k+1)}={\delta }_i^{(k)}-\frac{g({\delta }_i^k)}{g^{\prime }({\delta }_i^k)}27)\text{\hspace{1em}(()}$$
只要选取适当的初值，由于方程（25）有单根，因此牛顿法恒收敛，而且收敛速度很快。

---

拟牛顿法

算法 最大熵模型学习的BFGS算法
输入：特征函数$f_1,f_2,...,f_n$；经验分布$\tilde{P}(X,Y)$，目标函数$f(w)$，梯度$g(w)=\nabla f(w)$，精度要求$ϵ$
输出：最优参数值$w_i^{\ast }$；最优模型$P_{w^{\ast }}(y|x)$
（1）选定初始点$w^{(0)}$，取$B_0$为正定对称矩阵，置$k=0$
（2）计算$g_k=g(w^k)$。若$||g_k||<ϵ$，则停止计算，得到$w^{\ast }=w^{(k)}$；否则转（3）
（3）由$B_k{p}_k=-g_k$求出$p_k$
（4）一维搜索，求${\lambda }_k使得$
$$f(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(w^{(k)}+\lambda p_k)$$
（5）置$w^{(k+1)}=w^{(k)}+{\lambda }_k{p}_k$
（6）计算$g_{k=1}=g(w^{(k+1)})$，若$||g_{k+1}||<ϵ$，则停止计算，得到$w^{\ast }=w^{(k+1)}$；否则，按照下式求出$B_{k+1}$：
$$B_{k+1}=B_k+\frac{y_k{y}_k^T}{y_k^T{\delta }_k}-\frac{B_k{\delta }_k{\delta }_k^T{B}_k}{{\delta }_k^T{B}_k{\delta }_k}$$
其中，
$$y_k=g_{k+1}-g_k{\delta }_k=w^{(k+1)}-w^{(k)}$$

（7）置$k=k+1$，转（3）

---

总结

1、逻辑斯谛回归模型是由以下条件概率分布表示的分类模型，可以用于二分类或多分类问题：
$$P(Y=k|x)=\frac{exp(w_k\cdot x)}{1+\sum _{k=1}^{K-1}exp(w_k\cdot x)},k=1,2,...,K-1$$
$$P(Y=K|x)=\frac{1}{1+\sum _{k=1}^{K-1}exp(w_k\cdot x)}$$
这里$x$为输入特征，$w$为特征的权值。
        逻辑斯谛回归模型源自逻辑斯谛分布，其分布函数$F(x)$是$S$形函数。逻辑斯谛回归模型是由输入的线性函数表示的输出的对数几率模型。

---

2、最大熵模型是由以下条件概率分布模型表示的分类模型，也可以用于二分类或多分类。
$$P_w(y|x)=\frac{1}{Z_w(x)}exp\left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$
$$Z_w(x)=\sum _{y}exp\left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$
其中，$Z_w(x)$是规范化因子，$f_i$为特征函数，$w_i$为特征的权值。

---

3、最大熵模型可以由最大熵原理推导得出。最大熵原理是概率模型学习或估计的一个准则，认为在所有可能的概率模型（分布）的集合中，熵最大的模型是最好的模型。
       最大熵原理应用到分类模型的学习中，有以下约束最优化问题：
$$\underset{\mathcal{P}\in \mathcal{C}}{\min }-H(P)=\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$
$$s.t.E_P(f_i)=E_{\tilde{P}}(f_i),i=1,2,...,n$$
$$\sum _{y}P(y|x)=1$$
求解此最优化问题的对偶问题得到最大熵模型。

---

4、逻辑斯谛回归模型与最大熵模型都属于对数线性模型，它们的学习一般采用极大似然估计或正则化的极大似然估计。逻辑斯谛回归模型及最大熵模型学习可以形式化为无约束最优化问题，求解该最优化问题的算法有改进的迭代尺度法、梯度下降法、拟牛顿法。