统计学习方法-6逻辑回归

逻辑斯蒂回归模型

逻辑斯蒂分布

设X是连续随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数：

• $F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}$
• $f(x)=F^{\prime }(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}$

式中，$\mu 为位置参数，\gamma >0$为形状参数

二项逻辑斯蒂回归模型

二项逻辑斯蒂回归模型是如下的条件概率分布：

• $P(Y=1|x)=\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)}$
• $P(Y=0|x)=\frac{1}{1+exp(w\cdot x+b)}$

$这里，xϵR^n是输入，Yϵ\left\{0,1\right\}是输出，wϵR^n和bϵR是参数，w称为权值向量，b称为偏置，w\cdot x为w和x的内积$

---

逻辑斯蒂回归比较两个条件概率值的大小，将实例x分到概率值较大的那一类

模型参数估计

应用极大似然估计法估计模型参数，从而可以得到逻辑斯蒂回归模型

多项逻辑斯蒂回归

通过上述二类分类，可以将其推广为多项逻辑斯蒂回归模型，用于多类分类。

---

假设离散型随机变量Y的取值集合是{1,2,…,K}，那么多项逻辑斯蒂回归模型是：

• $P(Y=k|x)=\frac{exp(w_k\cdot x)}{1+{\sum }_{k=1}^{K-1}exp(w_k\cdot x)},k=1,2,...,K-1$
• $P(Y=K|x)=\frac{1}{1+{\sum }_{k=1}^{K-1}exp(w_k\cdot x)}$
• $这里xϵR_{n+1},w_kϵR_{n+1}$

最大熵模型

最大熵原理

最大熵原理认为，学习概率模型时，在所有可能的概率模型(分布)中，熵最大的模型是最好的模型。

---

假设离散随机变量X的概率分布是P(X)，则熵是

• $H(P)=-{\sum }_{x}P(x)logP(x)$

• 熵满足不等式：$0\le H(P)\le log|X|$

式中，|X|是X的取值个数，当且仅当X的分布是均匀分布时右边的等号成立。也就是说，当X服从均匀分布时，熵最大。

---

最大熵原理认为要选择的概率模型首先必须满足已有的事实，即约束条件，在没有更多信息的情况下，那些不确定的部分都是“等可能的”

最大熵模型的定义

给定一个训练数据集，学习的目标是用最大熵原理选择最好的分类模型

---

最大熵模型：
假设满足所有约束条件的模型集合为：

• $C\equiv \left\{PϵP|E_p(f_i)=E_{p\tilde{p}}\right\}$

定义在条件概率分布P(Y|X)上的条件熵为：

• $H(P)=-{\sum }_{x,y}\tilde{P}(x)P(y|x)log(y|x)$

则模型集合C中条件熵$H(P)$最大的模型称为最大熵模型

最大熵模型的学习

一系列推导过程…

极大似然估计

一系列推导过程…

模型学习的最优化算法

逻辑斯蒂回归模型、最大熵模型归结为以似然函数为目标函数的最优化问题，通常通过迭代算法求解。

• 常用求解全局最优解的方法：
• 改进的迭代尺度法
• 梯度下降法
• 牛顿法或拟牛顿法

改进的迭代尺度法IIS、拟牛顿法BFGS

是一种最大熵模型学习的最优化算法