十大机器学习算法之二：逻辑斯蒂回归

1 知识预警

1.1 交叉熵与对数似然

1.1.1 熵

设$X$是一个取有限个值的离散随机变量，其概率分布为：$$\begin{array}{r}P(X=x_i)=p_i,i=1,2,\cdots ,n\end{array}$$

一个随机事件发生的概率越高，其信息量越低，故信息量定义为：$$\begin{array}{r}I(X)=-\sum _{i=1}^n\log p_i\end{array}$$

在信息论与概率统计中，熵（entropy）是表示随机变量不确定性的度量：则随机变量$X$熵的定义为： $$\begin{array}{rl}H(X)& =-\sum _{i=1}^n{p}_i\log p_i\end{array}$$

上式中，若$p_i=0$，则定义$0\log 0=0$。由定义可知，熵只依赖于$X$的分布，而与$X$的取值无关，所以也可以将$X$的熵记作$H(p)$：$$\begin{array}{r}H(p)=-\sum _{i=1}^n{p}_i\log p_i\end{array}$$

1.1.2 交叉熵

现在有关于样本集的两个概率分布 p(x) 和 q(x)，其中 p(x) 为真实分布， q(x)非真实分布。如果用真实分布 p(x) 来衡量识别一个样本所需要编码长度的期望（平均编码长度）为式（3），如果使用非真实分布 q(x) 来表示来自真实分布 p(x) 的平均编码长度，则是：$$\begin{array}{r}H(p,q)=-\sum p_i\log q_i\end{array}$$

如考虑一个随机变量$X$，真实分布$p(x)=(\frac{1}{2},\frac{1}{4},\frac{1}{8},\frac{1}{8})$，非真实分布$q(x)=(\frac{1}{4},\frac{1}{4},\frac{1}{4},\frac{1}{4})$，则$H(p,q)=-(\frac{1}{2}{\log }_2\frac{1}{4}+\frac{1}{4}{\log }_2\frac{1}{4}+\frac{1}{8}{\log }_2\frac{1}{4}+\frac{1}{8}{\log }_2\frac{1}{4}+)=2\text{bits}$

1.1.3 KL散度

用来衡量两个分布之间的差异。使用概率分布q来近似p时所造成的信息损失量。$$\begin{array}{rl}\text{KL}(p,q)& =H(p,q)-H(p)\\ & =\sum p_i\log \frac{p_i}{q_i}\end{array}$$
应用到机器学习中，若真实分布为$p_r(y|\mathbf{x})$，预测分布为$p_{\theta }(y|\mathbf{x})$，通过KL散度衡量两个分布之间的额差异，即损失函数为最小化预测分布与真实分布之间的差异：$$\begin{array}{rl}\min \text{KL}(p_r(y|\mathbf{x}),p_{\theta }(y|\mathbf{x}))& =\sum p_r(y|\mathbf{x})\log \frac{p_r(y|\mathbf{x})}{p_{\theta }(y|\mathbf{x})}\\ & \propto -\sum p_r(y|\mathbf{x})\log p_{\theta }(y|\mathbf{x})\end{array}$$

1.3 sigmoid函数求导

$$\sigma (x)=\frac{1}{1+e^{-x}}$$
$${\sigma }^{\prime }(x)=\sigma (x)(1-\sigma (x))$$

2 逻辑斯蒂回归模型

首先推导逻辑斯蒂回归模型，然后最小化损失函数，通过梯度下降算法学习最优参数。文章将回答一下问题：

1. 为什么要使用sigmoid函数？
2. 逻辑斯蒂分布、二项逻辑斯蒂回归模型、对数几率
3. 交叉熵损失函数就是对数似然损失函数
4. 为什么选择交叉熵损失函数，而不是平方损失函数？

逻辑斯谛回归是经典的分类方法，它属于对数线性模型，原理是根据现有的数据对分类边界线建立回归公式，以此进行分类。具体来讲，对于二分类问题，只需要构造一个线性判别函数$f(x)=w^{\mathrm{T}}x+b$。特征空间${\mathbb{R}}^D$中所有满足$f(x)=0$的点组成一个分割超平面（Hyperplane），称为决策边界（Decision Boundary），决策边界将特征空间一分为二，划分为两个区域，每个区域对应一个类别。一个二分类问题的线性决策边界如下图所示，其中样本特征向量 $x=[x1,x2]$，权重向量$w=[w1,w2]$。

但这存在一个问题，我们知道一个分割超平面将特征空间分成两个部分，样本在不同的子空间中则被分为相对应的类。但是感知机的一个问题在于，我们仅能知道这个样本被分类的结果，但不知道它属于一个类的概率是多少。换句话说，样本在特征空间中的位置可能与分离超平面距离非常近，也有可能非常远，如果距离较远，那么它更有可能被分成它所在一侧对应的类，但是如果与超平面的距离非常近，说明它被分成另一类的可能性也很大，比如被分成A的可能性为51%，而分成B类的可能性为49%，此时线性回归会将其分为A类，而忽略了49%分成B类的可能性。于是，为了得到这一概率，我们引入了 Sigmoid 函数。

$$\begin{array}{r}\text{sigmoid}(z)=g(z)=\frac{1}{1+e^{-z}}\end{array}$$

在线性回归模型的基础上，使用Sigmoid函数，将线性模型的预测值$(-\infty ,+\infty )$压缩到$(0,1)$之间，使其拥有概率意义，实现值到概率转换¹
。这样，就可以显示一个样本被分为一个类别的概率是多少。这时，式（10）已经是一个概率了，给定一个样本输入$x$，输出为正类的条件概率分布表示为式（11），当然也可以是表示为负类，只是表示方式不一样而已。$P(Y=0|x)=1-P(Y=1|x)$得到式（12）。公式（11）（12）是二项逻辑斯蒂回归模型的条件概率分布。
$$\begin{array}{rlr}P(Y=1|x)& =\text{sigmoid}(f(x))& =\frac{1}{1+e^{-w^{\mathrm{T}}x+b}}=\frac{e^{w^{\mathrm{T}}x+b}}{1+e^{w^{\mathrm{T}}x+b}}\\ P(Y=0|x)& =\frac{1}{1+e^{w^{\mathrm{T}}x+b}}& \end{array}$$
这里，$x\in {\mathbb{R}}^d$是输入，$Y=\{0,1\}$是输出，$w\in {\mathbb{R}}^d$和$b\in \mathbb{R}$是参数，$w$称为权重，$b$称为偏置，$wx$为内积。对于给定的输入实例$x$，按照式（11）（12）可以计算$P(Y=1|x)$和$P(Y=0|x)$，逻辑斯蒂回归比较两个条件概率的大小，将实例$x$分类到概率值较大的那一类。

比如我们认为A类为正类，B类为负类，那么当某个样本分为A类的概率>50%，我们可认为其为A类，如果<50%，我们可认为其为B类，如下式，式中 $\hat{y}$为样本的预测值， $f(x)$为分割超平面，当某个样本在分割超平面的这一侧（法向量方向，$f(x)>0$），可以认为该样本分为这一类的概率较大（$\text{sigmoid}(f(x))>0.5$）：
$$\begin{array}{r}\hat{y}=\{\begin{array}{ll}1& \text{if}f(x)>0\iff \text{sigmoid}(f(x))>0.5\\ -1& \text{if}f(x)<0\iff \text{sigmoid}(f(x))<0.5\end{array}\end{array}$$

给定$N$个样本的训练集$\mathcal{D}=\{x^{(i)},y^{(i)}{\}}_{i=1}^N$，其中$y^{(i)}\in \{+1,-1\}$，线性模型试图学习参数$w^{\ast }$，使得对于每个样本$(x^{(i)},y^{(i)})$尽量满足$$\begin{array}{r}{f}_{w^{\ast }}(x^{(i)})>0\text{if}{y}^{(i)}=1\\ f_{w^{\ast }}(x^{(i)})<0\text{if}{y}^{(i)}=-1\end{array}$$
上面两个公式也可以合并，即参数∗ 尽量满足
$$\begin{array}{r}{y}^{(i)}{f}_{w^{\ast }}>0,\forall i\in [1,N]\end{array}$$

3 模型训练

模型预测条件概率为：
$$\begin{array}{rl}{P}_w(Y=1|x^{(i)})& =y^{(i)}\\ P_w(Y=-1|x^{(i)})& =1-y^{(i)}\end{array}$$

对于一个样本$(x^{(i)},y^{(i)})$，其真实条件概率为：
$$\begin{array}{rl}{P}_r(Y=1|x^{(i)})& =y^{(i)}\\ P_r(Y=-1|x^{(i)})& =1-y^{(i)}\end{array}$$

3.1 损失函数

为了充分利用凸优化中一些高效、成熟的优化方法， 如共轭梯度、拟牛顿法等，很多机器学习方法都倾向于选择合适的模型和损失函数，以构造一个凸函数作为优化目标．但也有很多模型（比如神经网络）的优化目标是非凸的，只能退而求其次找到局部最优解。

在线性回归中采用平方损失函数，但在逻辑斯蒂回归中采用交叉熵损失函数²:，很多文献和资料提及交叉损失的同时还涉及对数损失，其实两者是一样的³。

3.1.1 平方损失函数

平方损失函数：
$$\begin{array}{r}\mathcal{L}(\mathbf{w})=\frac{1}{2N}\sum _{i=1}^N(y^{(i)}-{\hat{y}}^{(i)}){)}^2\end{array}$$
梯度为：$$\begin{array}{r}\frac{\partial \mathcal{L}(\mathbf{w})}{\partial \mathbf{w}}=\frac{1}{N}\sum _{i=1}^N(y^{(i)}-{\hat{y}}^{(i)})\mathbf{x}\end{array}$$其中，${\hat{y}}^{(i)}$是关于$\mathbf{w}$的sigmoid函数，是一个非凸函数，存在许多局部极小值点，采用梯度下降算法求解时，不适合做逻辑斯蒂回归的损失函数。

3.1.1 交叉熵损失函数

由交叉熵公式和KL散度推导出损失函数：
$$\begin{array}{r}H(p_r,p_w)=-\left(y^{(i)}\log {\hat{y}}^{(i)}+\left(1-y^{(i)}\right)\log (1-{\hat{y}}^{(i)})\right)\end{array}$$

交叉熵损失函数：
$$\begin{array}{r}\mathcal{L}(w)=-\frac{1}{N}\sum _{i=1}^N\left(y^{(i)}\log {\hat{y}}^{(i)}+\left(1-y^{(i)}\right)\log (1-{\hat{y}}^{(i)})\right)\end{array}$$

3.1.2 对数似然函数

交叉熵损失函数就是对数似然函数
首先写出最大似然函数：
$$\begin{array}{rl}L(\mathbf{w})& =\prod _{i=1}^N[P(X={\mathbf{x}}^{(i)}){]}^{y(i)}[1-P(X-{\mathbf{x}}^{(i)}){]}^{(1-y^{(i)})}\\ & =\prod _{i=1}^N{\hat{y}}^{y(i)}[1-\hat{y}{]}^{(1-y^{(i)})}\end{array}$$
为了计算方便，我们对似然函数取对数，得到对数似然函数：
$$\begin{array}{r}\log L(\mathbf{x})=\sum _{i=1}^N{y}^{(i)}\log {\hat{y}}^{(i)}+(1-y^{(i)})\log (1-{\hat{y}}^{(i)})\end{array}$$

3.2 梯度

梯度为：

$$\begin{array}{rl}\frac{\partial \mathcal{L}(\mathbf{w})}{\partial \mathbf{w}}& =-\frac{1}{N}\sum _{i=1}^N\left(y^{(i)}\frac{{\hat{y}}^{(i)}\left(1-{\hat{y}}^{(i)}\right)}{{\hat{y}}^{(i)}}{\mathbf{x}}^{(i)}-\left(1-y^{(i)}\right)\frac{{\hat{y}}^{(i)}\left(1-{\hat{y}}^{(i)}\right)}{1-{\hat{y}}^{(i)}}{\mathbf{x}}^{(i)}\right)\\ & =-\frac{1}{N}\sum _{i=1}^N\left(y^{(i)}\left(1-{\hat{y}}^{(i)}\right){\mathbf{x}}^{(i)}-\left(1-y^{(i)}\right){\hat{y}}^{(i)}{\mathbf{x}}^{(i)}\right)\\ & =-\frac{1}{N}\sum _{i=1}^N{\mathbf{x}}^{(i)}\left(y^{(i)}-{\hat{y}}^{(i)}\right).\end{array}$$

采用梯度下降法，Logistic回归的训练过程为：初始化 ${\mathbf{w}}_0\leftarrow 0$，然后通过下式来迭代更新参数：
$$\begin{array}{r}{\mathbf{w}}_{t+1}\leftarrow {\mathbf{w}}_t+\alpha \frac{1}{N}\sum _{i=1}^N{\mathbf{x}}^{(i)}\left(y^{(i)}-{\hat{y}}^{(i)}\right)\end{array}$$

2.3 优化方法

有了梯度后，就可以使用梯度下降算法学习参数$\mathbf{w}$了。

---

1. 【机器学习】关于逻辑斯蒂回归，看这一篇就够了！解答绝大部分关于逻辑斯蒂回归的常见问题，以及代码实现 ↩︎

2. 逻辑斯谛回归（Logistic回归）最详解 ↩︎

3. 对数损失和交叉熵损失 ↩︎