机器学习笔记 -- LR 逻辑回归

---

逻辑回归主要用来解决分类问题

一、线性回归

基本形式

$$f(\mathbf{x}-)={\mathbf{w}}^T\mathbf{x}+b$$

输入属性只有一个的情况下，试图学得 $f(x_i)=w{x}_i+b$ ，使得 $f(x_i)\simeq y_i$ .

学习策略

均方误差最小化：

$$\begin{array}{rl}(w^{\ast },b^{\ast })& ={\mathrm{argmin}}_{(w,b)}\sum _{i=1}^m(f(x_i)-y_i{)}^2\\ & ={\mathrm{argmin}}_{(w,b)}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2\end{array}$$

求解 $w$ 和 $b$ 使 $E_{(w,b)}={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$ 最小化的过程称为线性回归模型的最小二乘“参数估计”.
将 $E_{(w,b)}$ 分别对 $w$ 和 $b$ 求导，得

$$\frac{\partial E_{(w,b)}}{\partial w}=2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i\right)$$

$$\frac{\partial E_{(w,b)}}{\partial b}=2\left(mb-\sum _{i=1}^m(y_i-w{x}_i)\right)$$

由于 $E_{(w,b)}$ 是关于 $w$ 和 $b$ 的凸函数，当以上两个导数为0时，可以得到 $w$ 和 $b$ 的最优解（《机器学习》page.54）
多个属性的情形涉及矩阵运算，以后补充.

广义线性模型

考虑单调可谓函数 $g(\cdot )$ ，则 $y=g^{-1}({\mathbf{w}}^T\mathbf{x}+b)$ 称为“广义线性模型”，

例如 $g(\cdot )=\ln (\cdot )$ 时为对数线性回归 $\ln y={\mathbf{w}}^T\mathbf{x}+b$

---

二、逻辑回归

若要用线性模型做分类任务，则需在上述广义线性模型中找到一个单调可微函数将分类任务的真实标记 y 与线性回归模型的预测值联系起来.

考虑二分类任务， $y\in \left\{0,1\right\}$ ，线性回归模型产生的预测值 $z={\mathbf{w}}^T\mathbf{x}+b$ 是实值，我们需要将 $z$ 转化为 $0/1$，最理想的是“单位阶跃函数” $f(n)=\{\begin{array}{ll}0,& z<0\\ 0.5,& z=0\\ 1,& z>0\end{array}$ .

引入（对数几率函数）

由于单位阶跃函数不连续，因此采用一个单调可微的一种 $Sigmoid$ 函数替代：
$$y=\frac{1}{1+e^{-z}}$$

将对数几率函数作为 $g^{-1}(\cdot )$ 带入广义线性模型 $y=g^{-1}({\mathbf{w}}^T\mathbf{x}+b)$ 得

$$y=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}$$

（可以理解为把线性回归模型的输出作为sigmoid函数的输入）

$$\Rightarrow \ln \frac{y}{1-y}={\mathbf{w}}^T\mathbf{x}+b$$

（其中$\frac{y}{1-y}$ 称为“几率”（odds），反映了 $\mathbf{x}$ 作为正例的相对可能性）

为便于讨论，令 $\mathbf{w}=(\mathbf{w};b),\mathbf{x}=(\mathbf{x};1)$ 则 ${\mathbf{w}}^T\mathbf{x}+b$ 可简写为 ${\mathbf{w}}^T\mathbf{x}$。
若将上述 $y$ 视为类后验概率估计 $p(y=1|x)$ ，上式可以重写为

$$\ln \frac{p(y=1|x)}{p(y=0|x)}={\mathbf{w}}^T\mathbf{x}$$

1. 公式推导

属性取值为 $x$ 的时候 $y=1$ 和 $y=0$ 的条件概率分别为（可由以上引入得出）

$$p(y=1|x)=\frac{e^{{\mathbf{w}}^T\mathbf{x}}}{1+e^{{\mathbf{w}}^T\mathbf{x}}}$$

$$p(y=0|x)=\frac{1}{1+e^{{\mathbf{w}}^T\mathbf{x}}}$$

那么将两个式子合在一起，可以表示一个样本 $(x_i,y_i)$ 出现的概率

$$p(y_i,x_i)=p(y=1|x{)}^{y_i}(1-p(y=1|x){)}^{1-y_i}$$

那我们的整个样本集出现的概率，也就是n个独立的样本出现的似然函数为（因为每个样本都是独立的，所以n个样本出现的概率就是他们各自出现的概率相乘）

$$L(\mathbf{w})=\prod _{i=1}^{N}p(y_i=1|x_i{)}^{y_i}(1-p(y_i=1|x_i){)}^{1-y_i}$$

最大似然法就是求模型中使得似然函数最大的系数取值$w^{\ast }$ (即令每个样本属于其真实标签的概率越大越好)。

对数似然函数为

$$\begin{array}{rl}\ln L(\mathbf{w})& =\ln \prod _{i=1}^{N}p(y_i=1|x_i{)}^{y_i}(1-p(y_i=1|x_i){)}^{1-y_i}\\ & =\sum _{i=1}^N[y_i\ln p(y_i=1|x_i)+(1-y_i)\ln (1-p(y_i=1|x_i))]\\ & =\sum _{i=1}^N[y_i\ln \frac{p(y_i=1|x_i)}{1-p(y_i=1|x_i)}+\ln (1-p(y_i=1|x_i))]\\ & =\sum _{i=1}^N[y_i({\mathbf{w}}^T{\mathbf{x}}_i)+\ln (1-\frac{e^{{\mathbf{w}}^T{\mathbf{x}}_i}}{1+e^{{\mathbf{w}}^T{\mathbf{x}}_i}})]\\ & =\sum _{i=1}^N[y_i({\mathbf{w}}^T{\mathbf{x}}_i)-\ln (1+e^{{\mathbf{w}}^T{\mathbf{x}}_i})]\end{array}$$

对数似然函数与损失函数的关系： 实际上，对数似然损失在单个数据点上的定义为：

$$-y_i\ln p(y_i|{\mathbf{x}}_i)-(1-y_i)\ln [1-p(y_i|{\mathbf{x}}_i)]$$

如果取整个数据集上的平均对数似然损失，可以得到:

$$J(\mathbf{w})=-\frac{1}{N}\ln L(\mathbf{w})$$

即在逻辑回归模型中，我们最大化似然函数和最小化对数似然损失函数实际上是等价的。

代价函数有了，下一步要做的就是优化求解了。先尝试对上面的代价函数求导，发现导数为 $0$ 的时候无法解析求解。因此只能借助迭代来求解 $\ln L(\mathbf{w})$ 求极大值(也可认为是求 $J(\mathbf{w})$ 的最小值)，得到 $\mathbf{w}$ 的估计值。逻辑回归学习中通常采用的方法是梯度下降法 和 牛顿法。

$\ln L(\mathbf{w})$ 对 $\mathbf{w}$ 求导得

$$\frac{\partial \ln L(\mathbf{w})}{\partial \mathbf{w}}=\sum _{i=1}^N\left(y_i{\mathbf{x}}_i-\frac{e^{{\mathbf{w}}^T{\mathbf{x}}_i}}{1+e^{{\mathbf{w}}^T{\mathbf{x}}_i}}{\mathbf{x}}_i\right)=\sum _{i=1}^N\left(y_i-p(y=1|x)\right){\mathbf{x}}_i$$

无法求解析解

---

2. 梯度下降法（Gradient Descent）求解

算法（梯度下降法求解逻辑回归）
输入： 目标函数：$J(w)$ (对数似然损失函数)，梯度函数： $g(w)=\nabla J(w)$， 计算精度$ϵ$
输出：$J(w)$ 的极小值点 $w\ast$
过程：

• (1) 取初始值 $w_0\in {\mathbf{R}}^{\mathbf{n}}$， 令 $k=0$
• (2) 计算 $J(w_k)$

$$J({\mathbf{w}}_k)=-\frac{1}{N}\ln L({\mathbf{w}}_k)$$

$$\Rightarrow -\ln L({\mathbf{w}}_k)=\sum _{i=1}^N[y_i({\mathbf{w}}_k^T{\mathbf{x}}_i)-\ln (1+e^{{\mathbf{w}}_k^T{\mathbf{x}}_i})]$$

• (3) 计算梯度 $g_k=g(w_k)=\nabla J(w)$

$$g(w_k)=\sum _{i=1}^N\left(y_i{\mathbf{x}}_i-\frac{e^{{\mathbf{w}}_k^T{\mathbf{x}}_i}}{1+e^{{\mathbf{w}}_k^T{\mathbf{x}}_i}}{\mathbf{x}}_i\right)$$

$$=\sum _{i=1}^N\left(y_i-p(y=1|x)\right){\mathbf{x}}_i$$

若 $||gk||<ϵ||gk||<ϵ$ ，停止迭代，令

$$w^{\ast }=w_k$$

否则，令 $p_k=-g(w_k)$，求 ${\lambda }_k$λ，使得

$$J(w_k+{\lambda }_k{p}_k)=\min (J(w_k+\lambda p_k))$$

• (4) 令 $w_{k+1}=w_k+{\lambda }_k{p}_k$，计算 $J(wk+1)$
  当$||J(w_{k+1})-J(w_k)||<ϵ$ 或 $||w_{k+1}-w_k||<ϵ$，停止迭代，令

$$w^{\ast }=w_{k+1}$$

• (5) 否则，令$k=k+1$，转(3).

---

3. 正则化

当模型的参数过多时，很容易遇到过拟合的问题。而正则化是结构风险最小化的一种实现方式，通过在经验风险上加一个正则化项，来惩罚过大的参数来防止过拟合。

正则化是符合奥卡姆剃刀(Occam’s razor)原理的：在所有可能选择的模型中，能够很好地解释已知数据并且十分简单的才是最好的模型。

详见参考文献[2]中“逻辑回归的正则化”

---

参考文献

[1]. 李航，《统计学习方法》
[2]. Logistic Regression 的前世今生（理论篇）
[3]. 机器学习算法与Python实践之（七）逻辑回归（Logistic Regression）
[4]. 对数损失函数是如何度量损失的？