第2.1章：逻辑回归（Logistic Regression）_原理推导&参数求解&模型评估

文中样本数为$m$，特征数为$n$，$y^{(i)}$为第$i$组样本的标记值（真实值），$X_i$为第$i$组样本的特征值，$x_i$表示第$i$个变量（特征），同理$x_n^{(m)}$表示第$m$个样本的第$n$个特征。

来源

Lecture_02

本章视频

03_数据分析处理库-Pandas、04_数据可视化库-Matplotlib、08_逻辑回归算法、09_案例实战：Python实现逻辑回归与梯度下降策略、10_项目实战：交易数据异常检测

一、逻辑回归算法原理推导

1.概述

• 逻辑回归是一个经典的二分类算法，属于分类问题。
• 一般处理分类问题的基本套路：优先考虑简单一些的逻辑回归，先看看效果。然后根据结果，考虑用别的复杂一些的算法优化。再比较一下，差不多的话还是选择逻辑回归。
• 关于逻辑回归，可以用一句话来总结：逻辑回归假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。
• 利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。

2.引入sigmoid函数

为什么要引入？

前面介绍过线性回归模型，那么在线性回归模型的基础上，是否可以实现一个预测因变量是离散数据类型的模型呢？一开始可能会想到阶跃函数：$$\varphi (z)=\{\begin{array}{ll}0,& \text{ if }z<0\\ 0.5,& \text{ if }z=0\\ 1,& \text{ if }z>0\end{array}$$但由于其非凸、不光滑、不连续不可微的特点，使得算法很难对该函数进行优化。相对的，sigmoid函数：$$\varphi (z)=\frac{1}{1+e^{-z}}$$光滑、无限阶可导，以及完美的映射到概率空间，使其成为了一个更好的选择。

关于sigmiod函数

下图即为sigmoid函数的图形：
　　　　　　　　　　　　　
有以下几个特性：

1. 中间范围内函数斜率最大，对应$\varphi (z)$的大部分数值变化。
2. 自变量取值从负无穷到正无穷，值域为（0,1），也就是将输入映射到（0,1）的一个函数，实现了数值与概率的转化。特别地，当 Z=0 时，$\varphi (z)$=0.5。

3.假设函数

• 为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有的结果值相加，将这个总和代入Sigmoid函数中，进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分入1类，小于0.5即被归入0类。所以，Logistic回归也可以被看成是一种概率估计。
• 这里讨论的都是二元分类，由此，逻辑回归的假设函数为：$$h_{\theta }(x)=\varphi \left({\theta }^{T}X\right)=\frac{1}{1+e^{-\left({\theta }^{T}X\right)}}(01)$$ $$其中{\theta }^{T}X=\sum _{i=0}^n{\theta }_i{x}_i={\theta }_0{x}_0+{\theta }_1{x}_1+......+{\theta }_n{x}_n，x_0=1$$

决策边界（参数的几何意义）

• 实际使用中，我们会对所有输出结果进行排序，然后结合业务来决定出一个阈值。 假设我们得出阈值为0.5，那么：$$当h_{\theta }(x)\ge 0.5时，预测y=1；当h_{\theta }(x)<0.5时，预测y=0$$
• 根据上面的sigmoid函数，当 Z=0 时，$\varphi (z)$=0.5，我们可以推出：$${\theta }^{T}X\ge 0时，预测y=1；{\theta }^{T}X<0时，预测y=0$$
• 用个例子来表示这个推论的几何意义（参数决定决策边界的形状）：
  假设有下图这么一个模型，$g(z)=\frac{1}{1+e^{-z}}$，我们得出阈值为0.5，参数${\theta }_0=-3,{\theta }_1=1,{\theta }_2=1$
  　　　　　　　　　　　
  $则-3+x_1+x_2\ge 0时，即x_1+x_2\ge 3时，模型将预测y=1。于是我们可以绘制直线x_1+x_2=3，这条线就是我们模型的分界线，将预测为1的区域和预测为0的区域分隔开。$
  　　　　　　　　　　　　　　　　　

关于假设函数的意义

• 和线性回归模型类似，逻辑回归也有假设条件：
  （1）假设数据服从伯努利分布
  （2）假设模型的输出值是：样本为正例的概率
  基于这两个假设，我们可以分别得出类别为1和0的后验概率估计：$$\begin{array}{c}P(y=1|x,\theta )=h_{\theta }(x)，P(y=0|x,\theta )=1-h_{\theta }(x)\end{array}$$整合之后：$$P(y|x;\theta )={\left(h_{\theta }(x)\right)}^y{\left(1-h_{\theta }(x)\right)}^{1-y}(02)$$
• 综上所述，假设函数求得就是：在给定了特征$x$和参数$\theta$后，真实值$y=1$的可能性，这个值是介于0到1的一个概率值。所以函数值越大，也就意味着$y=1$的概率越大，函数值越小，则$y=0$的概率越大。例如：如果对于给定的$X$，通过已经确定的参数计算得出$h_{\theta }(x)=0.7$，则表示有70%的几率$y=1$，即正向类，相应地$y$为负向类的几率为1-0.7=0.3。

逻辑回归也是广义线性模型

除了上面的表现形式，我们也可以用另外一种形式来表达二元逻辑回归模型。将上面模型简单地进行变化：$$h_{\theta }(x)=y=\frac{1}{1+e^{-\left({\theta }^{T}X\right)}}\Rightarrow \ln \left(\frac{y}{1-y}\right)={\theta }^{T}X$$ 根据广义线性模型的定义，逻辑回归模型是联系函数为$g(y)=\ln \left(\frac{y}{1-y}\right)$的广义线性模型

• 公式中，$y$可以理解为样本$X$为正例的概率，而$1-y$则可以理解为样本$X$为负例时的概率。二者的比值$y/(1-y)$被称为“odds”，即“几率”，反映了$X$作为正例的相对可能性，对几率取对数就得到了线性回归模型了。上式其实是在用线性回归模型的预测结果去逼近真实标记的对数几率。所以该模型也被称作“对数几率回归”。

4.似然函数

• 假设函数有了之后，下面就是确定参数$\theta$的值，这里采用“极大似然法”来进行估计：
  给定数据集${\left\{\left(X_i,y^{(i)}\right)\right\}}_{i=1}^m$，我们自然希望对于每个样本，属于其真实标记的概率越大越好。结合假设函数的意义，即：样本标记为1时，对应的$h_{\theta }(x)$越大越好；样本标记为0时，对应的$1-h_{\theta }(x)$越大越好。
• 综上所述，取似然函数：$$L(\theta )=\prod _{i=1}^{m}P\left(y^{(i)}|X_i;\theta \right)=\prod _{i=1}^m{\left(h_{\theta }\left(x_i\right)\right)}^{y_i}{\left(1-h_{\theta }\left(x_i\right)\right)}^{1-y_i}\Rightarrow max(03)$$

5.目标函数（损失函数）

• 等式（03）为连乘积的形式不好求最大值，考虑取对数后单调性不变，得到对数似然函数：$$l(\theta )=\log L(\theta )=\sum _{i=1}^m\left(y^{(i)}\log h_{\theta }\left(x_i\right)+\left(1-y^{(i)}\right)\log \left(1-h_{\theta }\left(x_i\right)\right)\right)\Rightarrow max$$ 在这里，我们取目标函数为：$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\log \left(h_{\theta }\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\right)\log \left(1-h_{\theta }\left(x^{(i)}\right)\right)\right]\Rightarrow min(04)$$
• 注：（1）乘一个$1/m$是为了让“利用100组样本计算出的$J(\theta )$”与“利用10000组样本计算出的$J(\theta )$”具有可比性，因此统一除一个$m$
  　　（2）添一个负号是为了将求最大值的问题，变成求最小值的问题，后续可用梯度下降算法求参数$\theta$。当然了，也可以不加负号，后续用梯度上升求最大值也是一样的。

目标函数向量化

$$J(\theta )=-\frac{1}{m}\left[Y^T\cdot log\left(X\cdot \theta \right)+\left(1-Y^T\right)\cdot log\left(1-X\cdot \theta \right)\right]\Rightarrow min(05)$$

6.逻辑回归的优缺点

• 优点：

1. 直接对分类可能性进行建模，无需假设数据分布，这样就避免了假设分布不准确所带来的问题。
2. 形式简单，模型的可解释性非常好，特征的权重可以看到不同的特征对最后结果的影响。
3. 除了类别，还能得到近似概率预测，这对许多需利用概率辅助决策的任务很有用。

• 缺点：

1. 准确率不是很高，因为形势非常的简单，很难去拟合数据的真实分布。
2. 本身无法筛选特征。

二、梯度下降法求解参数

代数法

• 对损失函数求最小值，这里采用梯度下降法（样本数为m，特征数为n），将(01)式代入(04)有：$$\begin{array}{rl}J(\theta )& =-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\log \left(\frac{1}{1+e^{-{\theta }^T{X}_i}}\right)+\left(1-y^{(i)}\right)\log \left(1-\frac{1}{1+e^{-{\theta }^T{X}_i}}\right)\right]\\ & =-\frac{1}{m}\sum _{i=1}^m\left[-y^{(i)}\log \left(1+e^{-{\theta }^T{X}_i}\right)-\left(1-y^{(i)}\right)\log \left(1+e^{{\theta }^T{X}_i}\right)\right]\end{array}$$
• 对目标函数求导：$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J(\theta )& =-\frac{1}{m}\sum _{i=1}^m\left[-y^{(i)}\frac{-x_j^{(i)}{e}^{-{\theta }^T{X}_i}}{1+e^{-{\theta }^T{X}_i}}-\left(1-y^{(i)}\right)\frac{x_j^{(i)}{e}^{{\theta }^T{X}_i}}{1+e^{{\theta }^T{X}_i}}\right]\\ & =-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\frac{x_j^{(i)}}{1+e^{{\theta }^T{X}_i}}-\left(1-y^{(i)}\right)\frac{x_j^{(i)}{e}^{{\theta }^T{X}_i}}{1+e^{{\theta }^T{X}_i}}\right]\\ & =-\frac{1}{m}\sum _{i=1}^m\frac{y^{(i)}{x}_j^{(i)}-x_j^{(i)}{e}^{{\theta }^T{X}_i}+y^{(i)}{x}_j^{(i)}{e}^{{\theta }^T{X}_i}}{1+e^{{\theta }^T{X}_i}}\\ & =-\frac{1}{m}\sum _{i=1}^m\frac{y^{(i)}\left(1+e^{{\theta }^T{X}_i}\right)-e^{{\theta }^T{X}_i}}{1+e^{{\theta }^T{X}_i}}{x}_j^{(i)}\\ & =-\frac{1}{m}\sum _{i=1}^m\left(y^{(i)}-\frac{e^{{\mathbf{\theta }}^T{X}_i}}{1+e^{{\mathbf{\theta }}^T{X}_i}}\right)x_j^{(i)}\\ & =-\frac{1}{m}\sum _{i=1}^m\left(y^{(i)}-\frac{1}{1+e^{-{\mathbf{\theta }}^T{X}_i}}\right)x_j^{(i)}\\ & =-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}-h_{\theta }\left(x^{(i)}\right)\right]x_j^{(i)}\\ & =\frac{1}{m}\sum _{i=1}^m\left[h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right]x_j^{(i)}\end{array}$$
• 重复迭代：$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)x_j^{(i)}，其中j=0,1,...,n（06）$$

迭代公式向量化（vectorization)

上面的循环式的迭代公式太麻烦了，可以尝试将迭代公式向量化。参考内容

• 将样本$X$、标记$Y$ 以及参数 $\theta$表示成矩阵的形式：

$X=\left[\begin{array}{cccc}{x}_0^{(1)}& x_1^{(1)}& \cdots & x_n^{(1)}\\ x_0^{(2)}& x_1^{(2)}& \cdots & x_n^{(2)}\\ \cdots & \cdots & \cdots & \cdots \\ x_0^{(m)}& x_1^{(m)}& \cdots & x_n^{(m)}\end{array}\right]=\left[\begin{array}{cccc}1& x_1^{(1)}& \cdots & x_n^{(1)}\\ 1& x_1^{(2)}& \cdots & x_n^{(2)}\\ \cdots & \cdots & \cdots & \cdots \\ 1& x_1^{(m)}& \cdots & x_n^{(m)}\end{array}\right]$ ， $Y=\left[\begin{array}{l}{y}^{(1)}\\ y^{(2)}\\ \cdots \\ y^{(m)}\end{array}\right]$ ， $\theta =\left[\begin{array}{l}{\theta }_0\\ {\theta }_1\\ \cdots \\ {\theta }_n\end{array}\right]$

• 将$X$与$\theta$的乘积记为$A_{m\ast 1}$，则有：$$A=Ｘ\cdot \theta =\left[\begin{array}{cccc}{x}_0^{(1)}& x_1^{(1)}& \cdots & x_n^{(1)}\\ x_0^{(2)}& x_1^{(2)}& \cdots & x_n^{(2)}\\ \cdots & \cdots & \cdots & \cdots \\ x_0^{(m)}& x_1^{(m)}& \cdots & x_n^{(m)}\end{array}\right]\cdot \left[\begin{array}{l}{\theta }_0\\ {\theta }_1\\ \cdots \\ {\theta }_n\end{array}\right]=\left[\begin{array}{c}{\theta }_0{x}_0^{(1)}+{\theta }_1{x}_1^{(1)}+\cdots {\theta }_n{x}_n^{(1)}\\ {\theta }_0{x}_0^{(2)}+{\theta }_1{x}_1^{(2)}+\cdots {\theta }_n{x}_n^{(2)}\\ \cdots \cdots \\ {\theta }_0{x}_0^{(m)}+{\theta }_1{x}_1^{(m)}+\cdots {\theta }_n{x}_n^{(m)}\end{array}\right]=\left[\begin{array}{l}{A}_1\\ A_2\\ \cdots \\ A_m\end{array}\right]$$
• 于是，可以将$h_{\theta }(x)-y$记为 $E_{m\ast 1}$：$$E=\left[\begin{array}{c}g\left(A_1\right)\\ g\left(A_2\right)\\ \cdots \\ g\left(A_m\right)\end{array}\right]-\left[\begin{array}{l}{y}^{(1)}\\ y^{(2)}\\ \cdots \\ y^{(m)}\end{array}\right]=g\left(\left[\begin{array}{c}{A}_1\\ A_2\\ \cdots \\ A_m\end{array}\right]\right)-\left[\begin{array}{l}{y}^{(1)}\\ y^{(2)}\\ \cdots \\ y^{(m)}\end{array}\right]=g\left(Ｘ\cdot \theta \right)-Y=\left[\begin{array}{c}{e}^1\\ e^2\\ \cdots \\ e^m\end{array}\right](07)$$上面的函数$g()$其实就是$g(z)=\frac{1}{1+e^{-z}}$，只不过他的参数是一个$m\ast 1$的矩阵。所以我们可以设计一个函数$g()$，使得传入一个列向量(即矩阵A)，输出结果也是一个列向量，$h_{\theta }(x)-y$便可以一次性得到结果。
• 回到我们的迭代公式（06），当$j=0$时：$$\begin{array}{rl}{\theta }_0:& ={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^i\right)-y^i\right)x_0^i\\ & ={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m{e}^{(i)}{x}_0^{(i)}\\ & ={\theta }_0-\alpha \frac{1}{m}\cdot \left[x_0^{(1)},x_0^{(2)},\cdots ,x_0^{(m)}\right]\cdot E\end{array}$$
• 对于${\theta }_j$同理：$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\cdot \left[x_j^{(1)},x_j^{(2)},\cdots ,x_j^{(m)}\right]\cdot E$$
• 最终，写成矩阵表达式为：$$\left[\begin{array}{l}{\theta }_0\\ {\theta }_1\\ \cdots \\ {\theta }_m\end{array}\right]:=\left[\begin{array}{l}{\theta }_0\\ {\theta }_1\\ \cdots \\ {\theta }_m\end{array}\right]-\alpha \frac{1}{m}\cdot \left[\begin{array}{cccc}{x}_0^{(1)}& x_0^{(2)}& \cdots & x_0^{(m)}\\ x_1^{(1)}& x_1^{(2)}& \cdots & x_1^{(m)}\\ \cdots & \cdots & \cdots & \cdots \\ x_n^{(1)}& x_n^{(2)}& \cdots & x_n^{(m)}\end{array}\right]\cdot E$$
• 综上所述，梯度的向量化表达式为：$$\frac{\partial }{\partial {\theta }_j}J(\theta )=\frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)x_j^{(i)}=\frac{1}{m}\cdot X^T\cdot E$$
• 所以，最终的向量化迭代公式为：$$\theta :=\theta -\alpha \frac{1}{m}\cdot X^T\cdot E(08)$$

几点说明

1. 其实前文已经详细介绍过了梯度下降法，包括：参数和学习率的选择、特征缩放、算法终止条件、三种梯度下降法。链接
2. 虽然得到的梯度下降算法（代数法）表面上看上去与线性回归的梯度下降算法一样，但是这里的$h_{\theta }(x)=\varphi \left({\theta }^{T}X\right)$与线性回归中不同，所以实际上是不一样的。另外，在运行梯度下降算法之前，监测下降过程以保证函数收敛、进行特征缩放依旧是非常必要的。

三、多分类问题

• 解决多分类问题的基本思路是“拆解法”，即将多分类任务拆分为多个二分类任务进行求解。具体来说就是对问题进行拆分，然后为每个拆分出来的二分类任务训练一个分类器，在预测阶段，对这些分类器的结果进行集成并最终获得分类结果。关键问题就是，如何对问题进行拆分，以及如何对多个分类器进行集成。
• 最经典的拆分策略有三种：“一对一”（one vs. one，即OvO），“一堆其余”（one vs. rest，即OvR），“多对多”（many vs. many，即MvM）。假设类别分为A、B、C、D四种：
  1. OvO分类将这四种类别两两配对，分别为AB、AC、AD、BC、BD、CD共六组（若分类为$N$种，则分组数量为$N（N-1）/2$），每一组数据训练一个相应的分类器，分类器将输出正例。预测阶段，将样本传入这六个分类器，将会得到六（$N（N-1）/2$）个输出结果，我们可以将被预测的最多的结果作为分类结果。
  2. OvR分类每次将一个类别作为正例，其余的都归为反例，共分为“A+其他”、“B+其他”、“C+其他”、“D+其他”四组（若分类为$N$种，则分组数量为$N$），共训练出四个分类器，分类器输出“结果为正例”的概率。比较这些概率值，选择最大的概率对应的正例为分类结果（更一般的说法是，考虑各分类器的预测置信度，选择置信度最大的标类作为分类结果）。
     注意：OvR因为是一对多的分类，可能会出现类别不平衡的问题，即正例2个而反例98个这样的情况，处理方法参考《机器学习》第3.6节
  3. 以上两种的对比。显然对于$N$个分类，OvO需要驯练$N（N-1）/2$个分类器，而OvR仅需训练$N$个，因此OvO的存储开销和测试时间开销通常比OvR要大。但在训练过程中，OvR的每个分类器均使用全部样例，而OvO仅用两个类别的样例，因此在类别很多时，OvO的训练时间开销通常比OvR要小。至于预测性能，取决于具体的数据分布，但多数情况下两者差不多。
  4. MvM分类每次将一部分做为正例，一部分作为反例，所以他的正、反类构造需要特殊的设计。常用的技术是“纠错输出码”（Error Correcting Output Codes，简称ECOC），它将编码的思想引入类别的拆分，并尽可能在解码过程中具有容错性。具体内容参考《机器学习》第3.5节。
• 关于多分类问题领域更深入的研究，参考《机器学习》第3.7节，里面提到了一些技术方法和相关文献。

四、模型评估方法

• 模型评估的术语(True/False代表是否判断正确，Positive/Negative代表模型将其判断为正例还是负例)
  1. TP(True Positive):判断正确，且模型判断为正例，即1判为了1
  2. TN(True Negative):判断正确，且模型判断为负例，即0判为了0
  3. FP(False Positive):判断错误，且模型判断为正例，即0判为了1，又叫“存伪”
  4. FN(False Negative):判断错误，且模型判断为负例，即1判为了0，又叫“去真”
• 准确率（Accuracy）=(TP+TN)/(TP+TN+FP+FN)，即“判断正确数量”/“全体样本”
  • 逻辑回归的数据集都是有一个标签的，当我们建立好一个模型后，可以比较预测值和真实的标签值，通过预测正确的比例来评估模型的好坏。一个实战案例----参看6.1
  • 当样本不均衡的时候，这个评估标准有缺陷。比如：1000组数据中990个是正常的人，10个是有癌症的人。如果我们建立的模型将所有的样本都判断为正常，精度就可以达到99%，但是很显然，这个模型是没有意义的，他不能够将有癌症的人检测出来
• 查全率、召回率（Recall）=TP/(TP+FN)，即“将正例正确判断出来的数量”/“样本中的正例”
  • 就上面的那个例子，我们可以考虑用recall（召回率、查全率）来进行评估，这种评估方法是以目标为导向的，常用来对检测类问题进行评估。比如我们希望将癌症病人检测出来，就可以观察癌症病人被检测出来的比例是多少，如果只检测出来了两个就是0.2，召回率越高显然效果就越好。
  • 查全率即：有这么多正例，你找出来了多少个，有没有全找出，查的全不全
• 查准率、精确率（Precision）=TP/(TP+FP)，即“将正例正确判断出来的数量”/“预测为正的数量”
  • 和准确率有点像，准确率考察的是全体样本，查准率则仅在预测为正的样本中进行判断，看有多少是对的
  • 查准率即：你把这些预测为正，有多少是预测对的，预测的准不准
• F1值（H-mean值）: 精确率和召回率的调和平均$$F_1=\frac{2}{\frac{1}{\text{ Precision }}+\frac{1}{\text{ Recall }}}$$
• ROC曲线、AUC值