逻辑斯蒂回归原理及梯度下降法python实现

逻辑斯蒂回归

回归与分类的转换

• 回归：学习得到一个函数将输入变量映射到连续输出空间，即值域是连续空间
• 分类：学习得到一个函数将输入变量映射到离散输出空间，即值域是离散空间

回顾感知机

感知机模型用一个超平面$w\cdot x+b=0$将实例点二分成两个类别$+1$和$-1$

其最终分类的函数为
$$f(x)=sign(w\cdot x+b)$$
其中
$$sign(x)=\{\begin{array}{rl}+1,& x>=0\\ -1,& x<0\end{array}\text{\hspace{1em}(2)}$$
则输入经过$w\cdot x+b$得到连续输出的过程是回归过程，将回归结果使用$sign$函数转换成离散值实现了分类

所以感知机其实是一种由回归到分类得模型，而逻辑斯蒂回归与感知机一样，都是由回归到分类的转换

感知机的问题

通过感知机模型可以发现，感知机最后输出的结果只有$1$和$-1$，也就是两个类别，这是比较绝对的

即使在超平面两边非常相近地两个点，感知机也觉他们就是完全不同类的

如果最后能输出分到某个类别的置信程度，再根据置信程度大小将其分到该类别，则能解决绝对的问题

这当然不是直接输出$w\cdot x+b$的值，该回归值的范围太大了，为$(-\infty ,+\infty )$，可以考虑将其映射到一个更小的范围

感知机的缺陷

观察感知机模型$f(x)=sign(w\cdot x+b)$可知，最终得到的预测函数$f(x)$是间断的，非连续的，在$w\cdot x+b=0$处是不可微的，所以在感知机利用损失函数求参数$w$时，需要脱去$sign$考虑$w\cdot x+b$

能否找到一个更好的连续可微模型代替感知机呢？逻辑斯蒂回归就较好地弥补了感知机的缺陷

$sigmoid$函数

$sigmoid$函数以及其图像如下

由$sigmoid$函数我们可以观察到

• 其定义域$(-\infty ,+\infty )$，值域为(0，1)，连续可微

• 当输入$x\to -\infty$时，$S(x)\to 0$

• 当$x\to +\infty$，$S(x)\to 1$

若将感知机中回归结果$w\cdot x+b$带入$sigmoid$函数如下
$$S(w\cdot x+b)=\frac{e^{w\cdot x+b}}{1+e^{w\cdot x+b}}$$

其有如下特点

• $w\cdot x+b\in (-\infty ,+\infty )$
• 当$w\cdot x+b>0$时，$S(w\cdot x+b)>0.5$
• 当$w\cdot x+b=0$时，$S(w\cdot x+b)=0.5$
• 当$w\cdot x+b<0$时，$S(w\cdot x+b)<0.5$

在感知机中，当$w\cdot x+b>0$时，$sign$的输出直接为其分类$+1$；而在$sigmoid$函数中，输出为一个值$S(w\cdot x+b)>0.5$

在感知机中，当$w\cdot x+b<0$时，$sign$的输出直接为其分类$-1$；而在$sigmoid$函数中，输出为一个值$S(w\cdot x+b)<0.5$

则考虑能否将$S(w\cdot x+b)$表示为给定输入$x$被分类为$+1$的概率$P(Y=+1|x)$，当概率大于0.5时，将$x$分类为$+1$；当概率小于0.5时候，将$x$分类为$-1$

根据这个想法便可以利用连续的$sigmod$函数代替间断的$sign$函数；最终输出的是分类到某个类的概率，避免了绝对的输出；并且也得到了我们想要的置信度

$w\cdot x+b$越接近$+\infty$，$P(Y=+1|x)$越接近$1$，则将$x$分类到$+1$的可信程度越大，应将其分到+1类

从超平面划分理解，$w\cdot x+b$距离$0$越大，该实例越远离超平面，其越应被分类到某个类

逻辑斯蒂回归就是这样做的，但是其思想过程并不是上面所述，上述只是个人理解

二项逻辑斯蒂回归模型

二项即二分类

定义

二项逻辑斯蒂分布输入$x\in R^n$，输出$Y\in \{0,1\}$；

类别名称无所谓，可以把这里的1看作感知机中的正类，把$0$看作感知机中的负类

与感知机类似，$w\in R^n$和$b\in R^n$为参数，前者为权值向量，后者为偏置

其为如下的条件概率分布：
$$\begin{array}{rl}P(Y=1|x)& =\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)}\\ P(Y=0|x)& =\frac{1}{1+exp(w\cdot x+b)}\end{array}$$
对于给定输入$x$，根据上述式子可以求得$x$为某类的概率，将实例分到结果较大(二分类时为结果大于$0.5$)的类

特点

1. 在逻辑斯蒂回归模型中，输出$Y=1$的对数几率是输入$x$的线性函数

   一个事件的几率是指该事件发生的额概率与该事件不发生的概率的比值

   如果事件发生的概率是$p$，那么该事件的几率是$\frac{p}{1-p}$

   则该事件的对数几率($logi$t函数)是
   $$logit(p)=log\frac{p}{1-p}$$

   对于逻辑斯蒂回归
   $$log\frac{P(Y=1|X)}{1-P(Y=1|x)}=w\cdot x+b$$
   所以说，输出$Y=1$的对数几率是输入$x$的线性函数

2. 将线性函数转换成概率，即逻辑斯蒂回归模型

   观察逻辑斯蒂回归模型，可以看到其将$w\cdot x+b$转换成了概率$P(Y=1|x)$
   $$P(Y=1|x)=\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)}$$

   这时，线性函数的值越接近正无穷，概率值越接近1，其越应该被分到该类；反之，线性函数的值越接近负无穷，概率值就越接近$0$，其越不应该分到该类

   跟介绍$sigmoid$函数时我理解的类似

模型的参数估计

逻辑斯蒂回归模型学习时，对于给定的训练数据集$T=\{(x_1,y_1),(x_1,y_1),...(x_N,y_N)\}$，其中$x_i\in R^n$，$y_i\in \{0,1\}$，此时需要推出模型中的参数$w,b$

对于概率模型，可以使用极大似然估计法估计参数

极大似然估计思想不难，B站学一下就好，博主也是现学的$qaq$

参数估计

记
$$\begin{array}{rl}P(Y=1|x)& =\pi (x)\\ P(Y=0|x)& =1-\pi (x)\end{array}$$
将概率公式合并为
$$P(x)=[\pi (x){]}^y[1-\pi (x){]}^{1-y}$$
对数据集求似然函数有
$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$
对数似然函数为
$$\begin{array}{rl}L(w,b)& =log\{\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}\}\\ & =\sum _{i=1}^N[y_{i}log\pi (x_i)+(1-y)log(1-\pi (x_i))]\\ & =\sum _{i=1}^N[y_{i}log\frac{\pi (x_i)}{1-\pi (x_i)}+log(1-\pi (x_i))]\\ & =\sum _{i=1}^N[y_i(w\cdot x_i+b)-log(1+exp(w\cdot x_i+b))]\end{array}$$

求$L(w,b)$的极大值即可得到$w,b$的估计值

则最终问题变成了求以对数似然函数为目标函数的最优化问题

逻辑斯蒂回归通常采用梯度下降法及牛顿法

感知机是以损失函数为目标函数，而逻辑斯蒂回归是以似然函数为目标函数

但最终对目标函数最优的求法都可以用梯度下降

最终模型

假设$w,b$的极大似然估计值是$\hat{w},\hat{b}$，那么最终学习到的逻辑斯蒂回归模型为
$$\begin{array}{rl}P(Y=1|x)& =\frac{exp(\hat{w}\cdot x+\hat{b})}{1+exp(\hat{w}\cdot x+\hat{b})}\\ P(Y=0|x)& =\frac{1}{1+exp(\hat{w}\cdot x+\hat{b})}\end{array}$$

梯度下降法求解极大似然估计值

求解极大似然估计值即求解在$L(w,b)$极大的情况下，参数$w,b$的值，这里使用梯度下降法求解

并且由于梯度下降法是求极小值，这里将原函数取反
$$L(w,b)=-\sum _{i=1}^N[y_i(w\cdot x_i+b)-log(1+exp(w\cdot x_i+b))]$$
$L(w,b)$对$w$求偏导有
$$\begin{array}{rl}\frac{\partial L(w,b)}{\partial w}& =-\sum _{i=1}^N[y_i{x}_i-\frac{x_i[exp(w\cdot x+b)]}{1+exp(w\cdot x_i+b)}]\\ & =-\sum _{i=1}^N[y_i{x}_i-\frac{x_i}{1+exp[-(w\cdot x_i+b)]}]\\ & =\sum _{i=1}^N[S(w\cdot x_i+b)-y_i]x_i\end{array}$$

S为$sgmoid$函数

$L(w,b)$对$b$求偏导有
$$\begin{array}{rl}\frac{\partial L(w,b)}{\partial b}& =-\sum _{i=1}^N[y_i{x}_i-\frac{exp(w\cdot x+b)}{1+exp(w\cdot x_i+b)}]\\ & =-\sum _{i=1}^N[y_i-\frac{1}{1+exp[-(w\cdot x_i+b)]}]\\ & =\sum _{i=1}^N[S(w\cdot x_i+b)-y_i]\end{array}$$
则在梯度下降迭代的过程中，先初始化$w$和$b$，在迭代过程中通过上述两个梯度不断更新$w$和$b$，设每次更新的步长为$\eta$，共迭代$T$次，每次迭代过程如下
$$\begin{array}{rl}{w}^{t+1}& =w^t-\eta \cdot \sum _{i=1}^N[S(w\cdot x_i+b)-y_i]x_i\\ b^{t+1}& =b^t-\eta \cdot \sum _{i=1}^N[S(w\cdot x_i+b)-y_i]\end{array}$$
随得到了梯度下降的方法，但是上面还有几个不清楚的地方

• $w$和$b$如何初始值？

  许多情况下是随机初始化$w$和$b$，当然如果根据经验比较清楚$w$和$b$可能的最优解，也可以将$w$和$b$初始在可能的最优解附近

• 步长$\eta$如何选取？

  如果选取的值比较大，那么可能短时间内能达到最优解，但是过大的$\eta$可能让函数达不到最优解(每次刚好从最优解附近跨过去了)，甚至会脱离最优解的范畴。

  所以一般先取个比较大的$\eta$，随着迭代，$\eta$满满变小，所以上述迭代可换为
  $$\begin{array}{rl}{w}^{t+1}& =w^t-{\eta }_t\cdot \sum _{i=1}^N[S(w\cdot x_i+b)-y_i]x_i\\ b^{t+1}& =b^t-{\eta }_t\cdot \sum _{i=1}^N[S(w\cdot x_i+b)-y_i]\end{array}$$

• 什么时候迭代停止?

  停止的方式很多

  1. 两次迭代的目标函数差别过小停止
     $$|L^t(w,b)-L^{t+1}(w,b)|<\epsilon$$

  2. 两次迭代参数的变化过小
     $$\begin{array}{rl}|w^t-w^{t+1}|& <\epsilon \\ |b^t-b^{t+1}|& <\epsilon \end{array}$$

  3. 验证数据集

     每次迭代得到的模型用验证数据集验证准确性，准确性不再上升即可停止

  4. 收敛法

     如果算法收敛，那么迭代一定次数后会收敛到极大值

随机梯度下降法-梯度下降改进

观察梯度下降法的下降过程
$$\begin{array}{rl}{w}^{t+1}& =w^t-{\eta }_t\cdot \sum _{i=1}^N[S(w\cdot x_i+b)-y_i]x_i\\ b^{t+1}& =b^t-{\eta }_t\cdot \sum _{i=1}^N[S(w\cdot x_i+b)-y_i]\end{array}$$
可以发现，在$T$次迭代中，每次迭代需要计算$N$个样本的值才进行一次梯度更新，当$N$比较大的时候算法比较低效

所以可以将上述迭代再进行拆分，在每次迭代$t$中，进行$N$次遍历，用每个样本点对参数进行梯度进行更新，这样每次迭代梯度更新$N$次，提高了效率
$$\begin{array}{rl}{w}^{new}& =w^{old}-{\eta }_t\cdot [S(w\cdot x_i+b)-y_i]x_i\\ b^{new}& =b^{old}-{\eta }_t\cdot [S(w\cdot x_i+b)-y_i]\end{array}$$

但由于是使用每个样本点更新，噪声对迭代的影响会被增大，此时$\eta$可适当减小

随机梯度下降算法求解极大似然估计值算法描述

• **输入：**数据集$T=\{(x_1，y_1),(x_2,y_2),..,(x_N,y_N)\}$

• 输出：$w,b$

• 过程：

  1. 选取参数初始值$w_0,b_0$，初始步长${\eta }_0$，最大大迭代次数$T$

  2. 每次迭代，随机遍历$N$个样本(对长度为$N$的下标数组随机排序)

  3. 每次遍历使用第$i$个样本点更新参数
     $$\begin{array}{rl}{w}^{new}& =w^{old}-{\eta }_t\cdot [S(w\cdot x_i+b)-y_i]x_i\\ b^{new}& =b^{old}-{\eta }_t\cdot [S(w\cdot x_i+b)-y_i]\end{array}$$

  4. 回到2.

  利用收敛性停止

python实现

Github

import math
import random
from math import exp
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split


class LR:
    def __init__(self, values, labels):
        values = list(values)
        labels = list(labels)
        # 借助一下sklearn分割数据
        self.x_train, self.test_x, self.y_train, self.test_y = train_test_split(values, labels, test_size=0.3)

        self.w = np.zeros(len(values[0]))
        self.b = 0
        self.T = 200  # 最大迭代次数
        self.eta = 0.01
        self.correct_rate = 0
        self.train()

    '''训练模型，求出参数w,b'''

    def train(self):
        index = list(range(len(self.x_train)))  # 遍历下标
        stop = False
        for t in range(self.T):
            if stop:
                break
            # 遍历下标每次打乱
            random.shuffle(index)
            for i in index:
                self.w = self.w - np.dot(
                    self.eta * (self.sigmoid(np.dot(self.w, self.x_train[i]) + self.b) - self.y_train[i]),
                    self.x_train[i])

                self.b = self.b - self.eta * (self.sigmoid(np.dot(self.w, self.x_train[i]) + self.b) - self.y_train[i])
                
                self.correct_rate = self.cal_correct_rate()
        print('模型训练结果为w={0},b={1}\n验证数据集准确率:{2}'.format(self.w, self.b, self.cal_correct_rate()))

    '''
    计算验证数据集的准确率
    :return 验证数据集预测准确性
    '''

    def cal_correct_rate(self):
        res_y = self.predict(self.test_x)
        right_len = 0
        test_len = len(self.test_x)
        for i in range(test_len):
            if res_y[i] == self.test_y[i]:
                right_len += 1
        return right_len * 1.0 / test_len

    '''
    预测实例类别
    :param values: 实例点集合
    :return: 1|0 实例点的分类
    '''

    def predict(self, values):
        values = list(values)
        res = []
        for i in range(len(values)):
            val = self.sigmoid((np.dot(self.w, values[i]) + self.b))
            if val > 0.5:
                res.append(1)
            else:
                res.append(0)
        return res

    '''sigmoid函数'''

    def sigmoid(self, x):

        return 1.0 / (1.0 + exp(-x))


if __name__ == '__main__':
    df = pd.DataFrame(pd.read_csv('data/LR_data', encoding='utf-8'))
    features = df.columns[:-1].values
    data = df.values
    values = data[:, :-1]
    labels = data[:, -1]

    lr = LR(values, labels)

数据集有点那啥所以拟合得比较好

模型训练结果为w=[-0.61107666 -2.15003769  3.3198986   1.45485017],b=-0.40464274755118707
验证数据集准确率:1.0

Process finished with exit code 0