逻辑回归介绍

逻辑回归介绍

学习目标

• 了解逻辑回归的应用场景
• 知道逻辑回归的原理
• 掌握逻辑回归的损失函数和优化方案

---

逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际中应用非常广泛。

1 逻辑回归的应用场景

• 广告点击率
• 是否为垃圾邮件
• 是否患病
• 金融诈骗
• 虚假账号

看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器

2 逻辑回归的原理

要想掌握逻辑回归，必须掌握两点：

• 逻辑回归中，其输入值是什么
• 如何判断逻辑回归的输出

2.1 输入

$$h(w)=w_1{x}_1+w_2{x}_2+w_3{x}_3+,\cdots ,+b$$

逻辑回归的输入就是一个线性回归的结果。

2.2 激活函数

• sigmoid函数
  $$g(w^T,x)=\frac{1}{1+e^{-h(w)}}=\frac{1}{1+e^{-w^{T}x}}$$

• 判断标准

  • 回归的结果输入到sigmoid函数当中
  • 输出结果：[0, 1]区间中的一个概率值，默认为0.5为阈值

逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为1(正例),另外的一个类别会标记为0(反例)。（方便损失计算）

输出结果解释(重要)：假设有两个类别A，B，并且假设我们的概率值为属于A(1)这个类别的概率值。现在有一个样本的输入到逻辑回归输出结果0.55，那么这个概率值超过0.5，意味着我们训练或者预测的结果就是A(1)类别。那么反之，如果得出结果为0.3那么，训练或者预测结果就为B(0)类别。

关于逻辑回归的阈值是可以进行改变的，比如上面举例中，如果你把阈值设置为0.6，那么输出的结果0.55，就属于B类。

在之前，我们用均方误差来衡量线性回归的损失

在逻辑回归中，当预测结果不对的时候，我们该怎么衡量其损失呢？

我们来看下图(下图中，设置阈值为0.6)，

那么如何去衡量逻辑回归的预测结果与真实结果的差异呢？

3 损失以及优化

3.1 损失

逻辑回归的损失，称之为对数似然损失，公式如下：

• 分开类别：

$$cost(h_{\theta }(x),y)=\{\begin{array}{ll}-\log (h_{\theta }(x)),& \text{if y=1 }\\ -\log (1-h_{\theta }(x)),& \text{if y=0}\end{array}$$

其中y为真实值，$$h_{\theta }(x)$$为预测值

怎么理解单个的式子呢？这个要根据log的函数图像来理解

无论何时，我们都希望损失函数值，越小越好

分情况讨论，对应的损失函数值：

• 当y=1时，我们希望$$h_{\theta }(x)$$值越大越好；

• 当y=0时，我们希望$$h_{\theta }(x)$$值越小越好

• 综合完整损失函数

$$cost(h_{\theta }(x),y)=\sum _{i=1}^m-y_i\log (h_{\theta }(x))-(1-y_i)\log (1-h_{\theta }(x))$$

接下来我们呢就带入上面那个例子来计算一遍，就能理解意义了。

我们已经知道，-log§, P值越大，结果越小，所以我们可以对着这个损失的式子去分析

3.2 优化

同样使用梯度下降优化算法，去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数，提升原本属于1类别的概率，降低原本是0类别的概率。

---

4 小结

• 逻辑回归概念【知道】
  • 解决的是一个二分类问题
  • 逻辑回归的输入是线性回归的输出
• 逻辑回归的原理【掌握】
  • 输入：
    • 线性回归的输出
  • 激活函数
    • sigmoid函数
    • 把整体的值映射到[0,1]
    • 再设置一个阈值，进行分类判断
• 逻辑回归的损失和优化【掌握】
  • 损失
    • 对数似然损失
    • 借助了log思想，进行完成
    • 真实值等于0，等于1两种情况进行划分
  • 优化
    • 提升原本属于1类别的概率，降低原本是0类别的概率。

3.2 逻辑回归案例

学习目标

• 知道逻辑回归api的用法
• 通过肿瘤预测案例，学会如何使用逻辑回归对模型进行训练

---

1 逻辑回归的API

• sklearn.linear_model.LogisticRegression(solver=‘lbfgs’, penalty=‘l2’, C = 1.0)
  • solver可选参数:{‘liblinear’, ‘sag’, ‘saga’,‘newton-cg’, ‘lbfgs’}，
    • 默认: ‘lbfgs’；用于优化问题的算法。
    • 对于小数据集来说，“liblinear”是个不错的选择，而“sag”和’saga’对于大型数据集会更快。
    • 对于多分类问题，只有’newton-cg’， ‘sag’， 'saga’和’lbfgs’可以处理多项损失;“liblinear”仅限于“one-versus-rest”分类。
  • penalty：正则化的种类
  • C：正则化力度

默认将类别数量少的当做正例

LogisticRegression方法相当于 SGDClassifier(loss=“log”, penalty=" "),SGDClassifier实现了一个普通的随机梯度下降学习。而使用LogisticRegression(实现了SAG)

2 逻辑回归案例

2.1 背景介绍

• 数据介绍

原始数据的下载地址：https://archive.ics.uci.edu/ml/machine-learning-databases/

数据描述

（1）699条样本，共11列数据，第一列用语检索的id，后9列分别是与肿瘤

相关的医学特征，最后一列表示肿瘤类型的数值。

（2）包含16个缺失值，用”?”标出。

2.2 案例分析

1.获取数据
2.基本数据处理
2.1 缺失值处理
2.2 确定特征值,目标值
2.3 分割数据
3.特征工程(标准化)
4.机器学习(逻辑回归)
5.模型评估

2.3 代码实现

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

# 1.获取数据
names = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape',
                   'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin',
                   'Normal Nucleoli', 'Mitoses', 'Class']

data = pd.read_csv("https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",
                  names=names)
data.head()

# 2.基本数据处理
# 2.1 加载数据时指定特殊缺失值
data = pd.read_csv("https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",names=names,na_values='?')
# 处理缺失值
data = data.dropna()

# 2.2 确定特征值,目标值
x = data.iloc[:, 1:10]
x.head()
y = data["Class"]
y.head()

# 2.3 分割数据
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)

# 3.特征工程(标准化)
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)

# 4.机器学习(逻辑回归)
estimator = LogisticRegression()
estimator.fit(x_train, y_train)

# 5.模型评估
y_predict = estimator.predict(x_test)
y_predict
estimator.score(x_test, y_test)

在很多分类场景当中我们不一定只关注预测的准确率！！！！！

比如以这个癌症举例子！！！我们并不关注预测的准确率，而是关注在所有的样本当中，癌症患者有没有被全部预测（检测）出来。

---

小结

• 逻辑回归的API sklearn.linear_model.LogisticRegression
• 肿瘤预测案例实现【知道】
  • 如果数据中有缺失值，一定要对其进行处理
  • 准确率并不是衡量分类正确的唯一标准

3.3 分类评估方法

学习目标

• 了解什么是混淆矩阵
• 知道分类评估中的精确率和召回率
• 知道roc曲线和auc指标

---

1.分类评估方法

1.1 精确率与召回率

1.1.1 混淆矩阵

在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)

1.1.2 精确率(Precision)与召回率(Recall)

• 精确率：预测结果为正例样本中真实为正例的比例（了解）

• 召回率：真实为正例的样本中预测结果为正例的比例（查得全，对正样本的区分能力）

• 举例:

  	预测正例	预测假例
  正例(阳性)	18	2
  假例(阴性)	4	76

1.2 F1-score

还有其他的评估标准，F1-score，反映了模型的稳健性
$$F1=\frac{2TP}{2TP+FN+FP}=\frac{2\cdot Precision\cdot Recall}{Precision+Recall}$$

---

1.3 分类评估报告api

• sklearn.metrics.classification_report(y_true, y_pred, labels=[], target_names=None )
• • y_true：真实目标值
  • y_pred：估计器预测目标值
  • labels:指定类别对应的数字
  • target_names：目标类别名称
  • return：每个类别精确率与召回率

ret = classification_report(y_test, y_predict, labels=[2,4], target_names=("良性", "恶性"))
print(ret)

假设这样一个情况，如果99个样本癌症，1个样本非癌症，不管怎样我全都预测正例(默认癌症为正例),准确率就为99%但是这样效果并不好，这就是样本不均衡下的评估问题

问题：如何衡量样本不均衡下的评估？

2 ROC曲线与AUC指标

2.1 TPR与FPR

• 真阳性率 $$TPR=\frac{TP}{(TP+FN)}$$
  • 所有真实类别为1的样本中，预测类别为1的比例
• 假阳性率 $$FPR=\frac{FP}{(FP+TN)}$$
  • 所有真实类别为0的样本中，预测类别为1的比例

2.2 ROC曲线

• ROC曲线的横轴就是FPRate，纵轴就是TPRate，当二者相等时，表示的意义则是：对于不论真实类别是1还是0的样本，分类器预测为1的概率是相等的，此时AUC为0.5。在一个二分类模型中，假设采用逻辑回归分类器，其给出针对每个实例为正例的概率，那么通过设定一个阈值如0.6，概率大于等于0.6的为正例，小于0.6的为负例。对应的就可以算出一组(FPR,TPR)，在平面中得到对应坐标点。随着阈值的逐渐减小，越来越多的实例被划分为正例，但是这些正例中同样也掺杂着真正的负实例，即TPR和FPR会同时增大。阈值最大时，对应坐标点为(0,0)，即把所有样本都预测为负例，TP和FP都为0，对应的TPR和FPR为0；阈值最小时，对应坐标点(1,1)，即把所有样本都预测为正例，FN和TN都为0，对应的TPR和FPR为1。

2.3 AUC指标

• AUC的概率意义是随机取一对正负样本，正样本得分大于负样本得分的概率
• AUC的范围在[0.5, 1]之间，并且越接近1越好，越接近0.5属于乱猜
• AUC=1，完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
• 0.5

2.4 AUC计算API

• from sklearn.metrics import roc_auc_score
  • sklearn.metrics.roc_auc_score(y_true, y_score)
    • 计算ROC曲线面积，即AUC值
    • y_true：每个样本的真实类别，必须为0(反例),1(正例)标记
    • y_score：预测得分，可以是正例的估计概率、置信值或者分类器方法的返回值

from sklearn.metrics import roc_auc_score
# 0.5~1之间，越接近于1约好
y_test = np.where(y_test > 2.5, 1, 0)

print("AUC指标：", roc_auc_score(y_test, y_predict))

• AUC只能用来评价二分类
• AUC非常适合评价样本不平衡中的分类器性能

---

3 小结

• 混淆矩阵【了解】
  • 真正例（TP）
  • 伪反例（FN）
  • 伪正例（FP）
  • 真反例（TN）
• 精确率(Precision)与召回率(Recall)【知道】
  • 准确率：（对不对）
    • (TP+TN)/(TP+TN+FN+FP)
  • 精确率 – 查的准不准
    • TP/(TP+FP)
  • 召回率 – 查的全不全
    • TP/(TP+FN)
  • F1-score
    • 反映模型的稳健性
• roc曲线和auc指标【知道】
  • roc曲线
    • 通过tpr和fpr来进行图形绘制，然后绘制之后，行成一个指标auc
  • auc
    • 越接近1，效果越好
    • 越接近0.5，效果越差
  • 注意：
    • 这个指标主要用于评价不平衡的二分类问题

3.4 逻辑回归应用-分类分析

学习目标

• 知道分类算法的具体应用场景

1 分类算法应用概述

• 分类算法通过对已知类别训练集的计算和分析，从中发现类别规则并预测新数据的类别。分类和回归是解决实际运营问题中非常重要的两种分析和挖掘方法。
• 分类的主要用途和场景是“预测”，基于已有的样本预测新样本的所属类别
  • 例如信用评级、风险等级、欺诈预测等
• 分类算法也可以用于知识抽取，通过模型找到潜在的规律，帮助业务得到可执行的规则。

2 案例 电信客户流失预测

• 案例简介
  • AT&T数据，用户个人，通话，上网等信息数据
  • 充分利用数据预测客户的流失情况
  • 帮助挽留用户，保证用户基数和活跃程度
• 数据说明
  • CustomerID 客户ID
  • Gender 性别
  • partneratt 配偶是否也为att用户
  • dependents_att 家人是否也是att用户
  • landline 是否使用att固话服务
  • internet_att/internet_other 是否使用att的互联网服务
  • Paymentbank/creditcard/electroinc 付款方式
  • MonthlyCharges 每月话费
  • TotalCharges 累计话费
  • Contract_month/1year 用户使用月度/年度合约
  • StreamingTv/streamingMovies 是否使用在线视频或者电影app
  • Churn 客户转化的flag
• 处理流程
  • 分析流程：数据概况分析->单变量分析->可视化->回归模型
    • 数据概况分析
      • 数据行/列数量
      • 缺失值分布
    • 单变量分析
      • 数字型变量的描述指标（平均值，最大最小值，标准差）
      • 类别型变量（多少个分类，各自占比）
      • 正负样本占比
    • 相关性分析与可视化
      • 按类别交叉对比
      • 变量之间的相关性分析
      • 散点图/热力图
    • 逻辑回归分析
      • 模型建立
      • 模型评估与优化
• 代码

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# 加载数据集
churn=pd.read_csv('data/churn.csv')
churn.info()

  RangeIndex: 7043 entries, 0 to 7042
  Data columns (total 16 columns):
  Churn                7043 non-null object
  gender               7043 non-null object
  Partner_att          7043 non-null int64
  Dependents_att       7043 non-null int64
  landline             7043 non-null int64
  internet_att         7043 non-null int64
  internet_other       7043 non-null int64
  StreamingTV          7043 non-null int64
  StreamingMovies      7043 non-null int64
  Contract_Month       7043 non-null int64
  Contract_1YR         7043 non-null int64
  PaymentBank          7043 non-null int64
  PaymentCreditcard    7043 non-null int64
  PaymentElectronic    7043 non-null int64
  MonthlyCharges       7043 non-null float64
  TotalCharges         7043 non-null float64
  dtypes: float64(2), int64(12), object(2)
  memory usage: 880.5+ KB

#预测目标是churn这一列，是类别型变量  gender也是类别型变量 需要对类别型变量进行处理
churn.head()

    Churn  gender  Partner_att  Dependents_att  landline  internet_att  
  0    No  Female            1               0         0             1   
  1    No    Male            0               0         1             1   
  2   Yes    Male            0               0         1             1   
  3    No    Male            0               0         0             1   
  4   Yes  Female            0               0         1             0   

     internet_other  StreamingTV  StreamingMovies  Contract_Month  Contract_1YR  
  0               0            0                0               1             0   
  1               0            0                0               0             1   
  2               0            0                0               1             0   
  3               0            0                0               0             1   
  4               1            0                0               1             0   

     PaymentBank  PaymentCreditcard  PaymentElectronic  MonthlyCharges  
  0            0                  0                  1           29.85   
  1            0                  0                  0           56.95   
  2            0                  0                  0           53.85   
  3            1                  0                  0           42.30   
  4            0                  0                  1           70.70   

     TotalCharges  
  0         29.85  
  1       1889.50  
  2        108.15  
  3       1840.75  
  4        151.65  

#需要把churn和gender转变为数字型变量,使用get_dummies
churn=pd.get_dummies(churn)
churn.head()

     Churn_No  Churn_Yes  gender_Female  gender_Male  
  0         1          0              1            0  
  1         1          0              0            1  
  2         0          1              0            1  
  3         1          0              0            1  
  4         0          1              1            0  

#数据整理，将churn_yes保留，将female保留,drop不需要的数据
churn.drop(['Churn_No','gender_Male'],axis=1,inplace=True)
#变量大小写不规则，统一变成小写
churn.columns=churn.columns.str.lower()
churn.head()

     churn_yes  gender_female  
  0          0              1  
  1          0              0  
  2          1              0  
  3          0              0  
  4          1              1  

#将churn_yes重命名，方便后续的变量编写
churn=churn.rename(columns={
     'churn_yes':'flag'})
#二分类模型，分析flag 1和0的占比
churn.flag.value_counts()

  0    5174
  1    1869
  Name: flag, dtype: int64

churn.flag.value_counts(1)

  0    0.73463
  1    0.26537
  Name: flag, dtype: float64

summary=churn.groupby('flag').mean()
summary

        partner_att  dependents_att  landline  internet_att  internet_other  
  flag                                                                        
  0        0.528218        0.344801  0.901044      0.379204        0.347700   
  1        0.357945        0.174425  0.909042      0.245586        0.693954   

        streamingtv  streamingmovies  contract_month  contract_1yr  paymentbank  
  flag                                                                            
  0        0.365868         0.369927        0.429068      0.252609     0.248550   
  1        0.435527         0.437667        0.885500      0.088818     0.138042   

        paymentcreditcard  paymentelectronic  monthlycharges  totalcharges  
  flag                                                                       
  0              0.249324           0.250097       61.265124   2545.918081   
  1              0.124131           0.573034       74.441332   1528.514714   

        gender_female  
  flag                 
  0          0.492656  
  1          0.502408  

• 观察flag在0和1的情况下，所有自变量的差别 internet_other变量，在0的分组中，均值是0.35，在1的分组中，均值是0.69。数据显示如果使用别的公司的互联网，用户流失的概率就越高

sns.countplot(y='contract_month',hue='flag',data=churn)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FMtObKrb-1632877119947)(./images/plt_lr.png)]

• 结论：contract_month为1的客户流失的概率更高，即与非按月付费客户相比，按月付费客户流失比例高
• 逻辑回归模型

#设定因变量与自变量， y 是 flag, x 根据刚才的相关分析挑选contract_month,internet_other与streamingtv
#自变量可以分为几类，partner/dependents,internet,streaming，contract,payment,charges，后续大家可以自己挑选进行建模
y=churn['flag']
x=churn[['contract_month','internet_other','streamingtv']]

#调用sklearn模块，随机抽取训练集与测试集
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3,random_state=100)

# 训练模型
from sklearn import linear_model
lr=linear_model.LogisticRegression()
lr.fit(x_train,y_train)
"""
  LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,
            intercept_scaling=1, max_iter=100, multi_class='ovr', n_jobs=1,
            penalty='l2', random_state=None, solver='liblinear', tol=0.0001,
            verbose=0, warm_start=False)
"""

# 打印截距和回归系数
lr.intercept_
lr.coef_
#array([-3.25029156])
#array([[2.2229613 , 1.15089043, 0.24559832]])

# 模型预测
y_pred=lr.predict(x_test)

from sklearn.metrics import accuracy_score,roc_auc_score
# 准确率
accuracy_score(y_test,y_pred)
# 0.7453857075248462
# auc
roc_auc_score(y_test, y_pred)
# 0.7006333927971842

• 模型优化

# 模型优化，streamingtv调整为paymentelectronic
y=churn['flag']
x=churn[['contract_month','internet_other','paymentelectronic']]

#调用sklearn模块，随机抽取训练集与测试集
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3,random_state=100)

# 训练模型
from sklearn import linear_model
lr=linear_model.LogisticRegression()
lr.fit(x_train,y_train)
"""
LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,
                   intercept_scaling=1, l1_ratio=None, max_iter=100,
                   multi_class='auto', n_jobs=None, penalty='l2',
                   random_state=None, solver='lbfgs', tol=0.0001, verbose=0,
                   warm_start=False)
"""

# 打印截距和回归系数
lr.intercept_
lr.coef_
# array([-3.21842661])
# array([[2.01264249, 1.05076404, 0.64248053]])

# 模型预测
y_pred2=lr.predict(x_test)

from sklearn.metrics import accuracy_score,roc_auc_score
# 准确率
accuracy_score(y_test,y_pred2)
# 0.7624230951254141
# auc
roc_auc_score(y_test, y_pred2)
# 0.6472872378089588

• 模型第二次优化

#设定因变量与自变量， y 是 flag, x 根据刚才的相关分析挑选contract_month,internet_other与streamingtv
#自变量可以分为几类，partner/dependents,internet,streaming，contract,payment,charges，后续大家可以自己挑选进行建模
y=churn['flag']
x=churn[['contract_month','internet_other','streamingtv']]

#调用sklearn模块，随机抽取训练集与测试集
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.5,random_state=100)

# 训练模型
from sklearn import linear_model
lr=linear_model.LogisticRegression()
lr.fit(x_train,y_train)

"""
  LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,
            intercept_scaling=1, max_iter=100, multi_class='ovr', n_jobs=1,
            penalty='l2', random_state=None, solver='liblinear', tol=0.0001,
            verbose=0, warm_start=False)
"""

# 打印截距和回归系数
lr.intercept_
lr.coef_
#array([-3.30856389])
#array([[2.27519364, 1.10284586, 0.338975]])

# 模型预测
y_pred3=lr.predict(x_test)

from sklearn.metrics import accuracy_score,roc_auc_score
# 准确率
accuracy_score(y_test,y_pred3)
# 0.7558205565019875
# auc
roc_auc_score(y_test, y_pred3)
# 0.7120179726460277

• 用分类分析来提炼规则、提取变量、处理缺失值
  • 分类分析用于提炼应用规则
    预测是分类分析的主要应用方向，但将分类用于提炼应用规则，为数据化运营提供规则支持也是其重点应用之一，这种应用相对于其他算法更加具有落地价值。常见的应用场景如下：
    • 要针对沉默会员做会员重新激活，应该挑选具有什么特征的会员？(预测是否为沉默会员,提取相应的特征)
    • 网站需要大流量广告位来满足VIP商家的精准广告投放，具有哪些特征的广告位更符合VIP商家的客户需求？
  • 分类分析用于提取变量特征
    • 具体实现思路是：获取原始数据集并对数据做预处理，将预处理的数据集放到分类算法中进行训练，然后从算法模型中提取特征权重信息。
  • 分类分析用于处理缺失值
    • 预测男女性别
    • 预测用户是否流失