python画logistic拟合曲线_Python sklearn模板实现Logistic回归算法

在掌握 Logistic 回归的基本原理之后，下面我们通过实战来感受一下这个模型。由于模型的求解过程（如梯度下降法、牛顿法）和正则化流程都被封装在机器学习框架（如 sklearn）之中，所以我们无须为这些底层优化算法费心，这就是利用框架的便利所在。

前面关于 Logistic 回归的理论推导，主要是基于二分类的。下面我们就使用 sklearn 进行二分类的实战。实战使用的数据集是皮马印第安人糖尿病数据集（Pima Indians Diabetes Data Set），

该数据集中包括 442 个患者的生理数据及一年以后的病情发展情况数据。数据集中的特征包括： Pregnancies（怀孕次数）、Glucose（葡萄糖，单位mmol/L）、BloodPressure（血压，单位 mm Hg）、SkinThickness（皮层厚度，单位 mm）、Insulin（胰岛素，餐后2小时血清胰岛素，单位 mu U / ml）、BMI（体重指数，计算公式为（体重/身高）2）、Diabetes Pedigree Function（糖尿病谱系功能）、Age（年龄）。

我们的要预测的目标是，一年后该患者还有没有糖尿病，有（标识为 1）或者没有（标识为 0）显然是一个分类问题。由于用于训练的数据集略有不同，所以我们并不能直接使用 sklearn 提供的内置数据集。比较便捷的方法是，在 Kaggle（一个数据竞赛网站）上下载预处理好的数据集。为了演示方便，我们还是用 Jupyter 来分开解读例 1 的运行流程。

【例 1】Logistic 回归实战（LogisticRegression.py）

1) 导入数据集

首先我们要获取数据，即导入数据集，方法如下。

#导入Pandas

import pandas as pd

#构建属性名称列表

col_names = ['pregnant', 'glucose'; 'bp', 'skin', 'insulin', 'bmi', 'pedigree', 'age', 'label']

#导入数据集

pima = pd.read_csv("diabetes.csv", header=None, names=col_names)

如果我们想对数据集有一个直观的认识，不妨使用 head( ) 显示前 5 行（非必需步骤）。

pima.head()

显示结果如下:

2) 选择特征和目标

由于前 8 个特征（即 data 部分）和第 9 个标签（即 target 部分）同处一个数据集，而 sklearn 需要将它们分开处理，所以下面的工作就是将这二者分割开。在 Pandas 的帮助下，这也是很容易做到的。

#分割特征和标签

feature_cols = ['pregnant', 'insulin', 'bmi', 'age', 'glucose', 'bp', 'pedigree']

X = pima[feature_cols] #提取特征

y = pima.label #提取标签

3) 拆分训练集合和测试集合

下面我们使用 sklearn 中的 train_test_split( ) 函数把数据集一分为二，一部分为测试集，剩余部分为训练集。默认分割比例为一比三，其中 25% 为测试集，75% 为训练集，即 test_size=0.25（这个参数是默认值，如果不需要修改，则可不提供此参数）。

如果设置为其他比例，如 20%，可显式在该函数中设置参数 test_size=0.2。

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test=train_test_split(X, y, test_size=0.2, random_state=0)

4) 模型选择和训练

诸如 Logistic 回归这类经典算法，sklearn 已经帮我们设计好了，一般情况下可拿来即用。

#导入Logistic回归模型

from sklearn.linear_model import LogisticRegression

#创建模型实例

logreg = LogisticRegression(solver= 'newton-cg')

#用数据拟合模型，即训练

logreg.fit(X_train, y_train)

#模型预测

y_pred=logreg.predict(X_test)

这里需要说明的是第 17 行。Logistic 回归对应的目标函数（损失函数）是凸函数，也就是说理论上是有最优解的。这好比，我们攀登一座山峰，峰顶是我们的目标（最优解），但登上峰顶却不止一条道路。快速登上峰顶的方法，就对应机器学习的“优化算法”。

对于如何获得 Logistic 回归的最优解，也是有不同方法的，在 LogisticRegression( ) 函数参数中，对应的 solver（解决方案）共有四个：newton-cg、lbfgs、liblinear、sag。

不同方案适用范围不一样，效率和准确度都有差别，下面简单介绍：

liblinear：使用开源的liblinear库（一种经典的线性分类器）实现，适用于小数据集。

lbfgs：采用拟准牛顿法（quasi-Newton method）实现，利用损失函数二阶导数矩阵，即海森（Hessian）矩阵来迭代优化损失函数。

newton-cg：牛顿迭代法家族中一个变种，采用非线性共轭梯度（conjugate gradient）算法实现，它需要通过事先预处理让各个特征处于同一个尺度之下。

sag：随机平均梯度下降法（stochastic average gradient），属于梯度下降法的变种，和普通梯度下降法的区别是，每次迭代仅用一部分样本来计算梯度，适合用于样本数据多的场景。

5) 评估模型

对于二分类算法，我们可以很容易地用混淆矩阵来评估算法的性能。其中正对角线（TP+TN）是分类正确的样本数。

#import the metrics class

from sklearn import metrics

cnf_matrix = metrics.confusion_mat:rix(y_test, y_pred)

print(cnf_matrix)

程序执行结果为：

[[98 9]

[18 29]

从运行结果可以看出，共 127 个样本（98+29）被正确分类。

当然，我们也可以使用传统的性能指标（如准确率、查准率和查全率）来衡量分类结果。

print ("准确率：{: . 2f}".format(metries.accuracy_score (y_test, y_pred)))

print ("查准率：{: . 2f}".format(metrics.precision_score (y_test, y_pred)))

print ("查全率：{: . 2f}".format(metries.recall_score (y_test, y_pred)))

程序执行结果为：

准确率：0.82

查准率：0.76

查全率：0.62

6) ROC曲线

通过之前的讨论得知，相比于准确率、查准率和查全率而言，ROC曲线有很多优点，经常作为二值分类器性能评估的重要指标之一。AUC 就是 ROC 曲线下的面积总和，该值能够量化反映模型的性能。这两个指标在 sklearn 中也很容易实现。

import matplotlib.pyplot as plt

#为在 Matplotlib 中显示中文，设置特殊字体

plt.reParams['font.sans-serif'] = ['SimHei']

fig = plt.figure(figsize=(9, 6), dpi=100)

ax = fig.add_subplot(111)

y_pred_proba = logreg.predict_proba(X_test) [::, 1]

fpr, tpr, _ = metrics.roc_curve(y_test, y_pred_proba)

auc = metrics.roc_auc_score(y_test, y_pred_proba)

plt.plot(fpr, tpr, label="pima糖尿病, AUC={: . 2f}" .format (auc))

plt.legend(shadow=True, fontsize=13, loc = 4)

plt.show()

程序执行结果为：

图 1：ROC曲线和AUC

从运行结果可以看出，AUC=0.87，这个分类性能还可以接受。