第三章模型建立和评估笔记

第三章 模型搭建和评估–建模

经过前面的两章的知识点的学习，我可以对数数据的本身进行处理，比如数据本身的增删查补，还可以做必要的清洗工作。那么下面我们就要开始使用我们前面处理好的数据了。这一章我们要做的就是使用数据，我们做数据分析的目的也就是，运用我们的数据以及结合我的业务来得到某些我们需要知道的结果。那么分析的第一步就是建模，搭建一个预测模型或者其他模型；我们从这个模型的到结果之后，我们要分析我的模型是不是足够的可靠，那我就需要评估这个模型。今天我们学习建模，下一节我们学习评估。

我们拥有的泰坦尼克号的数据集，那么我们这次的目的就是，完成泰坦尼克号存活预测这个任务。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from IPython.display import Image

%matplotlib inline

#plt.rcParams[] pylot使用rc配置文件来自定义图形的各种默认属性，称之为rc配置或rc参数。通过rc参数可以修改默认的属性，包括窗体大小、每英寸的点数等。
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
plt.rcParams['figure.figsize'] = (10, 6)  # 设置输出图片大小

载入这些库，如果缺少某些库，请安装他们

【思考】这些库的作用是什么呢？你需要查一查

#思考题回答
Numpy是Python的一个科学计算的库，提供了矩阵运算的功能，其一般与Scipy、matplotlib一起使用。用它来存储和处理大型矩阵.

Pandas是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，
提供了高效地操作大型数据集所需的工具。最具有统计意味的工具包.
Pandas功能掌握：
汇总和计算描述统计，处理缺失数据 ，层次化索引
清理、转换、合并、重塑、GroupBy技术
日期和时间数据类型及工具（日期处理方便地飞起）

scipy包包含致力于科学计算中常见问题的各个工具箱。它的不同子模块相应于不同的应用。像插值，积分，优化，图像处理，，特殊函数等等。
scipy是Python中科学计算程序的核心包;它用于有效地计算numpy矩阵，来让numpy和scipy协同工作.

Matplotlib:Python中最著名的绘图系统
Matplotlib功能掌握:
散点图，折线图，条形图，直方图，饼状图，箱形图的绘制。
绘图的三大系统：pyplot，pylab(不推荐)，面向对象
坐标轴的调整，添加文字注释，区域填充，及特殊图形patches的使用

虽然Matplotlib很强大，它本身就很复杂，你的图经过大量的调整才能变精致。因此，作为替代，我推荐你一开始使用Seaborn。Seaborn本质上使用Matplotlib作为核心库（就像Pandas对NumPy一样）
Seaborn功能:
默认情况下就能创建赏心悦目的图表。（只有一点，默认不是jet colormap）
创建具有统计意义的图
能理解pandas的DataFrame类型，所以它们一起可以很好地工作。

ipython 是一个 python 的交互式 shell，比默认的python shell 好用得多，支持变量自动补全，自动缩进，支持 bash shell 命令，内置了许多很有用的功能和函数。
from IPython.display import Image使用Ipython绘图

%matplotlib inline  #在notebook中启动静态图像

载入我们提供清洗之后的数据(clear_data.csv)，大家也将原始数据载入（train.csv），说说他们有什么不同

#写入代码
train = pd.read_csv('train.csv')
train.shape

(891, 12)

#写入代码

train.head(2)

	PassengerId	Survived	Pclass	Name	Sex	Age	SibSp	Parch	Ticket	Fare	Cabin	Embarked
0	1	0	3	Braund, Mr. Owen Harris	male	22.0	1	0	A/5 21171	7.2500	NaN	S
1	2	1	1	Cumings, Mrs. John Bradley (Florence Briggs Th...	female	38.0	1	0	PC 17599	71.2833	C85	C

#写入代码

#读取清洗过的数据集
data = pd.read_csv('clear_data.csv')
data.shape

(891, 11)

data.head(2)

	PassengerId	Pclass	Age	SibSp	Parch	Fare	Sex_female	Sex_male	Embarked_C	Embarked_Q	Embarked_S
0	0	3	22.0	1	0	7.2500	0	1	0	0	1
1	1	1	38.0	1	0	71.2833	1	0	1	0	0

清洗后的数据按照EMbark等级、sex编码为one-hot形式，且没有survived这个目标属性，也没有其他非数值型属性，使用PassengerId作为样本唯一属性标注

模型搭建

• 处理完前面的数据我们就得到建模数据，下一步是选择合适模型
• 在进行模型选择之前我们需要先知道数据集最终是进行监督学习还是无监督学习
• 模型的选择一方面是通过我们的任务来决定的。
• 除了根据我们任务来选择模型外，还可以根据数据样本量以及特征的稀疏性来决定
• 刚开始我们总是先尝试使用一个基本的模型来作为其baseline，进而再训练其他模型做对比，最终选择泛化能力或性能比较好的模型

这里我的建模，并不是从零开始，自己一个人完成完成所有代码的编译。我们这里使用一个机器学习最常用的一个库（sklearn）来完成我们的模型的搭建

下面给出sklearn的算法选择路径，供大家参考

# sklearn模型算法选择路径图
Image('sklearn.png')

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZaY5L5fs-1626789183541)(output_19_0.png)]

【思考】数据集哪些差异会导致模型在拟合数据是发生变化

#思考回答
数据集的数据量，有无label标签，特征数量，数据集的train/validation的百分比
样本的不同划分方式会导致模型评估的相应结果也会有差别，如果我们把正样本进行了排序，那么在排序后的样本中采样与未排序的样本采样得到的结果会有一些不同。

任务一：切割训练集和测试集

这里使用留出法划分数据集

• 将数据集分为自变量和因变量
• 按比例切割训练集和测试集(一般测试集的比例有30%、25%、20%、15%和10%)
• 使用分层抽样
• 设置随机种子以便结果能复现

【思考】

• 划分数据集的方法有哪些？
  对于数据集的划分有三种方法：留出法，交叉验证法和自助法
  1.留出法 是直接将数据集 D 划分为两个互斥的集合，其中一个集合作为训练集 S，另一个作为测试集 T；
  2.k折交叉验证：通常将数据集 D 分为 k 份，其中的 k-1 份作为训练集，剩余的那一份作为测试集，这样就可以获得 k 组训练/测试集，可以进行 k 次训练与测试，最终返回的是 k 个测试结果的均值。这里数据集的划分依然是依据 分层采样 的方式来进行。

留出法与交叉验证法都是使用 分层采样 的方式进行数据采样与划分，而自助法则是使用 有放回重复采样 的方式进行数据采样
3.自助法：我们每次从数据集D中取一个样本作为训练集中的元素，然后把该样本放回，重复该行为 m 次，这样我们就可以得到大小为m的训练集，在这里面有的样本重复出现，有的样本则没有出现过，我们把那些没有出现过的样本作为测试集。

• 为什么使用分层抽样，这样的好处有什么？
  在划分的时候要尽可能保证数据分布的一致性，即避免因数据划分过程引入额外的偏差而对最终结果产生影响。
  为了保证数据分布的一致性，通常我们采用 分层采样 的方式来对数据进行采样。
  因此通常我们都会进行多次随机划分、重复进行实验评估后取平均值作为留出法的评估结果。

任务提示1

• 切割数据集是为了后续能评估模型泛化能力
• sklearn中切割数据集的方法为train_test_split
• 查看函数文档可以在jupyter noteboo里面使用train_test_split?后回车即可看到
• 分层和随机种子在参数里寻找

要从clear_data.csv和train.csv中提取train_test_split()所需的参数

#写入代码
from sklearn.model_selection import train_test_split
train_test_split?

train_split(*arrays, test_size, train_size, random_state, shuffle, stratify)
3）参数介绍：
a. *arrays
b. test_size: 测试集占总数据集的比例，默认为0.25
c. train_size: 训练集占总数据集的比例，默认为None，表示总体数据集除去测试集的部分
d. random_state: （其他参数都相同时）只有设为1时，每次运行时划分的测试集与训练集都一样；设为0或不设置，每次划分的都不一样。
e. shuffle：boolean类型，默认为True，表示在切割数据集之前是否要打乱数据。当shuffle=False时，stratify必须为None。
f. stratify: 默认为None，当值不是None时，代表数据集会以一种分层的方式被切割。

#写入代码
X = data
y = train['Survived']

#写入代码
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)

#写入代码
X_train.shape, X_test.shape

((668, 11), (223, 11))

【思考】

• 什么情况下切割数据集的时候不用进行随机选取

#思考回答

在数据集本身已经是随机处理之后的,或者说数据集非常大,内部已经足够随机了

任务二：模型创建

• 创建基于线性模型的分类模型（逻辑回归）
• 创建基于树的分类模型（决策树、随机森林）
• 分别使用这些模型进行训练，分别的到训练集和测试集的得分
• 查看模型的参数，并更改参数值，观察模型变化

提示

• 逻辑回归不是回归模型而是分类模型，不要与LinearRegression混淆
• 随机森林其实是决策树集成为了降低决策树过拟合的情况
• 线性模型所在的模块为sklearn.linear_model
• 树模型所在的模块为sklearn.ensemble

#写入代码
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier

#写入代码
lr = LogisticRegression()
lr.fit(X_train, y_train)

D:\Anaconda3\envs\pytor18Py38\lib\site-packages\sklearn\linear_model\_logistic.py:763: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(





LogisticRegression()

#写入代码
print("Training set score: {:.2f}".format(lr.score(X_train, y_train)))
print("Testing set score: {:.2f}".format(lr.score(X_test, y_test)))

Training set score: 0.80
Testing set score: 0.79

#写入代码
# 调整参数后的逻辑回归模型
lr2 = LogisticRegression(C=90)
lr2.fit(X_train, y_train)

D:\Anaconda3\envs\pytor18Py38\lib\site-packages\sklearn\linear_model\_logistic.py:763: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(





LogisticRegression(C=90)

print("Training set score: {:.2f}".format(lr2.score(X_train, y_train)))
print("Testing set score: {:.2f}".format(lr2.score(X_test, y_test)))

Training set score: 0.80
Testing set score: 0.79

# 默认参数的随机森林分类模型
rfc = RandomForestClassifier()
rfc.fit(X_train, y_train)

RandomForestClassifier()

print("Training set score: {:.2f}".format(rfc.score(X_train, y_train)))
print("Testing set score: {:.2f}".format(rfc.score(X_test, y_test)))

Training set score: 1.00
Testing set score: 0.81

# 调整参数后的随机森林分类模型
rfc2 = RandomForestClassifier(n_estimators=100, max_depth=5)
rfc2.fit(X_train, y_train)
print("Training set score: {:.2f}".format(rfc2.score(X_train, y_train)))
print("Testing set score: {:.2f}".format(rfc2.score(X_test, y_test)))

Training set score: 0.87
Testing set score: 0.81

【思考】

• 为什么线性模型可以进行分类任务，背后是怎么的数学关系
• 对于多分类问题，线性模型是怎么进行分类的

#思考回答
为什么线性模型可以进行分类任务，背后是怎么的数学关系？
线性回归是采用超平面来拟合所有的训练数据，基本思想是在空间中构造一个合理的超平面，把空间区域划分为两个子空间，每一种类别都在平面的某一侧。

对于多分类问题，线性模型是怎么进行分类的
该算法一般采用的是Softmax函数：它可以将输入数据压缩到0到1的范围内，得到的结果是多个概率值，通过这个数值，可以查看输入数据分别属于哪一类的概率。

任务三：输出模型预测结果

• 输出模型预测分类标签
• 输出不同分类标签的预测概率

提示3

• 一般监督模型在sklearn里面有个predict能输出预测标签，predict_proba则可以输出标签概率

#写入代码
pred = lr.predict(X_train)
pred[:5]

array([0, 1, 1, 1, 0], dtype=int64)

#写入代码
# 预测标签概率
pred_proba = lr.predict_proba(X_train)
pred_proba[:5]

array([[0.60511379, 0.39488621],
       [0.18288429, 0.81711571],
       [0.41315123, 0.58684877],
       [0.19319452, 0.80680548],
       [0.87898834, 0.12101166]])

【思考】

• 预测标签的概率对我们有什么帮助

#思考回答
可以帮助我们更显性的体现出种类的具体类别，方便查看

第三章 模型搭建和评估-评估

根据之前的模型的建模，我们知道如何运用sklearn这个库来完成建模，以及我们知道了的数据集的划分等等操作。那么一个模型我们怎么知道它好不好用呢？以至于我们能不能放心的使用模型给我的结果呢？那么今天的学习的评估，就会很有帮助。

加载下面的库

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from IPython.display import Image
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier

%matplotlib inline

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
plt.rcParams['figure.figsize'] = (10, 6)  # 设置输出图片大小

任务：加载数据并分割测试集和训练集

#写入代码
from sklearn.model_selection import train_test_split

#写入代码
data = pd.read_csv('clear_data.csv')
train = pd.read_csv('train.csv')
X = data
y = train['Survived']

#写入代码
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)

#写入代码
lr = LogisticRegression()
lr.fit(X_train, y_train)

D:\Anaconda3\envs\pytor18Py38\lib\site-packages\sklearn\linear_model\_logistic.py:763: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(





LogisticRegression()

模型评估

• 模型评估是为了知道模型的泛化能力。
• 交叉验证（cross-validation）是一种评估泛化性能的统计学方法，它比单次划分训练集和测试集的方法更加稳定、全面。
• 在交叉验证中，数据被多次划分，并且需要训练多个模型。
• 最常用的交叉验证是 k 折交叉验证（k-fold cross-validation），其中 k 是由用户指定的数字，通常取 5 或 10。
• 准确率（precision）度量的是被预测为正例的样本中有多少是真正的正例
• 召回率（recall）度量的是正类样本中有多少被预测为正类
• f-分数是准确率与召回率的调和平均

【思考】：将上面的概念进一步的理解，大家可以做一下总结

#思考回答：

模型选择(Model Selection): 针对某个具体的任务, 通常会有多种模型可供选择, 对同一个模型也会有多组参数, 可以通过分析,
评估模型的泛化误差, 选择泛化误差最小的模型。
评估思路: 通过实验测试, 对模型的泛化误差进行评估, 选出泛化差最小的模型, 待测试数据集全集未知, 使用测试集进行泛化测试, 测试误差(Testing Error)即为泛化误差的近似.
留出法(Hold-out): 将已知数据集分成两个互斥的部分, 其中一部分用来训练模型, 另一部分用来测试模型, 评估其误差, 作为泛化差的估计。
交叉验证法(Cross Validation): 将数据集划分为k个大小相似的互斥的数据子集, 子集数据尽可能保证数据分布的一致性；
自助法(Bootstrapping):是一种产生样本的抽样方法, 其实质是有放回的随机抽样, 即从已知数据集中随机抽取一条记录, 然后将该记录放入测试集同时放回原数据集, 继续下一次抽样, 直到测试集中的数据条数满足要求. 通过有放回的抽样获得的训练集去训练模型, 不在训练集中的数据(约总数量的1/3)去用于测试, 这样的测试结果被称为包外估计(Out-of-Bag Estimate, OOB)
性能度量(Performance Measure):评价模型泛化能力的标准, 对于不同的模型, 有不同的评价标准, 不同的评价标准将导致不同的评价结果, 模型的好坏是相对的, 取决于对于当前任务需求的完成情况.
Accuracy：准确率，指的是正确预测的样本数占总预测样本数的比值，它不考虑预测的样本是正例还是负例，反映的是模型算法整体性能。

Precision：精确率，指的是正确预测的正样本数占所有预测为正样本的数量的比值，也就是说所有预测为正样本的样本中有多少是真正的正样本，它只关注正样本，这是区别于Accuracy的地方。

Recall：召回率，指的是正确预测的正样本数占真实正样本总数的比值，也就是指能从这些预测样本中能够正确找出多少个正样本。

F1-Score：F1分数，是统计学中用来衡量二分类模型精确度的一种指标，它被定义为精确率和召回率的调和平均数，它的最大值是1，最小值是0
ROC（Receiver Operating Characteristic）：受试者工作特征曲线，其以FPR假阳率为X轴坐标，以TPR真阳率为Y轴坐标，曲线越靠近左上角则说明模型算法性能越好，左上角（0,1）为最理想的情况说明模型性能非常完美，而其对角线对应于“随机猜测”模型的性能。在图像分类图像识别等任务里，模型算法的输出通常为一个预测概率，而我们通常也会设定一个阈值，超过这个阈值则我们就判断为其中的一类，反之预测为另一类。于是，不同的阈值就对应了不同的真阳率和假阳率，从而形成了真阳率和假阳率序列，它们就可以在直角坐标系上通过描点成为光滑曲线，这个曲线就是 ROC 曲线。
AUC（Area Under Curve）：ROC曲线下的面积，因为ROC“随机猜测”模型通常对应于其对角线，因而通常AUC的值范围为0.5~1，其值越大说明模型算法的性能越好，AUC为0.5时模型算法为“随机猜测”，其值为1时说明模型算法达到理想状态。通常我们可以使用sklearn.metrics.auc(fpr, tpr)来求得AUC值。

PRC（Precision-Recall Curve）：精准率-召回率曲线也叫PR曲线，其以Recall为X轴坐标，以Precision为Y轴坐标，通过对模型算法设定不同的阈值会得到不同的precision和recall值，将这些序列绘制到直角坐标系上就得到了PR曲线，PR曲线下的面积为1时则说明模型算法性能最为理想。

以上评估指标大部分用于图像分类图像识别图像分割等等任务中
在目标检测里经常用来评估模型算法性能的指标：
IOU（Intersection over Union）：交并比，指的是ground truth bbox与predict bbox的交集面积占两者并集面积的一个比率，IoU值越大说明预测检测框的模型算法性能越好，通常在目标检测任务里将IoU>=0.7的区域设定为正例（目标），而将IoU<=0.3的区域设定为负例（背景），其余的会丢弃掉。

任务一：交叉验证

• 用10折交叉验证来评估之前的逻辑回归模型
• 计算交叉验证精度的平均值

#提示：交叉验证
Image('Snipaste_2020-01-05_16-37-56.png')

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-79PyO2iS-1626789183552)(output_16_0.png)]

提示4

• 交叉验证在sklearn中的模块为sklearn.model_selection

#写入代码
from sklearn.model_selection import cross_val_score

#写入代码
lr = LogisticRegression(C=100)
scores = cross_val_score(lr, X_train, y_train, cv=10)

D:\Anaconda3\envs\pytor18Py38\lib\site-packages\sklearn\linear_model\_logistic.py:763: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(
D:\Anaconda3\envs\pytor18Py38\lib\site-packages\sklearn\linear_model\_logistic.py:763: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(
D:\Anaconda3\envs\pytor18Py38\lib\site-packages\sklearn\linear_model\_logistic.py:763: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(
D:\Anaconda3\envs\pytor18Py38\lib\site-packages\sklearn\linear_model\_logistic.py:763: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(
D:\Anaconda3\envs\pytor18Py38\lib\site-packages\sklearn\linear_model\_logistic.py:763: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(
D:\Anaconda3\envs\pytor18Py38\lib\site-packages\sklearn\linear_model\_logistic.py:763: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(
D:\Anaconda3\envs\pytor18Py38\lib\site-packages\sklearn\linear_model\_logistic.py:763: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(
D:\Anaconda3\envs\pytor18Py38\lib\site-packages\sklearn\linear_model\_logistic.py:763: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(
D:\Anaconda3\envs\pytor18Py38\lib\site-packages\sklearn\linear_model\_logistic.py:763: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(
D:\Anaconda3\envs\pytor18Py38\lib\site-packages\sklearn\linear_model\_logistic.py:763: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(

#写入代码
# k折交叉验证分数
scores

array([0.82089552, 0.74626866, 0.74626866, 0.79104478, 0.86567164,
       0.8358209 , 0.76119403, 0.8358209 , 0.74242424, 0.6969697 ])

#写入代码
# 平均交叉验证分数
print("平均交叉验证分数: {:.2f}".format(scores.mean()))

平均交叉验证分数: 0.78

思考4

• k折越多的情况下会带来什么样的影响？

#思考回答
当数据量不够大的时候，如果把所有的数据都用于训练模型容易导致模型过拟合。通过交叉验证对数据的划分+对评估结果的整合，
我们可以“有效”的降低模型选择中的方差。换句话说，我们期望模型在训练集的多个子数据集上表现良好，
这胜过单单在整个训练数据集上表现良好。简单来说，交叉验证也可以用方差偏差分解的思路来看，从某个角度和集成学习及bootstrapping也有相似点。
K值其实还是一种方差和偏差之间妥协。K=10或者5并不能给与我们绝对的保障，这还要结合所使用的模型来看。
当模型稳定性较低时，增大K的取值可以给出更好的结果。
相对而言，较大的K值的交叉验证结果倾向于更好。但同时也要考虑较大K值的计算开销。

另一个交叉验证需要关注的点是，当你的数据集太小时，较小的K值会导致可用于建模的数据量太小，所以小数据集的交叉验证结果需要格外注意。建议选择较大的K值。

任务二：混淆矩阵

• 计算二分类问题的混淆矩阵
• 计算精确率、召回率以及f-分数

【思考】什么是二分类问题的混淆矩阵，理解这个概念，知道它主要是运算到什么任务中的

#思考回答
为了解决不平衡数据的问题，确定一个适合业务的截断点，评价二分类模型性能时引入了混淆矩阵的概念。
在这个大概念中有FP和FN两类错误，这两类错误在实际业务中的影响不同，为了量化这两类错误，我们使用Precision/Recall和TPR/FPR两大类评价体系。在Precision/Recall中引出了F1的指标和PR曲线。在TPR/FPR中衍生出ROC曲线和洛伦兹曲线。
用二分类模型的时候肯定都曾经遇到过一个问题，拿训练好的模型来做预测时，所有标签都会被预测成一个类别出现这个问题的一个很重要原因是训练样本的,不均衡性。这时就可以使用混淆矩阵。

#提示：混淆矩阵
Image('Snipaste_2020-01-05_16-38-26.png')

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c5Jxaxne-1626789183561)(output_27_0.png)]

#提示：准确率 (Accuracy),精确度（Precision）,Recall,f-分数计算方法
Image('Snipaste_2020-01-05_16-39-27.png')

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PAtaRumc-1626789183573)(output_28_0.png)]

提示5

• 混淆矩阵的方法在sklearn中的sklearn.metrics模块
• 混淆矩阵需要输入真实标签和预测标签
• 精确率、召回率以及f-分数可使用classification_report模块

#写入代码
from sklearn.metrics import confusion_matrix

#写入代码
lr = LogisticRegression(C=100)
lr.fit(X_train, y_train)

D:\Anaconda3\envs\pytor18Py38\lib\site-packages\sklearn\linear_model\_logistic.py:763: ConvergenceWarning: lbfgs failed to converge (status=1):
STOP: TOTAL NO. of ITERATIONS REACHED LIMIT.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
    https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
  n_iter_i = _check_optimize_result(





LogisticRegression(C=100)

#写入代码
pred = lr.predict(X_train)

#写入代码
confusion_matrix(y_train, pred)

array([[354,  58],
       [ 82, 174]], dtype=int64)

from sklearn.metrics import classification_report
# 精确率、召回率以及f1-score
print(classification_report(y_train, pred))

              precision    recall  f1-score   support

           0       0.81      0.86      0.83       412
           1       0.75      0.68      0.71       256

    accuracy                           0.79       668
   macro avg       0.78      0.77      0.77       668
weighted avg       0.79      0.79      0.79       668

【思考】

• 如果自己实现混淆矩阵的时候该注意什么问题

#思考回答

混淆矩阵就是一张表，展示预测值各类归对、归错的个数。所以对于这其中的什么是正确的，什么是错误的要计划设计好

任务三：ROC曲线

• 绘制ROC曲线

【思考】什么是OCR曲线，OCR曲线的存在是为了解决什么问题？

#思考
ROC（Receiver Operating Characteristic）：受试者工作特征曲线，其以FPR假阳率为X轴坐标，以TPR真阳率为Y轴坐标，
曲线越靠近左上角则说明模型算法性能越好，左上角（0,1）为最理想的情况说明模型性能非常完美，而其对角线对应于“随机猜测”模型的性能。
在图像分类图像识别等任务里，模型算法的输出通常为一个预测概率，而我们通常也会设定一个阈值，
超过这个阈值则我们就判断为其中的一类，反之预测为另一类。于是，不同的阈值就对应了不同的真阳率和假阳率，
从而形成了真阳率和假阳率序列，它们就可以在直角坐标系上通过描点成为光滑曲线，这个曲线就是 ROC 曲线。

提示6

• ROC曲线在sklearn中的模块为sklearn.metrics
• ROC曲线下面所包围的面积越大越好

#写入代码
from sklearn.metrics import roc_curve

#写入代码
fpr, tpr, thresholds = roc_curve(y_test, lr.decision_function(X_test))
plt.plot(fpr, tpr, label="ROC Curve")
plt.xlabel("FPR")
plt.ylabel("TPR (recall)")
# 找到最接近于0的阈值
close_zero = np.argmin(np.abs(thresholds))
plt.plot(fpr[close_zero], tpr[close_zero], 'o', markersize=10, label="threshold zero", fillstyle="none", c='k', mew=2)
plt.legend(loc=4)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rQDsiWeo-1626789183584)(output_42_1.png)]

思考6

• 对于多分类问题如何绘制ROC曲线

#思考回答
ROC曲线通常用于二分类以研究分类器的输出。为了将ROC曲线和ROC区域扩展到多类或多标签分类，有必要对输出进行二值化。
⑴可以每个标签绘制一条ROC曲线。
⑵也可以通过将标签指示符矩阵的每个元素视为二元预测（微平均）来绘制ROC曲线。
⑶另一种用于多类别分类的评估方法是宏观平均，它对每个标签的分类给予相同的权重。

【思考】你能从这条OCR曲线的到什么信息？这些信息可以做什么？

#思考回答

Receiver Operating Characteristic Curve是利用Classification模型真正率（True Positive Rate）和假正率（False Positive Rate）作为坐标轴，
图形化表示分类方法的准确率的高低。