数据分析——泰坦尼克号乘客数据集

数据分析——泰坦尼克号（五）

第三章 数学模型的建立和评估

泰坦尼克号乘客数据：https://www.kaggle.com/c/titanic/overview
Datawhale开源课程：https://github.com/datawhalechina/hands-on-data-analysis

五、建模

事先准备

# 导入所需的库
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt 
import seaborn as sns 
from IPython.display import Image

• Seaborn 库是一个基于 matplotlib 且数据结构与 pandas 统一的统计图制作库
• Ipython本身还支持多种富文本的展示格式，包括HTML，JSON，PNG，JPEG，SVG，LaTeX等。Ipython提供了一个display方法，可以使用display来展示要呈现的对象

# 导入数据
# 清洗前的数据
train = pd.read_csv('train.csv')
train.head()
# 清洗后的数据
data = pd.read_csv('clear_data.csv')
data.head()

模型选择

模型搭建

• 处理完前面的数据我们就得到建模数据，下一步是选择合适模型
• 在进行模型选择之前我们需要先知道数据集最终是进行监督学习还是无监督学习
• 模型的选择一方面是通过我们的任务来决定的。
• 除了根据我们任务来选择模型外，还可以根据数据样本量以及特征的稀疏性来决定
• 刚开始我们总是先尝试使用一个基本的模型来作为其baseline，进而再训练其他模型做对比，最终选择泛化能力或性能比较好的模型

监督模型和无监督模型的区别

监督模型：计算机通过对训练数据集进行训练学习。从现有的数据集中学习，并将学习后结果应用到当前的数据中，以预测未来的事件。在这个过程中，输入输出的数据都与预测未来事件有关。

• 主要分类：回归模型和分类模型
• 常见应用：股票/房价的预测、天气的预测等

---

无监督模型：无监督学习是训练机器使用既未分类也未标记的数据集的方法。即让计算机接触大量变化的数据并自主学习该怎么做。

• 主要分类：聚类模型和异常检测
• 常见应用：超市顾客购物分析、恶意软件检测

# sklearn模型算法选择路径图
Image('sklearn.png')

可以根据sklearn模型算法选择路径图选择我们所需的模型

案例学习

任务一：切割训练集和测试集

这里使用留出法划分数据集

• 将数据集分为自变量和因变量按比例切割训练集和测试集(一般测试集的比例有30%、25%、20%、15%和10%)
• 使用分层抽样设置随机种子以便结果能复现

【思考】

• 划分数据集的方法有哪些？
• 为什么使用分层抽样，这样的好处有什么？

【任务提示1】

• 切割数据集是为了后续能评估模型泛化能力
• sklearn中切割数据集的方法为train_test_split
• 查看函数文档可以在jupyter notebook里面使用train_test_split?后回车即可看到
• 分层和随机种子在参数里寻找

# 使用sklearn 库
from sklearn.model_selection import train_test_split
# 一般先取出X和y后再切割，有些情况会使用到未切割的，这时候X和y就可以用,x是清洗好的数据，y是我们要预测的存活数据'Survived'
X = data
y = train['Survived']
# 对数据集进行切割
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)
# 查看数据形状
X_train.shape, X_test.shape

任务二：模型创建

• 创建基于线性模型的分类模型（逻辑回归）
• 创建基于树的分类模型（决策树、随机森林）
• 分别使用这些模型进行训练，分别的到训练集和测试集的得分
• 查看模型的参数，并更改参数值，观察模型变化
  【提示2】
• 逻辑回归不是回归模型而是分类模型，不要与LinearRegression混淆
• 随机森林其实是决策树集成为了降低决策树过拟合的情况
• 线性模型所在的模块为sklearn.linear_model
• 树模型所在的模块为sklearn.ensemble

# 导入所需模块
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier

逻辑回归模型

# 默认参数逻辑回归模型
lr = LogisticRegression().fit(X_train, y_train)
lr.score(X_train, y_train)
#print("Training set score: {:.2f}".format(lr.score(X_train, y_train)))
#print("Testing set score: {:.2f}".format(lr.score(X_test, y_test)))
--------------------------------
Training set score: 0.80
Testing set score: 0.79
--------------------------------

# 调整参数后的逻辑回归模型
lr2 = LogisticRegression(C=100).fit(X_train, y_train)
lr2..score(X_train, y_train)
# print("Training set score: {:.2f}".format(lr2.score(X_train, y_train)))
# print("Testing set score: {:.2f}".format(lr2.score(X_test, y_test)))
--------------------------------
Training set score: 0.79
Testing set score: 0.78
--------------------------------

参数设置

penalty: {'l1','l2','elasticnet','none'}default = 'l2' # 正则化选择参数，对参数进行约束，解决过拟合的问题
tol：float default = 1e-4 # 迭代停止条件
C : floa default = 1.0 # 越小表示越强的正则化，越能限制模型的复杂度

随机森林模型

# 默认参数的随机森林分类模型
rfc = RandomForestClassifier().fit(X_train, y_train)
rfc.score(X_train, y_train)
# print("Training set score: {:.2f}".format(rfc.score(X_train, y_train)))
# print("Testing set score: {:.2f}".format(rfc.score(X_test, y_test)))
--------------------------------
Training set score: 1.00
Testing set score: 0.83
--------------------------------

# 调整参数后的随机森林分类模型
rfc2 = RandomForestClassifier(n_estimators=100, max_depth=5).fit(X_train, y_train)
rfc2.score(X_train, y_train)
# print("Training set score: {:.2f}".format(rfc2.score(X_train, y_train)))
# print("Testing set score: {:.2f}".format(rfc2.score(X_test, y_test)))
--------------------------------
Training set score: 0.86
Testing set score: 0.81
--------------------------------

参数设置

n_estimators：int default=100 # 决策树的个数
max_depth:int default=None # 最大深度

任务三：输出模型预测结果

• 输出模型预测分类标签
• 输出不同分类标签的预测概率
  【提示3】
• 一般监督模型在sklearn里面有个predict()能输出预测标签，predict_proba则可以输出标签概率

# 预测标签
pre = lr.predict(X_train)
pre[:10]
-------------------------------------
array([0, 1, 1, 1, 0, 0, 1, 0, 1, 1])
-------------------------------------
# 预测标签概率
pre_proba = lr.predict_proba(X_train)
pre_proba[:10]
-------------------------------------
array([[0.60870022, 0.39129978],
       [0.17725433, 0.82274567],
       [0.40750365, 0.59249635],
       [0.18925851, 0.81074149],
       [0.87973912, 0.12026088],
       [0.91374559, 0.08625441],
       [0.13293198, 0.86706802],
       [0.90560801, 0.09439199],
       [0.05283987, 0.94716013],
       [0.10936016, 0.89063984]])
-------------------------------------

六、评价

事先准备

# 导入所需的库和模块
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from IPython.display import Image
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier

模型评估

• 模型评估是为了知道模型的泛化能力。
• 交叉验证（cross-validation）是一种评估泛化性能的统计学方法，它比单次划分训练集和测试集的方法更加稳定、全面。
• 在交叉验证中，数据被多次划分，并且需要训练多个模型。
  最常用的交叉验证是 k 折交叉验证（k-fold cross-validation），其中 k 是由用户指定的数字，通常取 5 或 10。
• 准确率（precision）度量的是被预测为正例的样本中有多少是真正的正例
• 召回率（recall）度量的是正类样本中有多少被预测为正类
  f-分数是准确率与召回率的调和平均

案例学习

任务一：交叉验证

• 用10折交叉验证来评估之前的逻辑回归模型
• 计算交叉验证精度的平均值

【提示4】
交叉验证在sklearn中的模块为sklearn.model_selection

# 导入模块
from sklearn.model_selection import cross_val_score
lr = LogisticRegression(C=100)
# k折交叉验证分数
scores = cross_val_score(lr, X_train, y_train, cv=10)
scores
------------------------------------------------------------------
array([0.82352941, 0.77941176, 0.80597015, 0.82089552, 0.8358209 ,
       0.88059701, 0.72727273, 0.84848485, 0.75757576, 0.71212121]
------------------------------------------------------------------
# 平均交叉验证分数
print("Average cross-validation score: {:.2f}".format(scores.mean()))
------------------------------------
Average cross-validation score: 0.80
------------------------------------

任务二：混淆矩阵

• 计算二分类问题的混淆矩阵
• 计算精确率、召回率以及f-分数

【思考】什么是二分类问题的混淆矩阵 参考链接

混淆矩阵是一个 2 维方阵，它主要用于评估二分类问题
混淆矩阵由两个维度构成：样本的实际标签和样本预测标签。

在这两个维度下交织成四个可能的情况：

• 实际为正样本且预测为正样本：True Positive (TP)
• 实际为负样本而预测为正样本：False Positive (FP)
• 实际为正样本而预测为负样本：False Negative (FN)
• 实际为负样本而预测为负样本：True Negative (TN)

准确率 (Accuracy),精确度（Precision）,Recall,f-分数计算方法
【提示5】

• 混淆矩阵的方法在sklearn中的sklearn.metrics模块
• 混淆矩阵需要输入真实标签和预测标签
• 精确率、召回率以及f-分数可使用classification_report在这里插入代码片模块

# 导入模块
from sklearn.metrics import confusion_matrix
# 训练模型
lr = LogisticRegression(C=100)
lr.fit(X_train, y_train)
# 模型预测结果
pre = lr.predict(X_train)
# 混淆矩阵
confusion_matrix(y_train, pred)
----------------------------------
array([[350,  62],
       [ 71, 185]], dtype=int64)
----------------------------------

精确率、召回率以及f-分数

from sklearn.metrics import classification_report
# 精确率、召回率以及f1-score
print(classification_report(y_train, pred))
--------------------------------------------------------
                precision    recall  f1-score   support

           0       0.83      0.85      0.84       412
           1       0.75      0.72      0.74       256

    accuracy                           0.80       668
   macro avg       0.79      0.79      0.79       668
weighted avg       0.80      0.80      0.80       668
--------------------------------------------------------

任务三： 绘制ROC曲线
【思考】什么是ROC曲线，OCR曲线的存在是为了解决什么问题？参考链接

因为ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本比正样本多很多（或者相反），而且测试数据中的正负样本的分布也可能随着时间变化。

【提示6】

• ROC曲线在sklearn中的模块为sklearn.metrics
• ROC曲线下面所包围的面积越大越好

# 导入模块
from sklearn.metrics import roc_curve
# 绘制ROC曲线
fpr, tpr, thresholds = roc_curve(y_test, lr.decision_function(X_test))
plt.plot(fpr, tpr, label="ROC曲线")
plt.xlabel("FPR")
plt.ylabel("TPR (recall)")
# 找到最接近于0的阈值
close_zero = np.argmin(np.abs(thresholds))
plt.plot(fpr[close_zero], tpr[close_zero], 'o', markersize=10, label="0的阈值", fillstyle="none", c='k', mew=2)
plt.legend(loc=4)