一、分类评估的方法：
1、精确率
2、召回率
二、概念介绍：
1、混淆矩阵：
在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)：
混淆矩阵.png
注意：其中P代表正例，N代表反例。
2、准确率：(TP + TN) / (TP + FN + FP + TN)。
3、精确率：预测结果为正例样本中真是为正例的比例。
- 精确率公式：(TP) / (TP + FP)
精确率.png
4、召回率：真实为正例的样本中预测结果为正例的比例(查的全，对正样本的区分能力)。
- 召回率公式：(TP) / (TP + FN)
召回率.png
5、F1-score:反映模型的稳健性。
F1-score公式: F1 = 2TP / (2TP + FN + FP) = (2 * Precision * Recall) / (Precision + Recall)
三、分类评估报告api：
1、sklearn.metrics import classification_report(y_true, y_pred, labels=[], target_names=None)
- y_true: 真实目标值
- y_pred：评估器预测目标值
- labels：指定类别对应的数字
- target_names： 目标类别名称
- return： 每个类别精确率与召回率
2、分类评估报告代码演示：
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report, roc_auc_score
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
"""
肿瘤分类分析
"""
# 1、获取数据
names = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape',
'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin',
'Normal Nucleoli', 'Mitoses', 'Class']
data = pd.read_csv(
"https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",
names=names)
print(data.head())
# 2、基本数据处理
# 2.1、缺失值处理
data = data.replace(to_replace="?", value=np.nan)
data = data.dropna()
# 2.2 确定特征值，目标值
x = data.iloc[:, 1:10]
print("x.head():", x.head())
y = data["Class"]
print("y.head():\n", y.head())
# 2.3 分割数据
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22, test_size=0.2)
# 3.特征工程（标准化）
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.fit_transform(x_test)
# 4.机器学习 - 模型训练（逻辑回归）
estimator = LogisticRegression()
estimator.fit(x_train, y_train)
# 5.模型评估
# 5.1 准确率
ret = estimator.score(x_test, y_test)
print("准确率为：\n", ret)
# 5.2 预测值
y_pre = estimator.predict(x_test)
print("模型预测值为：\n", y_pre)
# 5.3 精确率、召回率指标评价
ret = classification_report(y_test, y_pre, labels=(2, 4), target_names=("良性", "恶性"))
print("ret:\n", ret)
3、分类评估代码运行结果：
分类评估代码运行结果.png
4、从运行结果来看，recall召回率假如100个样本有99个样本分类正确，只有1个分类错误，但是假设这样一个情况：如果99个样本癌症，1个样本费癌症，不管怎样我全都预测正例(默认癌症为正例)，准确率就为99%，但是这样效果并不好，因为这样的样本是不均衡的，那么如何衡量样本不均衡情况下的评估呢？这就需要参考ROC曲线与AUC指标了。
四、ROC曲线与AUC指标：
1、TPR与FPR：
- TPR = TP / (TP + FN) : 所有真实类别为1的样本中，预测类别为1的比例。
- FPR = FP / (FP + TN) : 所有真实类别为0的样本中，预测类别为1的比例。
2、ROC曲线：
- ROC曲线的横轴就是FPRate，纵轴就是TPRate，当二者相等时，表示的意义是：对于不论真实类别是1还是0的样本，分类器预测为1的概率是相等的，此时ACU为0.5，参考图中红色虚线部分。
ROC曲线.png
3、AUC指标：
- AUC的概率意义是随机取一对正负样本，正样本得分大于负样本得分的概率。
- AUC的范围在[0, 1]之间，并且越接近1越好，越接近0.5属于乱猜。
-
ACU=1，完美分类器**，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
-
0.5
4、AUC计算API：from sklearn.metrics import roc_auc_score
-
sklearn.metrics.roc_auc_score(y_true, y_score)
- 计算ROC曲线面积，即AUC值
- y_true ： 每个样本的真实类别，必须为0(反例)，1(正例)标记
- y_score : 预测得分，可以是正类的估计概率、置信值或者分类器方法的返回值。
- AUC只能用来评价二分类
- AUC非常适合评价样本不平衡中的分类器性能
5、roc-auc代码演示：
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report, roc_auc_score
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
"""
肿瘤分类分析
"""
# 1、获取数据
names = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape',
'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin',
'Normal Nucleoli', 'Mitoses', 'Class']
data = pd.read_csv(
"https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",
names=names)
print(data.head())
# 2、基本数据处理
# 2.1、缺失值处理
data = data.replace(to_replace="?", value=np.nan)
data = data.dropna()
# 2.2 确定特征值，目标值
x = data.iloc[:, 1:10]
print("x.head():", x.head())
y = data["Class"]
print("y.head():\n", y.head())
# 2.3 分割数据
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22, test_size=0.2)
# 3.特征工程（标准化）
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.fit_transform(x_test)
# 4.机器学习 - 模型训练（逻辑回归）
estimator = LogisticRegression()
estimator.fit(x_train, y_train)
# 5.模型评估
# 5.1 准确率
ret = estimator.score(x_test, y_test)
print("准确率为：\n", ret)
# 5.2 预测值
y_pre = estimator.predict(x_test)
print("模型预测值为：\n", y_pre)
# 5.3 精确率、召回率指标评价
ret = classification_report(y_test, y_pre, labels=(2, 4), target_names=("良性", "恶性"))
print("ret:\n", ret)
# # 5.4 auc指标计算
y_test = np.where(y_test > 3, 1, 0)
roc_auc_score = roc_auc_score(y_test, y_pre)
print("roc_auc_score:\n", roc_auc_score)
6、运行结果：
roc-auc-score.png
7、ROC曲线的绘制：
- (1) 构建模型，把模型的概率值从大到小进行排序。
- (2) 从概率最大的点开始取值，一直进行TPR和FPR的计算，然后构建整体模型，得到结果。
- (3) 其实就是在求解积分(面积)
绘制ROC曲线的意义就是不断的把可能分错的情况扣除掉，从概率最高往下取的点，每有一个是负样本，就会导致分错排在它下面的所有正样本，所以要把它下面的正样本数扣除掉(1-TPR,身下的正样本的比例)。ROC曲线绘制出来了，AUC就定了，分对的概率也就能求出来了。
五、总结：
1、 混淆矩阵：
- 真正例(TP)
- 伪反例(FN)
- 伪正例(FP)
- 真反例(TN)
2、精确率(Precision)与召回率(Recall):
- 准确率(对不对) ：(TP + TN) / (TP + TN + FN + FP)
- 精确率(查的准不准) : （TP）/ (TP + FN)
- 召回率(查的全不全) : (TP) / (TP + FN)
- F1-score ：反映模型的稳健性
3、roc曲线和auc指标：
- roc曲线：通过TPR和FPR来进行图形绘制，绘制之后，形成一个指标auc
- auc：
（1）越接近1，效果越好
（2）越接近0，效果越差
（3）越接近0.5，效果就是胡说
注意：这个指标主要用于评价不均衡的二分类问题。