用Jupyter Notebook简单评价分类模型的好坏

最近在公司业务中，需要用到一个分类算法，对一批名单进行分类。
衡量算法好坏的理论网上到处都是，主要是混淆矩阵分析以及ROC-AUC等，但是实际操作的博文比较少。
以下就从头分享下自己在Jupyter Notebook做的分析。

一、导入数据

import pandas as pd
import numpy as np
dataset0302 = pd.read_csv('/Users/Archibald/Desktop/Work/FIT/Fit/Result-0302/result20180302.csv', header=0)
dataset0416 = pd.read_csv('/Users/Archibald/Desktop/Work/FIT/Fit/Result-0416/result20180410.csv', header=0)

首先导入pandas跟numpy两个数据处理要用到的库，然后导入两个csv

dataset0416.head()

然后看一下导入的数据前5排，确认格式是我们想要的

score栏对应的是分类算法给出每一条名单的打分，Original代表的是真实类别

二、数据处理

这里要根据得分，按照threshold=0.5，转换为0或1的预测类别。
这里需要用到binarizer来处理，按照threshold-0.5，得分>0.5的，预测为正例，否则为反例

from sklearn import preprocessing
binarizer = preprocessing.Binarizer(threshold = 0.5)
y_temp = binarizer.transform(np.array(y_score_0302).reshape(1, -1))
y_p_0302 = y_temp[0]
y_temp = binarizer.transform(np.array(y_score_0416).reshape(1, -1))
y_p_0416 = y_temp[0]

三、数据分析

对打分进行转换之后，我们就可以对数据做初步分析了，这里先算一下Accuracy、Precision、Recall三个值。

Accuracy

from sklearn.metrics import accuracy_score
print('0302 分类准确率: %.2f%%' % (accuracy_score(y_o_0302, y_p_0302)* 100))
print('0416 分类准确率: %.2f%%' % (accuracy_score(y_o_0416, y_p_0416)* 100))

混淆矩阵

通过分析混淆矩阵，拿到TP FP TN FN的值

from sklearn.metrics import confusion_matrix
confusion = confusion_matrix(y_o_0302, y_p_0302)

TP = confusion[1, 1]
TN = confusion[0, 0]
FP = confusion[0, 1]
FN = confusion[1, 0]

print ("0302 混淆矩阵")
print ('\n')
print ("TP：", TP, "FN", FN)
print ("FP：", FP, "TN", TN)

Recall

Recall = true positives/actual positives

from sklearn import metrics
print('0302 召回率 : %.2f%%' % (metrics.recall_score(y_o_0302, y_p_0302)* 100))
print('0416 召回率 : %.2f%%' % (metrics.recall_score(y_o_0416, y_p_0416)* 100))

Precision

Precision = true positives/predicted positives

print('0302 精确率: %.2f%%' % (metrics.precision_score(y_o_0302, y_p_0302)* 100))
print('0416 精确率: %.2f%%' % (metrics.precision_score(y_o_0416, y_p_0416)* 100))

ROC、AUC值和PRC曲线

这里定义两个方法，分别绘制ROC-AUC曲线与PR曲线

def plotRUC(yt, ys, title=None):
    '''
    绘制ROC-AUC曲线
    :param yt: y真值
    :param ys: y预测值
    '''
    from sklearn import metrics
    from matplotlib import pyplot as plt
    f_pos, t_pos, thresh = metrics.roc_curve(yt, ys)
    auc_area = metrics.auc(f_pos, t_pos)
    print('auc_area: {}'.format(auc_area))

    plt.plot(f_pos, t_pos, 'darkorange', lw=2, label='AUC = %.2f' % auc_area)
    plt.legend(loc='lower right')
    plt.plot([0, 1], [0, 1], color='navy', linestyle='--')
    plt.title('ROC-AUC curve for %s' % title)
    plt.ylabel('True Pos Rate')
    plt.xlabel('False Pos Rate')
    #plt.savefig('/Users/Archibald/Desktop/Work/FIT/roc.png')
    plt.show()
    

def plotPR(yt, ys, title=None):
    '''
    绘制precision-recall曲线
    :param yt: y真值
    :param ys: y预测值, recall,
    '''
    import seaborn
    from sklearn import metrics
    from matplotlib import pyplot as plt
    precision, recall, thresholds = metrics.precision_recall_curve(yt, ys)

    plt.plot(precision, recall, 'darkorange', lw=1)
    #plt.plot(recall, precision, 'blue', lw=1, label='x=recall')
    plt.plot([0, 1], [0, 1], color='navy', linestyle='--')
    plt.title('Precision-Recall curve for %s' % title)
    plt.ylabel('Recall')
    plt.xlabel('Precision')
    plt.show()

然后把数据传进来，就能看到直观的曲线图了

plotRUC(y_o_0302, y_score_0302, "0302 Result")
plotPR(y_o_0302, y_score_0302, '0416 Result')