CNN混淆矩阵--分析CNN的输出结果

Time: 2019-08-04
链接：https://youtu.be/0LhiS6yu2qQ?list=PLZbbT5o_s2xrfNyHZsM6ufI0iZENK9xgG

混淆矩阵（Confusion Matrix）

混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目。每一列中的数值表示真实数据被预测为该类的数目：如下图，第一行第一列中的43表示有43个实际归属第一类的实例被预测为第一类，同理，第一行第二列的2表示有2个实际归属为第一类的实例被错误预测为第二类。 --《百度百科》

屏幕快照 2019-08-04 下午4.42.22.png

这是一种很好的分析模型输出结果的方法。

屏幕快照 2019-08-04 下午4.49.01.png

小总结

混淆矩阵有3个维度的信息，虽然是2维矩阵，但是颜色本身也是一个维度。

画出来的和上面百科提供的解释是一致的。

显然，主对角线上的数字表示网络的输出和真实的值一样的个数，即网络对了。

主对角线之外就是网络犯的错，也就是让网络感到困惑/混淆的地方。

屏幕快照 2019-08-04 下午4.52.04.png

也即，混淆矩阵的名称来源。

手动生成混淆矩阵

stacked = torch.stack(
  ( train_set.targets,
    train_preds.argmax(dim=1)
  ), dim=1  
)

stacked.shape # torch.Size([60000, 2])

cmt = torch.zeros(10, 10, dtype=torch.int32)
cmt
'''
tensor([[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]], dtype=torch.int32)
'''
# 手动生成confussion matrix，可以直接调用confusion_matrix方法生成
for pair in stacked:
  true_label, pred_label = pair
  cmt[true_label, pred_label] += 1

基于sklearn生成混淆矩阵

from sklearn.metrics import confusion_matrix
cmt_sklearn = confusion_matrix(train_set.targets, train_preds.argmax(dim=1))

train_set.targets # tensor([9, 0, 0,  ..., 3, 0, 5])
train_preds.argmax(dim=1) # tensor([9, 0, 0,  ..., 3, 0, 5])

绘制混淆矩阵的代码

import numpy as np
def plot_confusion_matrix(cm, labels_name, title):
    plt.imshow(cm, interpolation='nearest')    # 在特定的窗口上显示图像
    plt.title(title)    # 图像标题
    plt.colorbar()
    num_local = np.array(range(len(labels_name)))    
    plt.xticks(num_local, labels_name, rotation=90)    # 将标签印在x轴坐标上
    plt.yticks(num_local, labels_name)    # 将标签印在y轴坐标上
    plt.ylabel('True label')

另一种版本的绘制代码：

import itertools
import numpy as np
import matplotlib.pyplot as plt

def plot_confusion_matrix(cm, classes, normalize=False, title='Confusion matrix', cmap=plt.cm.Blues):
    if normalize:
        cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]
        print("Normalized confusion matrix")
    else:
        print('Confusion matrix, without normalization')

    print(cm)
    plt.imshow(cm, interpolation='nearest', cmap=cmap)
    plt.title(title)
    plt.colorbar()
    tick_marks = np.arange(len(classes))
    plt.xticks(tick_marks, classes, rotation=45)
    plt.yticks(tick_marks, classes)

    fmt = '.2f' if normalize else 'd'
    thresh = cm.max() / 2.
    for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):
        plt.text(j, i, format(cm[i, j], fmt), horizontalalignment="center", color="white" if cm[i, j] > thresh else "black")

    plt.tight_layout()
    plt.ylabel('True label')
    plt.xlabel('Predicted label')

总结

使用scikit-learn可以减少很多代码量，因为它抽象了很多操作，如果懂基础操作，再用scikit-learn就非常得心应手了。

END.