pytorch神经网络因素预测_Pytorch CNN(4.1): Analyze the model's results--Confusion Matrix
Pytorch搭建神经网络(CNN)主要有以下四个步骤
Prepare the data
Build the model
Train the model
Analyze the model’s results: Confusion Matrix
混淆矩阵
混淆矩阵能够展示模型正确预测的类别和模型错误预测的类别。对于不正确的预测，能够看到模型预测的类别，这将向我们显示哪些类别使模型感到困惑confusing
1. 获取整个训练集的预测值
创建一个名为get_all_preds()函数，并将模型model和数据加载器data loader作为传入参数。该模型用于获取预测值，数据加载器用于从训练集中提供批数据。 函数所需要做的就是遍历数据加载器，将批数据传入模型，并将每个批处理的结果拼接到一起得到所有预测值。
@torch.no_grad()
def get_all_preds(model, loader):
all_preds = torch.tensor([])
for batch in loader:
images, labels = batch
preds = model(images)
all_preds = torch.cat(
(all_preds, preds)
,dim=0
)
return all_preds
此函数会首先创建一个空张量all_preds来保存输出预测。之后，迭代来自数据加载器的批处理，并使用torch.cat将输出预测与all_preds拼接在一起。最后，所有预测all_preds将返回给调用方。
请注意，在顶部使用@torch.no_grad() 声明，这是因为希望该函数执行时省略梯度跟踪gradient tracking以减小内存消耗。当使用Backward()函数计算梯度时，特别需要梯度计算功能。否则，最好将其关闭以减少计算的内存消耗，例如当我们使用网络进行预测时。
除了在函数顶部声明，也可在在代码中针对特定代码禁用梯度计算。在创建predictuon_loader和调用get_all_preds时禁用梯度计算。
with torch.no_grad():
prediction_loader = torch.utils.data.DataLoader(train_set, batch_size=10000)
train_preds = get_all_preds(network, prediction_loader)
现在，有了预测张量train_preds，可以将其和训练集标签一起传入之前创建的get_num_correct()函数，以获取正确预测的总数。
> preds_correct = get_num_correct(train_preds, train_set.targets)
> print('total correct:', preds_correct)
> print('accuracy:', preds_correct / len(train_set))
2. 创建混淆矩阵
构建混淆矩阵的任务是将预测值与标签值(目标)进行比较。 为此，需要获取目标张量targets和预测张量train_preds中的预测标签。
> train_set.targets
tensor([9, 0, 0, ..., 3, 0, 5])
> train_preds.argmax(dim=1)
tensor([9, 0, 0, ..., 3, 0, 5])
如果逐元素比较两个张量，可以看到预测标签是否与目标匹配。此外，如果要计算预测标签与目标标签数量，则两个张量内的值将作为矩阵的坐标。沿着dim=1堆叠这两个张量，得到60,000个有序对[predict label, true label]
> stacked = torch.stack(
(
train_set.targets
,train_preds.argmax(dim=1)
)
,dim=1
)
> stacked.shape
torch.Size([60000, 2])
> stacked
tensor([
[9, 9],
[0, 0],
[0, 0],
...,
[3, 3],
[0, 0],
[5, 5]
])
> stacked[0].tolist()
[9, 9]
现在，遍历这些标签对，并计算矩阵中每个位置的出现次数。由于有十个预测类别，创建一个10*10矩阵。检查此处以了解stack()函数。
> cmt = torch.zeros(10,10, dtype=torch.int32)
> cmt
tensor([
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
], dtype=torch.int32)
遍历prediction-target pairs，并在对应矩阵坐标位置处加一进行计数
for p in stacked:
tl, pl = p.tolist()
cmt[tl, pl] = cmt[tl, pl] + 1
获得以下混淆矩阵张量
混淆矩阵张量
3. 绘制混淆矩阵
为了将实际的混淆矩阵生成为numpy.ndarray，使用到sklearn.metrics库中的confusion_matrix()函数，导入需要的库。
请注意plotcm是一个文件plotcm.py。在plotcm.py文件中，有一个plot_confusion_matrix()函数，后面绘制混淆矩阵时给出该文件代码。
import matplotlib.pyplot as plt
from sklearn.metrics import confusion_matrix
from resources.plotcm import plot_confusion_matrix
接下来使用自定义代码plotcm.py中函数plot_confusion_matrix()绘制混淆矩阵。 plotcm.py文件位于当前目录下resources文件夹中。
import itertools
import numpy as np
import matplotlib.pyplot as plt
def plot_confusion_matrix(cm, classes, normalize=False, title='Confusion matrix', cmap=plt.cm.Blues):
if normalize:
cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]
print("Normalized confusion matrix")
else:
print('Confusion matrix, without normalization')
print(cm)
plt.imshow(cm, interpolation='nearest', cmap=cmap)
plt.title(title)
plt.colorbar()
tick_marks = np.arange(len(classes))
plt.xticks(tick_marks, classes, rotation=45)
plt.yticks(tick_marks, classes)
fmt = '.2f' if normalize else 'd'
thresh = cm.max() / 2.
for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):
plt.text(j, i, format(cm[i, j], fmt), horizontalalignment="center", color="white" if cm[i, j] > thresh else "black")
plt.tight_layout()
plt.ylabel('True label')
plt.xlabel('Predicted label')
混淆矩阵绘制结果如下：
> names = (
'T-shirt/top'
,'Trouser'
,'Pullover'
,'Dress'
,'Coat'
,'Sandal'
,'Shirt'
,'Sneaker'
,'Bag'
,'Ankle boot'
)
> plt.figure(figsize=(10,10))
> plot_confusion_matrix(cm, names)