Pytorch实现CIFAR-10分类

tensorvision包中自带常用的视觉数据集，其中就包括CIFAR-10。Tutorial中将网络的训练分为了5个步骤：

1. 准备数据：下载CIFAR-10并归一化
2. 定义CNN
3. 定义损失函数
4. 在training set上训练CNN
5. 在test set上测试CNN

1. 准备数据：下载CIFAR-10并归一化

import torch
import torchvision
import torchvision.transforms as transforms

transform = transforms.Compose(
    [transforms.ToTensor(),
     transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])

trainset = torchvision.datasets.CIFAR10(root='./data', train=True,
                                        download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,
                                          shuffle=True, num_workers=2)

testset = torchvision.datasets.CIFAR10(root='./data', train=False,
                                       download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4,
                                         shuffle=False, num_workers=2)

classes = ('plane', 'car', 'bird', 'cat',
           'deer', 'dog', 'frog', 'horse', 'ship', 'truck')

数据处理使用torch.ultis.data类与torchvision.transforms类。
其中，transforms.Compose()是将各种数据变换组合起来使用，由各种变换构成的列表。
torchvision.datasets.CIFAR10()可以使用自己下载好的，解压后放在./data内，并设置download=False。

torch.utils.data.DataLoader() 类

class torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, num_workers=0, collate_fn=<function default_collate>, pin_memory=False, drop_last=False)

torch.utils.data.DataLoader类是数据加载器，它组合数据集和采样器，并在数据集上提供单进程或多进程迭代器。

显示部分图像

下面的代码用来显示部分图像：

import matplotlib.pyplot as plt
import numpy as np

# functions to show an image

def imshow(img):
    img = img / 2 + 0.5     # unnormalize
    npimg = img.numpy()
    plt.imshow(np.transpose(npimg, (1, 2, 0)))


# get some random training images
dataiter = iter(trainloader)
images, labels = dataiter.next()

# show images
imshow(torchvision.utils.make_grid(images))
# print labels
print(' '.join('%5s' % classes[labels[j]] for j in range(4)))

2. 定义CNN

import torch.nn as nn
import torch.nn.functional as F


class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x


net = Net()

super()构造函数

待写

3. 定义损失函数

使用交叉熵criterion和SGD优化。

import torch.optim as optim

criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

4. 在training set上训练CNN

for epoch in range(2):  # loop over the dataset multiple times

    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        # get the inputs
        inputs, labels = data

        # zero the parameter gradients
        optimizer.zero_grad()

        # forward + backward + optimize
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        # print statistics
        running_loss += loss.item()
        if i % 2000 == 1999:    # print every 2000 mini-batches
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 2000))
            running_loss = 0.0

print('Finished Training')

enumerate() 函数

enumerate()函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for循环当中。如下是enumerate的用法：

enumerate(sequence, [start=0])

• 例子：

>>>seq = ['one', 'two', 'three']
>>> for i, element in enumerate(seq):
...     print i, element
... 
0 one
1 two
2 three

iter()与enumerate()

lst = [3,60,9]
strlst = ['a','box','c']

lst_enum = enumerate(lst)
lst_iter = iter(lst)
strlst_enum = enumerate(strlst)    
strlst_iter = iter(strlst)

for a in lst_enum:
    print(a)
>>>	(0, 3)
	(1, 60)
	(2, 9)
for b in lst_iter:
    print(b)
>>>	3
	60
	9
for c in strlst_enum:
    print(c)
>>>	(0, 'a')
	(1, 'box')
	(2, 'c')
for d in strlst_iter:
    print(d)
>>>  a
	box
	c 
for e,element in lst_enum:
    print(e,element)
>>>	0 a
	1 box
	2 c

5. 在test set上测试CNN

dataiter = iter(testloader)
images, labels = dataiter.next()

# print images
# 可视化显示4张图像的预测结果
imshow(torchvision.utils.make_grid(images))
print('GroundTruth: ', ' '.join('%5s' % classes[labels[j]] for j in range(4)))

outputs = net(images)

_, predicted = torch.max(outputs, 1)

print('Predicted: ', ' '.join('%5s' % classes[predicted[j]]
                              for j in range(4)))
# 在整个测试集上测试准确率
correct = 0
total = 0
with torch.no_grad():
    for data in testloader:
        images, labels = data
        outputs = net(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print('Accuracy of the network on the 10000 test images: %d %%' % (
    100 * correct / total))

iter()函数

iter()函数用来生成迭代器。
list、tuple等都是可迭代对象，我们可以通过iter()函数获取这些可迭代对象的迭代器。然后我们可以对获取到的迭代器不断使⽤next()函数来获取下⼀条数据。iter()函数实际上就是调⽤了可迭代对象的__iter__⽅法。
iter()用法如下：

iter(object[, sentinel])

• 参数：支持迭代的集合对象。
• 返回值：迭代器对象。

>>>lst = [1, 2, 3]
>>> for i in iter(lst):
...     print(i)
... 
1
2
3

next()方法

next()方法在文件使用迭代器时会使用到，在循环中，next()方法会在每次循环中调用，该方法返回文件的下一行，如果到达结尾(EOF),则触发 StopIteration。
使用方法：

fileObject.next(); 

• 参数：无。
• 返回值：文件的下一行。

next()函数

next() 返回迭代器的下一个项目。用法如下：

next(iterator[, default])

• 参数：
  • iterator – 可迭代对象
  • default – 可选，用于设置在没有下一个元素时返回该默认值，如果不设置，又没有下一个元素则会触发 StopIteration 异常。
• 返回值：返回对象帮助信息。
• 例子：

# 首先获得Iterator对象:
it = iter([1, 2, 3, 4, 5])
# 循环:
while True:
    try:
        # 获得下一个值:
        x = next(it)
        print(x)
    except StopIteration:
        # 遇到StopIteration就退出循环
        break

输出：
1
2
3
4
5

问题：iter(trainloader) 与enumerate(trainloader)

在可视化图像的时候用的是：

dataiter = iter(trainloader)
images, labels = dataiter.next()

这样一来images, labels的size都是4，是trainloader的1个batch_size的大小。
但是在训练网络的时候用的是

for i, data in enumerate(trainloader, 0):

这样遍历的i是0-12499

参考资料

[1] https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#sphx-glr-beginner-blitz-cifar10-tutorial-py
[2] PyTorch文档中文版：https://pytorch-cn.readthedocs.io/zh/latest/
[3] http://www.runoob.com/python/