TorchVision

说明

很多基于Pytorch的工具集都非常好用，比如处理自然语言的torchtext，处理音频的torchaudio，以及处理图像视频的torchvision。

torchvision包含一些常用的数据集、模型、转换函数等等。当前版本0.5.0包括图片分类、语义切分、目标识别、实例分割、关键点检测、视频分类等工具，它将mask-rcnn功能也都包含在内了。mask-rcnn的Pytorch版本最高支持torchvision 0.2.*，0.3.0之后mask-rcnn就包含到tensorvision之中了。

安装

torchvision安装非常方便：

$ pip install torchvision 

但需要注意版本匹配：

torch 1.1.0/1.1.0 + torchvision 0.2.* + CUDA 9
torch 1.2.0/1.3.0 + torchvision 0.3.* + CUDA 10
torch 1.2.0/1.3.0 + torchvision 0.4.* + CUDA 10
torch 1.4.0 + torchvision 0.5.* + CUDA 10 

高版本的torchvision提供更多的功能，但需要升级torch库，同时还需要与CUDA版本匹配，否则无法正常工作。从CUDA 9 升级成CUDA 10，还需要升级与CUDA 10匹配的显卡驱动，如nvidia-drivers-430。如果使用docker，则需要升级宿主机的显卡驱动。

代码分析

由于源码中带有使用例程和训练模型的工具，建议下载源码。地址：
https://github.com/pytorch/vision

官方说明文档：
https://pytorch.org/docs/master/torchvision/

以目标检测为例，其源码在vision/torchvision/models/detection目录下，内容与maskrcnn_benchmark非常相似，同时还做了一些简化。

例程

下面示例使用预训练的模型识别图片中的物体：

import torch

import torchvision
from PIL import Image
import torchvision.transforms as transforms
device = torch.device('cuda') if torch.cuda.is_available() else torch.device('cpu')
model = torchvision.models.detection.fasterrcnn_resnet50_fpn(pretrained=True)
model.to(device)
model.eval()
loader = transforms.Compose([transforms.ToTensor()])
image = Image.open('xxx.jpg').convert('RGB')
image = loader(image)
image = image.to(device, torch.float)
x = [image]
predictions = model(x)
print(predictions)

Fine-tune目标检测模型

之前笔者尝试使用Mask-RCNN官方的TensorFlow和Pytorch版本实现目标识别和图片分割的Fine-tune。与之相比，TorchVision更加简单。

无论使用何种工具，Fine-tune都以调库为主，比较复杂容易出错的是构造数据文件，在尝试过程中，要么需要下载大量的数据，比如COCO数据集，要么需要标注和调试自己的数据，在外围工作上花费大量时间。

“行人检测”是“PyTorch官方教程中文版”中的fine-tune实例，全部代码100多行，数据也只有100多张图片，从例程中可以看到，自己做数据类，比下载COCO数据训练更加方便。如果使用GPU，如1080ti，十次迭代在十分钟以内即可完成。具体请见：
http://www.pytorch123.com/FourSection/ObjectDetectionFinetuning/

如需训练模型，则要下载git源码，其中的references目录中提供了一些训练使用的工具和例程。上述例程需要在源码的references/detection目录下运行，训练数据也需要放在该目录下。另外，需要注意分类的第0个索引是背景，在不同任务中，类别号一般需要做+1处理。