Pytorch faster rcnn模型调用和调整

github上的项目太庞大了

最近我在做目标检测比赛，因为是小比赛并且对模型和训练时间有限制，所以我懒得在GitHub上下载faster-rcnn项目自己安装，调试，debug。有一说一，我确实在GitHub上下载了几个开源项目，但是它们太大了，我无从下手。

下载–打开–看到几十行import–关闭

GitHub上开源项目基本上都是默认你是Linux系统，它的一套流程都是在Linux安装实现的。原谅我没钱，与Linux无缘。
在windows上我只能Download ZIP，然后就出现了开头那一幕。

在kaggle上看到了一个大神的代码

Kaggle上有免费的云服务器可以跑程序，训模型。从三天前接触到kaggle，到今天点开大神的notebook好像发现了新大陆。
大神的代码如下

model = torchvision.models.detection.fasterrcnn_resnet50_fpn(pretrained=True)

直接调出模型，在创建数据集之后可以用模型直接训练数据。与上文中提到的巨型项目的差距挺大，但我现在还不明白这是为什么，两极分化？可能大项目是面向应用的吧。
由于调用了预训练模型，模型参数是根据预训练的数据集调整的。接下来就得自己跟数据集调整模型了。

有两种调整方法

1.接上面的代码

上面大神的代码直接用了Resnet50作为backbone网络，因为这是pytorch预训练好的模型，我们只需要调整一下类别数目就行了，就是number class。

in_features = model.roi_heads.box_predictor.cls_score.in_features
model.roi_heads.box_predictor = FastRCNNPredictor(in_features, 2)

我看了pytorch的文档才弄明白，第一行进入到模型内部调出了模型默认的
FastRCNNPredictor()类的参数。因为要修改类别数目，而类别数目是这个类定义的，它要输入两个参数，其中一个就是类别数目。这个就我们自己定义，但是还有一个参数我们不能自己定义啊。这个参数要根据模型定义所以我们进入模型内部调出in_feature参数。
之后我们有了in_feature和number_class，就可以使用FastRCNNPredictor()类来重新调整我们的类别数目了。第二行代码就是在模型里重新定义了FastRCNNPredictor()类。可以看出，输入的的两个参数一个是in_feature另一个是2也就是我们自己数据集的类别，分别是物体和背景两类。
之后就可以直接model(image,lebel)了。
pytorch文档里有数据集简单格式的样例。我贴在下面吧。

>>> model = torchvision.models.detection.fasterrcnn_resnet50_fpn(pretrained=True)
>>> # For training
>>> images, boxes = torch.rand(4, 3, 600, 1200), torch.rand(4, 11, 4)
>>> labels = torch.randint(1, 91, (4, 11))
>>> images = list(image for image in images)
>>> targets = []
>>> for i in range(len(images)):
>>>     d = {}
>>>     d['boxes'] = boxes[i]
>>>     d['labels'] = labels[i]
>>>     targets.append(d)
>>> output = model(images, targets)
>>> # For inference
>>> model.eval()
>>> x = [torch.rand(3, 300, 400), torch.rand(3, 500, 400)]
>>> predictions = model(x)
>>>
>>> # optionally, if you want to export the model to ONNX:
>>> torch.onnx.export(model, x, "faster_rcnn.onnx", opset_version = 11)

分别介绍了train模式和test模式输入的格式，pytorch暖暖的很贴心。

2.自定义backbone模型

这种方法我也是在Kaggle上发现的，那个大佬没有直接调用pytorch封装好的Resnet50版本的Faster rcnn，而是用了比它低一层的FasterRCNN(GeneralizedRCNN)类，这个类在我上面那个链接里有，但是Pytorch 文档没有这个类的小样例，我们只能摸索。好在我们可以调用它，下面就是我对FasterRCNN类的调用：

backbone = torchvision.models.mobilenet_v2(pretrained=True).features
backbone.out_channels = 1280
model = FasterRCNN(backbone,num_classes=2)

第一行加载一个预训练网络，并且只输出它的feature层，feature层就是经过卷积层后的输出，不经过全连接层。
第二行代码是定义一下模型feature层输出数据的channel，用于在model里结合backbone网络到rpn层。如果没有定义这个，后面会报错。

if not hasattr(backbone, "out_channels"):
            raise ValueError(
                "backbone should contain an attribute out_channels "
                "specifying the number of output channels (assumed to be the "
                "same for all the levels)")

像这样，这就是pytorch文档class FasterRCNN(GeneralizedRCNN)类里写的。
第三行代码就是把这个backbone网络和咱们的类别个数放到FasterRCNN类里生成模型。其中有好多参数我们没有定义，都会设定默认值。

最后我想说

在看这些代码之前看看Faster R-CNN这篇论文会有极大帮助。里面的好多参数都在论文里有说明。