torchvision Faster-RCNN ResNet-50 FPN代码解析（总体结构）

在看本文之前，请下载对应的代码作为参考：pytorch/vision/detection/faster_rcnn。

总体结构

花了点时间把整个代码架构理了理，画了如下这张图：
(*) 假设原始图片大小是599x900

主体部分分为这几大部分：

1. Transform，主要是对输入图像进行转换
2. Resnet-50，主干网，主要是特征提取
3. FPN，主要用于构建特征金字塔给RPN提供输入特征图
4. RPN，主要是产生region proposals
5. ROI，主要是检测object区域，各个区域的labels以及各个区域的scores

Transform

请看torchvision Faster-RCNN ResNet-50 FPN代码解析（图片转换和坐标）

Resnet-50

这里就不多做介绍，这里用的标准的Resnet-50。

FPN

前面的libtorch学习笔记（17）- ResNet50 FPN以及如何应用于Faster-RCNN已经有详细介绍，请参考之。

RPN

首先请看RPN头部紫色部分，对应的代码中是：

class RegionProposalNetwork(torch.nn.Module):
	......
    def forward(self,
                images,       # type: ImageList
                features,     # type: Dict[str, Tensor]
                targets=None  # type: Optional[List[Dict[str, Tensor]]]
                ):
		......
        # RPN uses all feature maps that are available
        features = list(features.values())
        objectness, pred_bbox_deltas = self.head(features)
		......

class RPNHead(nn.Module):
	......
    def __init__(self, in_channels, num_anchors):
        super(RPNHead, self).__init__()
        self.conv = nn.Conv2d(
            in_channels, in_channels, kernel_size=3, stride=1, padding=1
        )
        self.cls_logits = nn.Conv2d(in_channels, num_anchors, kernel_size=1, stride=1)
        self.bbox_pred = nn.Conv2d(
            in_channels, num_anchors * 4, kernel_size=1, stride=1
        )
        	
    def forward(self, x):
        # type: (List[Tensor]) -> Tuple[List[Tensor], List[Tensor]]
        logits = []
        bbox_reg = []
        for feature in x:
            t = F.relu(self.conv(feature))
            logits.append(self.cls_logits(t))
            bbox_reg.append(self.bbox_pred(t))
        return logits, bbox_reg	        	                	

这里先对5个特征图进行3x3的卷积处理，输入和输出的channel都是256，这里主要是对特征进行进一步提取以便于产生proposals。然后再对这些输出，同时进行两个1x1的卷积处理：

1. Objectness，用于表明每点在某层特征图上对应的anchor是否在一个object的可能性张量
2. pred_bbox_deltas，用于表明每点在某层特征图上对应的anchor距离中心点各个方向的偏移的张量
   这一点是和标准的Faster-RCNN提到的是不一样的，标准论文中每个点取9个不同的anchors，这里是5个特征层，每层每点取3个anchor，总共取15个anchor，具体参考前面文章libtorch学习笔记（17）- ResNet50 FPN以及如何应用于Faster-RCNN。这也是为什么cls_logits这个1x1卷积层输出为3（3 anchor/point in one level * 1 (foreground possibility)），而bbox_pred则是12（3 anchor/point in one level * 4 (4 offset/box)）。

然后再看anchor_generator，这个模块主要是在每层特征图上产生3个anchors。
最后卷积层对每层特征图进行处理后进入concat_box_prediction_layers函数进行拼接，

最后得到的box_cls变成了这样的layout，box_regression也是按照这个顺序排列的：

box_coder.decode在这里的作用把产生的anchor和box_regression结合产生
$$\begin{array}{rl}widt{h}_{anchor}& =x_{anchor\_bottom\_right}-x_{anchor\_top\_left}\\ heigh{t}_{anchor}& =y_{anchor\_bottom\_right}-y_{anchor\_top\_left}\\ center\_x& =x_{anchor\_top\_left}+widt{h}_{anchor}/2.0\\ center\_y& =y_{anchor\_top\_left}+heigh{t}_{anchor}/2.0\\ d_x,d_y,d_w,d_h& =box\_regression\\ pred\_cente{r}_x& =d_x\ast widt{h}_{anchor}+center\_x\\ pred\_cente{r}_y& =d_y\ast heigh{t}_{anchor}+center\_y\\ pred\_w& =e^{d_w}\ast widt{h}_{anchor}\\ pred\_h& =e^{d_h}\ast heigh{t}_{anchor}\\ pred\_box\_x_{top\_left}& =pred\_cente{r}_x-pred\_w/2\\ pred\_box\_y_{top\_left}& =pred\_cente{r}_y-pred\_h/2\\ pred\_box\_x_{bottom\_right}& =pred\_cente{r}_x+pred\_w/2\\ pred\_box\_y_{bottom\_right}& =pred\_cente{r}_y+pred\_h/2\end{array}$$
这些在R-CNN论文中已经由详细描述，而且前面的笔记也已经做了详细描述，这里就不做赘述。
最后RPN网络通过filter_proposals选出1000个proposals。
具体实现解读参考另外一篇torchvision Faster-RCNN ResNet-50 FPN代码解析（RPN。

ROI

ROI对输入的1000个proposal进行检测，根据设定的阀值进行选择，最终输出满足阀值的检测结果，包括分数（Scores），标签（Labels）和区域（Boxes）。具体参考另外一篇torchvision Faster-RCNN ResNet-50 FPN代码解析（ROI）。

笔记写得不易，觉得有点干货的，望点个赞！