【论文笔记】CVPR2019_SiamMask

文章目录

  • 概述
  • 和SiamFC做对比
  • 网络结构
    • 分割分支的设计
    • 网络backbone部分结构参数

论文题目: Fast Online Object Tracking and Segmentation: A Unifying Approach

概述

  1. multi-task learning, 同时实现VOT和VOS。
  2. 只需要单一的bounding box来做初始化,就可以在跟踪过程中实时的输出分割掩码。速度35fps。
  3. 不需要在线微调。

在SiamRPN++的基础上(SiamMask使用的是ResNet50作为backbone,这个与SiamRPN++相同),设计了语义分割分支,输出精确的分割掩码,可以用来代替原先的目标框。而且在完成跟踪任务的同时,也实现了VOS任务。

和SiamFC做对比

SiamFC SiamMask
multi-task Tracking only Tracking & Segmentation
backbone Alexnet ResNet-50
Loss function logistic loss Logistic loss + cross-entropy + smooth L1
predicted box Axis-aligned box minimum bounding rectangle(最小外包矩形)
speed 58fps 35fps

网络结构

【论文笔记】CVPR2019_SiamMask_第1张图片在做correlation之前,和SiamFC是一样的,区别在于,correlation操作使用的是11256的卷积核,输出的是1717256的特征图(SiamFC输出的是17171,直接做预测)
【论文笔记】CVPR2019_SiamMask_第2张图片
两分支的Loss相当于是SiamFC+ mask分支,三分支的Loss相当于MaskRPN + mask分支。

分割分支的设计

这块是本文的一大 创新点,分割部分的设计只有两层网络,而且分割分支的输入也是将模板分支和检测分支的feature map同时输入进去进行编码的,这样一来,如果以其它目标作为template,那么相应的,mask也会变成对应的目标的掩码。

为了能使分割分支输出比较精确的结果,作者使用了下图的refinement module,使用了多个尺度的特征图融合,来得到mask的输出。

【论文笔记】CVPR2019_SiamMask_第3张图片

网络backbone部分结构参数

【论文笔记】CVPR2019_SiamMask_第4张图片

你可能感兴趣的:(论文笔记)