CVPR 2019 | 惊艳的SiamMask：开源快速同时进行目标跟踪与分割算法

作者 | 周强（CV君）

来源 | 我爱计算机视觉（公众号id：aicvml）

责编 | Jane

上面这张Gif图演示了 SiamMask 的效果，只需要鼠标滑动选择目标的包围框，即可同时实现目标跟踪与分割。

这种视频里目标的像素级标注，很有用，比如给视频叠加特效可以不覆盖目标人物，或者视频编辑中扣掉特定目标。想想前段时间浙江卫视和北京卫视如果有了这套软件，让某吴姓演员从节目中消失就简单多了，是不是？

近日，CVPR 2019 的接收论文《Fast Online Object Tracking and Segmentation: A Unifying Approach》作者Qiang Wang开源了这套SiamMask代码，引起了极大关注。我们一起来看看吧。

论文作者信息：

论文作者团队来自中科院自动化所、牛津大学、Five AI公司。

感谢～

研究目的

以往大多数目标跟踪得到的结果是目标的包围框，而作者希望将跟踪与分割结合起来，算法“实时“给出目标的像素级标注。

上图中，左侧是初始化的操作，在视频第一帧给出目标的包围框，右侧的多张图像为普通的跟踪算法计算得到估计的包围框和SiamMask估计的目标的分割mask。

算法原理

作者是在近年出现的 SiamFC 跟踪算法基础上做的改进。

下图展示了其整天算法流程。左侧上面图像为框出来的目标图像，左侧下面图像为要搜索目标位置的视频中的一帧，经过卷积网络，生成Row（response of a candidate window，候选窗口响应），网络后面有三个head，除了在SiamFC法中已经存在的预测box（目标位置）的head和预测响应score（目标出现概率）的head，作者增加了预测目标mask（目标二值掩码）的head。

另外也可以直接去掉预测box的head，提高计算速度，包围框也可以通过mask计算得到。网络结构如下：

下图展示了使用SiamMask算法计算得到的图像中不同位置的score值。

实验结果

作者在VOT-2016、VOT-2018数据集上测试跟踪精度，在DAVIS-2016、DAVIS-2017数据集上测试了目标分割的精度。

下图是与普通的跟踪算法的结果比较：

SiamMask 相比之前的跟踪算法的 state-of-the-art 精度又改进不少。

下图是与现有的视频目标分割算法的精度的比较：

虽然SiamMask精度并不是最高的，但速度却比其他算法快1到2个数量级！在真实应用中更有价值。

下图为mIoU-速度的散点图：

一些视频目标分割示例（请点击查看大图）：

重点来了！代码地址：

https://github.com/foolwood/SiamMask

（本文为AI科技大本营转载文章，转载请微信作者）

近期 CVPR 2019 论文解读推荐：

• 首发 | 旷视14篇CVPR 2019论文，都有哪些亮点？

• CVPR 2019审稿满分论文：中国博士提出融合CV与NLP的视觉语言导航新方法

• CVPR2019 | 微软、中科大开源基于深度高分辨表示学习的姿态估计算法

如果你也想分享自己的论文，欢迎投稿，可扫描下方二维码与营长联系：

推荐阅读：

• 300道Python面试题，备战春招！
  

• 2018中国开发者真实现状：40岁不做开发，算法工程师最稀缺！
  

• 人生苦短，Python之父要解开这个困惑
  

• 从起源、变体到评价指标，一文解读NLP的注意力机制
  

• 女子偷师男子学校，变身区块链开发工程师，却说： “这次女人不会再缺席了！”
  

• 云漫圈 | 如何给女朋友解释什么是HTTP

• 从程序媛到全球研发副总裁，技术女神进击史！
  

• 杨超越杯编程大赛上热搜：不懂技术真不敢追星女子偷师男子学校，变身区块链开发工程师，却说： “这次女人不会再缺席了！”
  

• 为啥程序员下班后只关显示器从不关电脑？

                         

❤点击“阅读原文”，查看历史精彩文章。