CVPR 2020 论文大盘点-全景分割与视频目标分割篇

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

今天的内容关注于全景分割（Panoptic Segmentation）和视频目标分割（Video Object Segmentation，VOS）。

什么是全景分割？

全景分割即同时实现对背景的语义分割和前景的实例分割。这是图像分割领域近来的新趋势，请看下图：

图片来自论文 Panoptic Segmentation,CVPR 2019

上图中，(b)语义分割的结果是相同语义的对象标成相同的颜色，（c）实例分割是对目标前景分个体的像素级标注来，（d）全景分割结合了语义分割和实例分割的结果。

全景分割在CVPR 2019 被提出，但一年多来已经引起广泛关注，CVPR 2020 总计有8篇文章。

什么是视频目标分割？

对视频中感兴趣的目标进行分割，给定第一帧mask的VOS称为one-shot VOS （单样本VOS），无第一帧目标mask的称为zero-shot VOS（无样本VOS）。（大家可以在下述论文 Learning Video Object Segmentation From Unlabeled Videos 中了解）

下图为实例级视频目标分割的例子：

图片来自论文 Video Object Segmentation with Re-identification,CVPR 2017

视频目标分割是集检测、跟踪、分割、ReID于一体的计算机视觉任务，提供了更加丰富的信息，标注成本很高，计算量也比较大，近年来随着高性能设备和相关数据集的出现，也越来越受到关注。CVPR 2020 总计有8篇相关文献。

   全景分割

简单、快速、强大的用于自底向上全景分割的方法，语义分割分支使用D

eeplab

[1].Panoptic-DeepLab: A Simple, Strong, and Fast Baseline for Bottom-Up Panoptic Segmentation

作者 | Bowen Cheng, Maxwell D. Collins, Yukun Zhu, Ting Liu, Thomas S. Huang, Hartwig Adam, Liang-Chieh Chen

单位 | 伊利诺伊大学厄巴纳-香槟分校；谷歌

代码 | https://github.com/bowenc0221/panoptic-deeplab

使用双向聚合网络进行遮挡处理用于全景分割

[2].BANet: Bidirectional Aggregation Network With Occlusion Handling for Panoptic Segmentation

作者 | Yifeng Chen, Guangchen Lin, Songyuan Li, Omar Bourahla, Yiming Wu, Fangfang Wang, Junyi Feng, Mingliang Xu, Xi Li

单位 | 浙江大学；郑州大学

利用密集检测结果的实时全景分割

[3].Real-Time Panoptic Segmentation From Dense Detections

作者 | Rui Hou, Jie Li, Arjun Bhargava, Allan Raventos, Vitor Guizilini, Chao Fang, Jerome Lynch, Adrien Gaidon

单位 | 丰田研究所；密歇根大学

用于全景分割的双向图推理网络

[4].Bidirectional Graph Reasoning Network for Panoptic Segmentation

作者 | Yangxin Wu, Gengwei Zhang, Yiming Gao, Xiajun Deng, Ke Gong, Xiaodan Liang, Liang Lin

单位 | 中山大学；DarkMatter AI Research

像素共识投票用于全景分割

[5].Pixel Consensus Voting for Panoptic Segmentation

作者 | Haochen Wang, Ruotian Luo, Michael Maire, Greg Shakhnarovich

单位 | 卡内基·梅隆大学；TTI-Chicago；芝加哥大学

代码 | 即将

视频全景分割

[6].Video Panoptic Segmentation

作者 | Dahun Kim, Sanghyun Woo, Joon-Young Lee, In So Kweon

单位 | 韩国科学技术院；Adobe Research

代码 | https://github.com/mcahny/vps

备注 | CVPR 2020 Oral

学习实例遮挡用于全景分割

[7].Learning Instance Occlusion for Panoptic Segmentation

作者 | Justin Lazarow, Kwonjoon Lee, Kunyu Shi, Zhuowen Tu

单位 | 加利福尼亚大学圣迭戈分校

统一全景分割的训练和推理方法

[8].Unifying Training and Inference for Panoptic Segmentation

作者 | Qizhu Li, Xiaojuan Qi, Philip H.S. Torr

单位 | 牛津大学

   视频目标分割

一种视频目标分割的转换方法，采用标签传播的方式，简单高性能、高效率。

[9].A Transductive Approach for Video Object Segmentation

作者 | Yizhuo Zhang, Zhirong Wu, Houwen Peng, Stephen Lin

单位 | 微软亚洲研究院；卡内基梅隆大学

代码 | https://github.com/microsoft/transductive-vos.pytorch

学习快速与鲁棒的目标模型（表观模型与分割模型）用于视频目标分割

[10].Learning Fast and Robust Target Models for Video Object Segmentation

作者 | Andreas Robinson, Felix Jaremo Lawin, Martin Danelljan, Fahad Shahbaz Khan, Michael Felsberg

单位 | Linkoping University, Sweden；ETH Zurich, Switzerland；IIAI

代码 | https://github.com/andr345/frtm-vos

时序聚合网络与动态模板匹配的快速视频目标分割

[11].Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching

作者 | Xuhua Huang, Jiarui Xu, Yu-Wing Tai, Chi-Keung Tang

单位 | 香港科技大学；腾讯

代码 | https://xuhuaking.github.io/Fast-VOS-DTTM-TAN/（即将）

从非标注视频中学习视频目标分割

[12].Learning Video Object Segmentation From Unlabeled Videos

作者 | Xiankai Lu, Wenguan Wang, Jianbing Shen, Yu-Wing Tai, David J. Crandall, Steven C. H. Hoi

单位 | IIAI；苏黎世联邦理工学院；腾讯；印第安纳大学

代码 | https://github.com/carrierlxk/MuG

状态感知的跟踪器用于实时的视频目标分割

[13].State-Aware Tracker for Real-Time Video Object Segmentation

作者 | Xi Chen, Zuoxin Li, Ye Yuan, Gang Yu, Jianxin Shen, Donglian Qi

单位 | 浙江大学；旷视

代码 | https://github.com/XavierCHEN34/State-Aware-Tracker

解读 | 漫谈视频目标跟踪与分割

交互式视频目标分割

[14].Memory Aggregation Networks for Efficient Interactive Video Object Segmentation

作者 | Jiaxu Miao, Yunchao Wei, Yi Yang

单位 | 百度；悉尼科技大学

基于文本的视频分割

[15].Visual-Textual Capsule Routing for Text-Based Video Segmentation

作者 | Bruce McIntosh, Kevin Duarte, Yogesh S Rawat, Mubarak Shah

单位 | 中佛罗里达大学；

快速模板匹配与更新，用于视频目标跟踪与分割

[16].Fast Template Matching and Update for Video Object Tracking and Segmentation

作者 | Mingjie Sun, Jimin Xiao, Eng Gee Lim, Bingfeng Zhang, Yao Zhao

单位 | 西郊利物浦；利物浦大学；北京交通大学

代码 | https://github.com/insomnia94/FTMU（即将）

推荐阅读：

• 专辑|相机标定
  

• 专辑|3D点云
  

• 专辑|SLAM
  

• 专辑|深度学习与自动驾驶
  

• 专辑|结构光
  

• 专辑|事件相机
  

• 专辑|OpenCV学习
  

• 专辑|学习资源汇总
  

• 专辑|招聘与项目对接

• 专辑|读书笔记

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近1000+星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题