商汤科技开源DAVIS2017视频目标分割冠军代码

出处“来自微信公众号：我爱计算机视觉”

商汤科技开源DAVIS2017视频目标分割冠军代码

用目标重识别改进视频目标分割。

传统视频分割经常依赖于时序连续来生成mask（目标的掩膜），而真实的视频中的目标位置往往存在着一些跳变，比如在目标快速漂移和被遮挡的时候因为较大的位移而使得这种假设目标运动连续的算法失败。为了克服这个问题，来自香港中文大学、哈尔滨工业大学和商汤科技公司的研究团队提出了一种更有效的机制，即通过自适应的目标重识别（object re-identification）应对目标丢失。

 

基于此的目标重识别视频分割（VS-ReID）模型包括目标mask生成模块和ReID模块。mask生成模块通过光流卷曲（flow warping）生成初始的（目标-背景）引导概率图，ReID模块则在视频序列中通过自适应匹配检索丢失的目标实例。这两个模块迭代应用，有效解决了视频分割中突然的目标位移过大带来的丢失，VS-ReID模型在2017 DAVIS视频分割比赛中获得了冠军。

 

问题描述：给定视频序列和第一帧的标注，输出所有实例后续的mask

困难点：实例分割中小目标和精细的结构与尺度和姿态的变化，跟踪中频繁的遮挡：

应对策略：Mask 生成模块与目标重识别模块

VS-ReID算法总览：

Mask生成模块示图：

通过前后帧的光流再前一帧mask的卷曲，生成引导概率图：

 

目标重识别模块：

从重识别模块给定的包围盒恢复目标mask:

例子：在第21帧和80帧恢复了两个之前被遮挡的目标：

DAVIS 2017比赛测试集上取得了最好的精度：

一些分割示例：

 

算法来自论文《Video Object Segmentation with Re-identification》

https://arxiv.org/abs/1708.00197

代码：

https://github.com/lxx1991/VS-ReID

https://liuziwei7.github.io/projects/VSReID.html

点击阅读原文可以在www.52cv.net查看本文和代码主页。