【cvpr2021】Locate then Segment: A Strong Pipeline for Referring Image Segmentation

文章地址：LTS

motivation：

以前的方法网络架构和实验实践越来越复杂，使得算法分析和比较变得越来越困难。此外，他们没有明确定位语言表达引导的参考对象，只利用耗时的后处理 DCRF 来生成最终的细化分割。

idea&contribution：

提出一种新的方法，将RIS解耦为两个子序列任务：（a）引用对象位置预测，（b）对象分割掩码生成。

模型首先融合视觉和语言特征以获得跨模态特征。对于（a），提出了一个定位模块来直接获得与表达对应的视觉内容。这样的对象先验将用作后续分割模块的视觉位置指导。对于 (b)，将对象先验与跨模态特征连接起来，并利用轻量级 ConvNets 来获得最终的分割掩码。