Background Suppression Network for Weakly-supervised Temporal Action Localization [Paper Reading]

研究内容：弱监督时域动作定位

结果：Thumos14 mAP0.5 = 27.0

         ActivityNet1.3 mAP0.5 = 34.5

         从结果可以看出弱监督这种瞎猜的方式可以PK掉早些时候的一些全监督方法

Code: GitHub P.S.我在机器上复现始终差一点点

Motivation: 发现之前的工作没有考虑到背景类别，会将背景帧误分为动作类别，造成大量FP。本文提出了背景抑制网络BaSNet，引入了额外的背景类，两支镜像网络(一支为base网络，一支为用attention抑制背景的suppression网络)，实验表明这样设计可以有效抑制背景的影响，从而提高定位的准确性。

Idea来源: attention模块参考自STPN (CVPR2018) 将fc换成时域卷积，STPN的作者今年有一篇ICCV2019的工作也是围绕背景建模，在STPN的基础上引入了(1-λ)作为背景类的权重，细节暂且不表

              关于背景建模出现在弱监督时域动作定位领域最早的一篇是"Completeness modeling and context separation for weakly supervised temporal action localization"(CVPR2019)

              这篇文章的主要卖点不是背景这里，但背景类的引入启发了后续的3个工作，本文和上面提到的STPN的强化版，还有我个人最喜欢的LPAT(Shou Zheng团队的工作)，后续会整理这篇的笔记

方法: 

过去的工作类似base branch去除背景类这部分，问题的设定使得没有背景类的负样本用于训练，即每个视频groundtruth背景类别均为1，最后会导致背景类的异常高响应，定位结果很差。

作者为了构造背景类的负样本，在另一支网络中引入attention模块(filtering module)抑制背景的响应。整个网络结构使用共享权重的conv模块分别处理两个分支，这两个分支唯一的不同点就是输入(supp分支的输入经过attention处理)和background label(base的背景类为1，supp的背景类为0) 这两点不同。这样做的目标是更好的训练filtering module使其学到前景信息，从而有效过滤并抑制背景的响应。

MIL分类的 top-k mean 想法源自WTALC的方法

最后的location模块在测试阶段选取supp分支的输出，后续操作仍然采用多阈值分割后NMS的方式，proposal的confidence score本文借用CMCS的方法：计算proposal区域和边界区域的均值得分之差

 

 

效果图：