背景点击监督的时序动作定位 Background-Click Supervision for Temporal Action Localization

        该论文介绍了 BackTAL,这是一种利用背景点击监督进行弱监督时序动作定位的新方法。 它将焦点从动作帧转移到背景帧,通过强调背景错误来改进定位。 BackTAL 包含分数分离模块亲和力模块,增强了位置和特征建模。 


 Background-Click的说明

背景点击监督的时序动作定位 Background-Click Supervision for Temporal Action Localization_第1张图片

        Click 点击级别监督的说明:如上图(a)动作点击监督(橙色显示)在每个动作实例中随机点击一次,记录时间戳和分类标签,是SF-Net使用的。(b)本文使用的背景点击监督(红色显示)在每个背景段内随机点击一次,并记录时间戳。


背景点击监督的时序动作定位 Background-Click Supervision for Temporal Action Localization_第2张图片Score Separation Module  分数分离模块

        分数分离模块旨在解决传统弱监督动作本地化范式的局限性。 具体来说,该模块旨在改进 top-k 聚合过程和帧级监督分类,这在以前的方法中区分动作和背景帧不够有效。 下面深入介绍一下分数分离模块的功能和机制:

  • 解决传统方法的局限性:传统的弱监督动作定位范式依赖于 top-k 聚合过程,该过程无法明确影响混乱的帧,从而导致定位不太准确。 此外,像 SF-Net 这样的帧级监督分类

你可能感兴趣的:(视频动作定位,人工智能,深度学习,python,视频,图像处理)