基于敏锐背景响应和自蒸馏学习的弱监督时序动作定位 SODA: WTAL Based on Astute Background Response and Self-Distillation Learni

        “SODA: Weakly Supervised Temporal Action Localization Based on Astute Background Response and Self-Distillation Learning”提出了一种创新方法来解决弱监督时间动作定位中过度定位、联合定位和欠定位的挑战。 作者介绍了两种主要策略:敏锐的背景响应自我蒸馏学习。 这些策略旨在分别有效抑制背景响应并增强模型发现完整动作框架的能力。 


 三个挑战以及解决策略

基于敏锐背景响应和自蒸馏学习的弱监督时序动作定位 SODA: WTAL Based on Astute Background Response and Self-Distillation Learni_第1张图片弱监督时序动作定位任务的三个挑战:(a)过度定位、(b)联合定位、(c)欠定位

(a)(b)由于背景抑制不足导致,作者提出了机敏的背景响应策略。

(c)由于动作发现不足,作者提出了自蒸馏学习策略。


单帧注释情况

基于敏锐背景响应和自蒸馏学习的弱监督时序动作定位 SODA: WTAL Based on Astute Background Response and Self-Distillation Learni_第2张图片

(a)SF-Net 标注仅标注动作帧。

(b)本文的SODA对单动作帧和单背景帧都进行了注释,但是为了与类似的注释成本进行公平的比较,本文只对整个视频的一半进行了注释。


A

你可能感兴趣的:(视频动作定位,人工智能,图像处理,视觉检测,学习,python)