CVPR 2020 《Local-Global Video-Text Interactions for Temporal Grounding》论文笔记

目录

  • 简介
  • 动机
  • 贡献
  • 方法
  • 实验

简介

本文的作者来自浦项科技大学和首尔大学
下载链接

动机

在Grounding领域,早些的方法都可以归结为scan-and-localize framework,主要包括两个步骤:1. 生成proposals;2. 根据matching score进行选择。但是这一类方法存在很大的弊端:获得matching score的过程中,使用text query的全局特征,丢失了用于定位的细节信息。后续,有人对方法进行了改进,将此task视为注意力定位问题,通过回归解决。弊端:局限于最具有判别力的短语,没有对context进行全面的理解。
CVPR 2020 《Local-Global Video-Text Interactions for Temporal Grounding》论文笔记_第1张图片

贡献

  1. 将text query分为多个短语,每个短语作为context,与video进行交互。
  2. 从局部->全局,建模视频片段和短语的关系。
  3. 实验结果,large margin。

方法

本文方法的整体框架如图所示。
CVPR 2020 《Local-Global Video-Text Interactions for Temporal Grounding》论文笔记_第2张图片

实验

在Charades-STA数据集上的实验结果:
CVPR 2020 《Local-Global Video-Text Interactions for Temporal Grounding》论文笔记_第3张图片
在ActivityNet Captions数据集上的实验结果:
CVPR 2020 《Local-Global Video-Text Interactions for Temporal Grounding》论文笔记_第4张图片
在Charades-STA数据集上的消融实验:
CVPR 2020 《Local-Global Video-Text Interactions for Temporal Grounding》论文笔记_第5张图片

你可能感兴趣的:(vision&language,#,video,grounding)