[深度学习论文笔记]Temporal Localization of Fine-Grained Actions in Videos by Domain Transfer from Web Images

[ACM MM 15] Temporal Localization of Fine-Grained Actions in Videos by Domain Transfer from Web Images

Chen Sun, Sanketh Shettyy, Rahul Sukthankary and Ram Nevatia
from USC & Google

paper link

Motivation

这篇文章的主要目标是研究如何使用大量从搜索引擎得到的图片,定位视频中细粒度的动作在时间轴上的位置。

网络图片是通过在搜索引擎中搜索某些特定动作的名字得到的(如篮球比赛中的扣篮等)。作者将视频和搜索得到的图片视为两个不同的域。其中视频可以视作一些列的帧,这些帧包括了设计动作的部分,也包括了不涉及动作的无关帧。找出包含动作的帧就是实现了动作定位任务。网络图片可以认为他们的内容包含的搜索的动作,但是很多图片和视频帧的类型差别过大。如有些图片的拍摄视角和视频差别很大,有些图片是漫画而不是现实拍摄的素材。如图1所示。因此如何有效利用这些网络图片是关键。

[深度学习论文笔记]Temporal Localization of Fine-Grained Actions in Videos by Domain Transfer from Web Images_第1张图片

Method

作者主要使用不同域之间的迁移来不断过滤两个域中无用的数据。具体方法流程如下:

  1. 首先在每一个域(视频帧和网络图片)上训练单独的动作分类器,之后在另一个域上做分类预测;
  2. 过滤正确类别的分类概率较低的图片。这样可以净化两个域里面的图片:视频域里和动作无关的图片被过滤,网络图片中和视频差别很大的图片被过滤;
  3. 重复1,2中的步骤,直至稳定。

此时,视频中的每一帧都可以得到一个被过滤掉的置信度。基本上没有被过滤掉的帧被称为动作定位帧(localized action frames, LAF)。在此之后,作者进一步利用了LAF,即在原视频上训练CNN-LSTM进行视频分类。监督信息是整个视频的动作类别标注。步骤2中产生的概率作为每一帧损失函数的权重。被认定为是非动作的帧一定程度上被排除到训练样本之外。训练完成后,CNN-LSTM模型可以对视频进行动作分类。

最后为了定位动作,作者使用CNN-LSTM模型输出每一帧的分类概率,然后用时域上的滑动窗口扫,窗口内概率超过阈值的框即视作包含了一个动作。重叠在一起的滑动窗口使用非极大值抑制(NMS)过滤。

Experiment

在CNN-LSTM模型中,作者使用AlexNet作为CNN主干。在THUMOS2014数据集上,该模型的动作定位性能为:
[深度学习论文笔记]Temporal Localization of Fine-Grained Actions in Videos by Domain Transfer from Web Images_第2张图片

你可能感兴趣的:(深度学习论文笔记)