Compressed Video Action Recognition(CVPR 2018)

最近在研究Action recognition 方面的算法,Compressed Video Action Recognition 提出了一个比较新颖的算法

也是 CVPR2018 action recognition方面比较有代表性的文章。

代码可详见github.

首先看一下,作者于文中列出的第一张图

Compressed Video Action Recognition(CVPR 2018)_第1张图片

图中作者简要的对比了传统的RGB作为输入和提出的使用I-frame、motion vectors、residual

作为输入方法;

作者在文中详细阐述了提出的输入和网络结构:

1、输入

I-frame 了解视频编码的都清楚;

motion vectors 包含于P-frame中,作者拜托其依赖性对其进行了改进

Compressed Video Action Recognition(CVPR 2018)_第2张图片

上面列出了原文公式,主要思路是根据motion vectors 逐帧向前追溯图片中每个像素点,

但,代码实现时是以I-frame为起始点逐帧向后追溯的。

residual: 通过I-frame和P-frame解码后的帧和实际帧之间的差值,

2、网络结构

作者提出的网络结构

Compressed Video Action Recognition(CVPR 2018)_第3张图片

将I-frame输入至ResNet-152中,由于motion-vector和residual相对于I-frame包含的信息较少

故将其输入至ResNet-18中;并且都是在ImageNet上进行的预训练。

对于最后的输出分类评分,作者使用了简单的求和平均。

最后看一下性能

Compressed Video Action Recognition(CVPR 2018)_第4张图片

在UCF-101上获得了90.4%的增益,在HMDB-51上获得了59.1的增益,效果还是比较不错的。

你可能感兴趣的:(ML)