ActionVLAD算法详解

文章地址：https://rohitgirdhar.github.io/ActionVLAD/
代码地址：https://github.com/rohitgirdhar/ActionVLAD/

该文章由CMU、Adobe、法国国立计算机及自动化研究院联合提出，被CVPR2017收录。

该文章的创新点在于将vlad使用到动作分类任务上，而该文章中使用的VLAD是由文章《NetVLAD: CNN architecture for weakly supervised place recognition》提出（该文章发表在CVPR2016上）的可训练VLAD层基础上的扩展。所以下面先来介绍一下VLAD。

一、传统的VLAD

假设现在有特征维度为，其中N表示特征的个数，D表示一个特征的维度。
VLAD的计算流程如下：

1. 对全部的特征进行K-means聚类，获得K个聚类中心，记为
2. 通过以下公式，将的特征转为shape为的特征，公式如下：
   
   公式中表示第i个局部特征，表示第k个聚类中心，和都是D为向量。表示符号函数，如果不属于聚类中心，；如果属于聚类中心，。

从上式中，可以看出最终的特征是所有原始特征与聚类中心的差值，可以理解为是去除了特征本身的特征分布差异，只保留了局部特征与聚类中心的分布差异。

二、NetVLAD层

由上面所说，VLAD里面存在符号函数所以为了能将VLAD融入网络的训练中，需要将公式中的符号函数从hard assignment改为soft assignment，公式如下：

将上面公式展开，可以将分子分母的抵消，得到下面公式：

其中，,

所以NetVLAD用公式表示如下：

说明：NetVLAD中的符号同传统的VLAD

三、ActionVLAD

ActionVLAD用公式可以表示如下：

上式中T表示总帧数，。N表示每帧图片提取出的特征数量空间维度(例如，一张图片经过网络后空间大小为，那么N=625)，。

从ActionVLAD的公式可以很明显的看出是NetVLAD在时序上的扩展。

四、ActionVLAD网络

ActionVLAD网络如下图所示：

7.png

从上图可以看出：

1. action vlad网络采用1了rgb和光流两种流
2. actionvlad层可以很自然的作为一层融入到网络中去

到这里ActionVLAD网络原理基本介绍完毕，对于ActionVLAD层应该放在哪个位置，具体效果如何，可以看文章的一些消融实验。