文献阅读笔记——Action Recognition with Stacked Fisher Vectors

        本文由Xiaojiang Peng发表在计算机视觉顶级国际会议ECCV2014。由标题可以看出作者是利用分层的Fisher Vectors做行为识别。作者的动机是想将特征的维度做高。这种分层的做法近几年比较常见，如 ICRA 2014关于3d点云无监督特征的论文Unsupervised Feature Learning for 3D Scene Labeling，ICRA的这篇论文做了两层的Sparse Coding，在Sparse Coding的基础上做Sparse Coding。

本文框架       

      如图1所示，作者给出了本文基于Fisher Vectors的框架和传统的基于Fisher Vectors的框架不同。本文做了两层的Fisher Coding，在得到底层特征的Fisher Vectors后，在Fisher Vectors的基础上得到新的Fisher Vectors。第二层输出的Fisher Vectors即作者所称的 Stacked Fisher Vectors (SFV)，在做分类时可直接将SFV导入分类器中。作者通过实验验证，将FV同SFV串联起来形成高维特征效果要比单独用FV或者SFV效果更好。小结下本段的意思，SFV是FV上的特征，即关于特征的特征，即中层特征。

本文算法

第一层Fisher Vectors 提取

        提取第一层的目的是为第二层的Fisher Vectors提供原料。第一层Fisher Vectors 提取就是一般的Fisher Vectors向量提取过程。本文利用的底层特征是iDT。一般的步骤包括：（1）对data set中的iDT特征做PCA whitening；（2）GMM得到K1个高斯模型（3）得到当前图片的中各iDT特征的Fisher Vectors。得到iDT特征的Fisher Vectors后，从视频的W H L空间上各维度上以一定步长采样小方块，本文定义了12种尺度宽高时长的小方块。筛选出轨迹数量大于某一阈值的小方块，累加各小方块中的Fisher Vectors。每个小方块可以得到一个局部累加的Fisher Vector，这些

第二层 Fisher Vectors 提取

        第二层的 Fisher Vectors 提取类似第一层，原料是第一层小方块对应的 Fisher Vectors 。 Fisher Vectors 维度较高，需要做降维，本文采用的是最大边缘降维法，具体见本文。