#Paper Reading# Learnable pooling with Context Gating for video classification

论文题目: Learnable pooling with Context Gating for video classification
论文地址: https://arxiv.org/abs/1706.06905
论文发表于: arXiv

论文大体内容：
本文主要提出了Gated NetVLAD模型，用于给视频打标，并在kaggle比赛中取得第一名。

Motivation：
如何更有效的对视频打标，是工业界需要迫切解决的问题，在学术界也有不少相应的研究。

Contribution：
①提出一个结合视频信息和音频信息的模型，取得state-of-art的效果；
②引入Context Gating层，建模网络激活层的相关性；
③用实验证明基于聚类的聚合方法在视频分类中比LSTM和GRU有效；

1. 本文提出的模型结构图如下。

2. 特征抽取
①视频特征：本文使用的特征都是由Google官方提供的在ImageNet上训练的Inception V3模型[3]进行预抽取的（最后一层隐层），每个视频按每秒一帧抽取，最长抽取出360帧。其中每帧视频抽取出2048维向量（每帧视频取平均作为视频整体的embedding），再使用PCA降维到1024维；
②音频特征：采用VGGish[8]进行抽取，使用PCA降维到128维；

3. Learnable pooling
①VLAD[6]（Vector of Locally Aggregated Descriptors）
X ∈ R^(N*J)
C ∈ R^(K*J)
VLAD ∈ R^(J*K)

②NetVLAD[7]

③NetFV

④NetRVLAD

4. Context Gating的优势
①防止梯度消失；
②打压不重要的实体（比如图像中树比较多，但是不重要，这里会给树的权重低）；

5.MoE（Mixture-of-Experts）

实验
6. Dataset
Youtube-8M Dataset[2]；

7. Baseline
①LSTM；
②GRU；
③BoW；
④NetFV；
等等；

8. Metric
GAP@20；

9. 实验结果
①单模型效果

②Context Gating的重要性

③视频与音频concat的位置效果对比

④模型Ensemble效果（最好的结果是用了25个模型Ensemble取得的）


参考资料： 
[1] https://www.kaggle.com/c/youtube8m/overview
[2] https://research.google.com/youtube8m/
[3] https://arxiv.org/pdf/1609.08675.pdf
[4] https://arxiv.org/pdf/1609.09430.pdf
[5] https://www.jianshu.com/p/7d48bff4d1c3
[6] https://hal.inria.fr/file/index/docid/548637/filename/jegou_compactimagerepresentation.pdf
[7] http://openaccess.thecvf.com/content_cvpr_2016/papers/Arandjelovic_NetVLAD_CNN_Architecture_CVPR_2016_paper.pdf
[8] https://www.jianshu.com/p/bb5b36c69529

以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！