论文介绍--Spatio-Temporal Dynamics and Semantic Attribute Enriched Visual Encoding for Video Captioning

Spatio-Temporal Dynamics and Semantic Attribute Enriched Visual Encoding for Video Captioning 这篇论文发表在2019年的CVPR上。作者Nayyer Aafaq等人来自西澳（大利亚）大学。这是一篇改进视频描述工作的论文。作者观察到近期的视频描述工作主要集中于改进解码器（decoder），而较少关注特征提取的部分。作者认为从视频中提取更好的特征也是非常重要的。这篇论文主要有两个贡献：第一就是用层级的短时傅里叶变换对卷积网络提取出来的特征进行浓缩，把时间信息融入其中；第二就是用物体检测模型从视频中提取高层的语义信息，丰富编码器提炼的视频表示。

InceptionResNetv2和C3D分别被用作2D的卷积网络和3D的卷积网络。YOLO在这里被用作物体检测模型。

方法

视频描述这个任务就是在给定视频，生成一句话（包含w个单词）来精确描述视频的内容。在从视频中提取出特征后，普遍使用的优化目标函数就是句子中每个单词概率对数的加和。

如果用表示解码器映射，表示编码器映射，表示句子，那么我们可以把视频描述表示为。接下来介绍作者对的改进。

在这里，视频的特征表示主要由四部分组成。

2D卷积网络从视频中提取出特征，3D卷积网络从视频中提取出特征。这里表示第t帧视频图像提取出来的特征向量。一般的工作对于2D和3D卷积网络的输出会采用沿着时间轴求平均值的操作，对每个视频得到一个向量表示。这里作者转而使用层级短时傅里叶变换T，将时间维度的信息编码进最后的结果中。首先对整个时间序列做傅里叶变换，得到，，这里的表示第个视频，表示第个神经元，表示总共有个时间点。然后将整个时间段平均分成两段，分别做傅里叶变换得到。最后将整个时间段分成四段，分别做傅里叶变换得到，。然后将得到的傅里叶变换结果拼接在一起得到。这就是层级短时傅里叶变换。用分别对和做操作，就可以得到。

接下来就是对视频的语义和空间变化进行编码。

通过对物体检测模型的输出结果进行编码，我们可以得到。对视频人工描述语句进行单词切分和聚合，可以得到词典。对物体检测模型的输出物体标签进行聚合可以得到。对两者取交集以方便后续处理。用物体检测模型分别对q帧图像进行检测，可以得到物体概率，物体出现频率，物体帧与帧之间的位移。这里表示同一类型物体在同一张图片出现的最大数量。如果有多个物体，物体的位置是位置平均值。于是空间变化的特征定义为。这个特征含义十分丰富，包含了物体的出现概率，出现频率和帧与帧之间的位移。

通过对动作分类模型输出概率的编码，我们可以得到。我们用表示动作分类模型输出标签的集合。通过与字典D取交集，我们得到实际使用的标签集合。第四种特征定义如下。这里的表示第i种动作是否是动作分类模型的预测结果，1表示是，0表示否。表示第i种动作的预测概率。

把上面四种特征进行拼接就得到了输入解码器的特征。

解码器

这篇文章的重点不在解码器。长话短说，作者使用了双层的GRU作为解码器，输出视频的描述句子。

实验

作者在Youtube2Text和MSR-VTT两个数据集上做了实验。词嵌入模型采用了“fasttext“。论文的模型指标计算部分表达有点问题。

We used the Microsoft COCO server to compute our results.

实际上，MS COCO服务器并不提供视频描述指标的计算。MS COCO在Github开源了官方的计算代码。

结果比较

首先是在MSVD（Youtube2Text）上的比较

我必须要指出，尽管本论文作者声称自己取得了state-of-the-art结果，也就是世界领先的结果，事实上，他这个结果远非当时世界上最好的结果。这篇论文发表在CVPR2019上，在这之前的ECO: Efficient Convolutional Network for Online Video Understanding，SibNet: Sibling Convolutional Encoder for Video Captioning，Multi-Task Video Captioning with Video and Entailment Generation的结果就好于这篇论文。

下面他在MSR-VTT上的结果

总结

一言蔽之，这篇论文将层级短时傅里叶变换(Hierarchical Short Fourier Transform)、图像分类模型(CNN)分类结果、物体检测(Object Detector)模型检测结果作为视频表示的一部分，从而提高解码器输出的视频描述质量。