《TDN: Temporal Difference Networks for Efficient Action Recognition》论文详解

论文地址：https://arxiv.org/abs/2012.10071
代码地址：https://github.com/MCG-NJU/TDN

该文章在2020年12月份发表于arxiv，文章提出了short-term TDM和long-sterm TDM模块来高效的获取local motion信息和global motion信息。从而在速度和精度上都取得了较好的成绩。

一、网络结构

网络结构如下图所示，从图中可以看出大体的框架类似于TSN模型（实际从代码上来说用的也是TSN的框架），虽然图中在short term和long term画了多个网络，实际上这都是一个网络，类似于TSN文章中的网络结构图。

1.png

为了更好的说明网络的工作原理，我们先来看一下图中，也是本文的创新点，short-term TDM和long-term TDM两种模块的结果和工作原理。

1.1 short-term TDM

TDM全名为 temporal difference module，可以知道TDM模块里存在一些差值的计算，而short-term指的就是短时间内局部信息的差值。举例说明，对于给定的一个视频V来说，首先类似TSN的处理方式，将视频等时长的分为T份。然后在等分的子视频中随机抽取一帧图像，那么视频V就可以输出T帧图像，用符号表示为，表示抽取出来的一帧图像，这里I的维度为[T, C, H, W]。接着获取的帧输入到2D CNN中提取特征，得到， F表示获取到的特征，维度为。上述2DCNN就是接下来要解释的short-term TDM的一部分，short-term TDM是为了更好的来表示local motion而设计的。（这里框架图和short-sterm TDM图有一点点不太一样，框架图里面的S-TDM实际上是short-sterm TDM图中去除conv1后的其余部分结构，但是不影响理解。）

short-term TDM用公式表示如下：

表示short-term TDM的输出，H表示的是short-term TDM的核心部分。

H用公式表示如下：

上式中为以采样图片帧为中心局部抽取帧之间的帧差结果。

short-term TDM的示例图如下所示：

2.png

可以从图片看出，在抽取出图像后，short-term TDM会先根据抽取的图像帧，从他们周围在多抽取几帧，其中帧为中心且直接输入到conv中提取出特征，其余的周围的帧和帧一起互相做差值，然后经过一些resnet中提出的res层和上采样下采样融合出short-term TDM的输出特征。文章表示这样输出的特征能比较好的获取局部的motion特征，然后将得到的short-term TDM特征作为long-term TDM的输入。

1.2 long-sterm TDM

long-sterm TDM的输入为short-sterm TDM的输出，下面用表示。

因为long-sterm TDM结构有点复杂，用公式表示会多比short-sterm TDM多一点，如下所示：




上式中表示点乘。

公式看起来复杂点，看图会比较好理解，long-sterm TDM如下图所示。因为也是TDM模块，所以也有做差值的操作。

3.png

上图中有个地方需要额外说明一下，就是F经过conv1后得到，且通道数变成了C/r。首先通道数变化好理解，就是conv1输出通道数是输入的1/r。为什么conv1输出了不同的呢，这里可以理解为经过conv1输出的feature在T维度向前移和向后移了一个单位。这也是TDM的表示所在，文章认为这样做可以获取全局的motion feature信息。

通过了解了提出的两个模块结构后，可以知道网络里类似于TSN一样计算，将一个样本视频提取的多个帧放入batch维度（输入的是NCTHW， 实际计算是）。这样实际上上图显示的多个网络实际都是一套网络参数。还需要注意的是TDN网络图中的block不是单纯的long-sterm模块，而是以long-sterm模块为核心的residual模块（类似于在原始的resnet里面插入一个L-sterm TDM）。

到这里基本的创新原理就讲完了，具体的实验方式和实验结果可以查看论文与代码获取更多信息。