spatio-temporal localization方法

前言: 光流，backbone等等这种的发展就不说了，主要说下大的发展的变化

1. 早期是单帧检测，然后把结果连接起来。
   不同方法backbone不同，有的也用了光流，比如[1]

2. 由于单帧缺少对时序信息的挖掘，最近的方法是在做检测时用到时间信息。
   代表性的有

• 1>ACT [2] 将多帧结果堆叠回归一个立方的proposal也就是说类似于做了proposal层面的tube(作者把它叫做tublet),然后把多个立方的proposal用dp算法做连接，平滑等后处理(作者叫spatio-temporal tubes)
• 2> 上面都是2D卷积做的，T-CNN [3] 用了3D卷积提取clip的特征，然后经过作者提出的tube proposal 层来做clip内proposal的tube的构成，接着也是类似于1>进行后处理，构造spatio-temporal tubes
• 3> AVA的baseline用了与1> 2>相似的pipeline。用了更强的backbone，同时proposal tube的生成方式是直接通过clip中间帧的proposal在clip内扩展得到，相比于单帧检测会更加高效。2>是通过不断地对提取器最后一层，3D的特征下采样到时间维度为1来进行检测，然后把这个proposal当作mask在提取器的前面没有做时间下采样前的特征处理，得到的proposal tubes。

3. 后面的工作几乎都遵循2.里描述的pipeline，值得注意的是STEP [4] 在ucf101上取得了远超ACT和T-CNN的效果。它是用了cascade的策略，但是每次迭代时候会在时间维度对proposal进行扩展。

4. 结论：感觉这个任务的尴尬程度不亚于caption

[1] G. Gkioxari and J. Malik. Finding action tubes. In CVPR, 2015. 3
[2] V.Kalogeiton, P. Weinzaepfel, V. Ferrari, and C. Schmid. Action tubelet detector for spatio-temporal action localization. In ICCV, 2017. 2, 3, 6, 7
[3] R. Hou, C. Chen, and M. Shah. Tube convolutional neural network (T-CNN) for action detection in videos. In ICCV, 2017. 2, 3, 6, 7
[4] Yang X, Yang X, Liu M Y, et al. STEP: Spatio-Temporal Progressive Learning for Video Action Detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 264-272.