【CVPR 2023 论文解读】TriDet: Temporal Action Detection with Relative Boundary Modeling

发表时间：CVPR 2023

作者团队：北航，美团，JD Explore

代码链接：GitHub - dingfengshi/TriDet: [CVPR2023] Code for the paper, TriDet: Temporal Action Detection with Relative Boundary Modeling[CVPR2023] Code for the paper, TriDet: Temporal Action Detection with Relative Boundary Modeling - GitHub - dingfengshi/TriDet: [CVPR2023] Code for the paper, TriDet: Temporal Action Detection with Relative Boundary Modelinghttps://github.com/dingfengshi/TriDet

        这篇文章是关于action detection的一篇工作，目标是识别出帧所属的动作类别，以及该动作的时间跨度。大体看上去没有吸引我的novelty，但是motivation比较有意思：

        首先，在时序动作检测(TAD)任务里，动作的边界很多时候是不明确的，本文的方法是利用不同时刻之间的相对关系来建模边界，即本文提出的Trident-head，这个不是我接触的领域，就不研究了。

        重点在第二个motivation。近年来，Transformer在TAD领域也有不少应用，但本文实验发现，单纯使用Transformer并不能显著提升检测性能，相反，pipeline的设计往往更重要。比如对于Actionformer，本文实验发现，即使去掉了它的self-attention，性能也不会下降太多。所以是什么让原始self-attention版本的Transformer在TAD任务里哑火，这个问题引起了作者的好奇。[1]里推导了self-attention会使输入特征矩阵以双指数速度收敛到秩为1（丢帙问题）。换句话说，self-attention会让输入序列变得越来越相似，但是残差连接和MLP可以减缓这个问题。这个结论启发了作者：作者发现动作识别任务上pretrain过的backbone提取到的特征往往具有较高的相似性，在HACS数据集上跟踪原始self-attention的Transformer每层输出特征时，我们也观察到self-attention降低了每个时刻特征的可区分性，这对TAD任务来讲是非常不利的。

        那么针对第二个motivation，作者提出了一个Scalable-Granularity Perception模块，但是感觉可解释性不太好，毕竟是纯卷积结构。

The SGP layer

        目前基于Transformer的TAD任务方法主要依赖于Transformer的宏观体系结构，而不是self-attention (SA)。具体来说，SA主要遇到两个问题：跨时间维度的秩损失问题及其高计算开销。

Limitation 1: the rank loss problem

        秩损失问题的出现是由于自注意力的概率矩阵 (即)是非负的，每行的和为1，这表明SA的输出是Value feature的凸组合。考虑到纯Layer Normalization将特征投影到高维空间的单位超球上，本文通过研究瞬时特征(instant features)之间的最大角度来分析它们的可区分程度。本文证明了凸组合后特征之间的最大角小于或等于输入特征的最大角，导致特征之间的相似性增加（如补充材料所述），这可能对TAD有害。

二维的球是圆，三维是球，四维及以上是超球。

Limitation 2: high computational complexity

        此外，自注意力中的密集的pair-wise computation（在瞬时特征之间）带来了较高的计算开销，从而降低了推理速度。

---

        基于上述发现，本文提出了一种Scalable-Granularity Perception (SGP) layer来有效地捕获动作信息并抑制秩损失。Transformer Layer和SGP Layer之间的主要区别是后者用全卷积模块替换了自注意力模块，连续的Layer Normalization被替换为Group Normalization。

        如图4所示，SGP包含两个主要分支：一个instant-level branch和一个window-level branch。

        instant-level branch的目标是通过扩大action and non-action instant feature与视频级平均特征的距离来提高action and non-action instant feature的可辨别性。window-level branch的目的是从更广泛的感受野中引入语义内容，其分支有助于动态地聚焦于哪个尺度的特征。在数学上，SGP可以写成：

        其中，FC和分别表示全连接层和窗口大小为的时间维度的1D深度卷积。作为SGP的关键设计，k是一个可缩放因子，旨在捕获更大粒度的时间信息。视频级平均特征和分支可表示为：

        由此得到的基于SGP的特征金字塔可以比基于Transformer的特征金字塔获得更好的性能，同时效率更高。

References

[1] Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth

[2] CVPR2023｜TriDet:高效时序动作检测网络，刷新三个数据集SOTA！ - 知乎 (zhihu.com)