单目标追踪——【Transformer】Transformer Tracking

目录

  • 文章侧重点
  • 网络结构
    • 上下文增强模块
    • 交叉特征增强
    • TransT网络结构
  • 可视化结果分析
      • n=1
      • n=2
      • n=3
      • n=4

Transformer这个香饽饽怎么能不用来迁移到目标追踪里呢。
本篇文章分析TransT。

Transformer Tracking.

文章侧重点

这篇文章是利用Transformer设计了一个新的基于注意力的特征融合网络和一个Siamese结构的集成该融合网络的追踪方法TransT。 在TransT中该融合网络以替换传统Siamese框架中的correlation相关操作。
几个值得注意的点:

  • 特征融合网络由两个模板组成:基于自注意力的上下文增强模块 + 基于交叉注意力的特征增强模块。两个都是在增强特征。 不过回想Siamese网络结构中常用的naive correlation、depth-wise correlation、pixel-wise correlation都是在用提取的Template特征作为核来对Search特征进行增强,只是操作不同罢了【文中分析,原有的correlation是一种局部的线性的匹配过程,会导致语义信息丢失,陷入局部最优】。
  • TransT的追踪结构也挺简单的:Siamese型的共享backbone网络、基于注意力机制的融合网络、分类和坐标回归预测头。
  • 其实从可视化结果来看,TransT的Search特征的注意力还比较集中在目标上,但是Template特征因为引入Search特征,感觉Template的注意力被分散了。作者在文中说这是个奇怪的分布。所以这种特征设计网络其实感觉有一点草率了,不过Encoder和Decoder堆叠这么多,效果

你可能感兴趣的:(论文阅读,SOT,transformer,深度学习,人工智能)