Fine-grained Detection —— TransFG

文章：TransFG: A Transformer Architecture for Fine-grained Recognition
原文.

简称TransFG，包含2个部分：

1. 选择模块PSM（Part Selection Module）
2. 对比学习器CFL（Contrastive Feature Learning）

1. Part Selection Module

PSM目的是筛选出关键感兴趣区域，并给出相应的特征向量。

原图划分成子图（patch），利用NLP思想，形成“句子”作为输入。经过Transformer Encoder，形成“句子”的特征向量A。

将这部分特征向量A，乘上之前所有layers的权重，得到最终的特征向量B。设置一个阈值，筛选出B中的关键段。这些关键段就是PSM的输出，也就是关键感兴趣区域的特征向量段。

2. Contrastive Feature Learning

CFL目的是计算细粒度目标之间的相似度。

PSM的输出作为CFL的输入，再经过一层Transformer Layer，汇众得到用于计算loss的特征向量。Contrastive loss度量方式是余弦相似度。

3. My Thinking

3.1. PSM部分

• 这不就是热力图的做法嘛，只不过把backbone换成了当下最受关注的transformer。

3.2. CFL部分

• 做法是对的，只不过Loss计算没做任何优化。可以继续优化。

4. My Summary

PSM给出关键感兴趣局部的特征向量。

CFL迫使backbone增强细粒度目标特征的异同层度。