MECPformer笔记

摘要

问题引出：CNN不能识别全局目标信息，给定一个类，vit可能会影响其他类
解决办法：设计了一种简单有效的多估计互补patch(multi -estimation Complementary Patch, MECP)策略和自适应冲突模块(Adaptive Conflict Module, ACM)方法，称为MECPformer
代码链接

网络结构

FCU：特征耦合单元(FCU)模块进行通信，以充分利用局部特征和全局依赖关系
CAM:一个可学习的参数矩阵乘上特征图
ACM：一个简单有效的后处理模块——自适应冲突模块

首先，多估计互补补丁(Multi-estimations Complementary Patch, MECP)策略生成两个互补补丁图像馈入分类网络
其次，利用多标签分类损失对分类网络进行训练，得到初始种子和亲和图，并将两者进行整合，得到精细化的初始种子
第三，自适应冲突模块(ACM)自适应过滤冲突像素以避免虚假的伪标签，并使用显著性图过滤掉多余的背景信息。
最后，利用生成的可信伪标签对分割网络进行训练，利用网络的自学习能力创建更精细的预测结果

MECP

对不同时期进行多次估计，得到不同大小的不规则图像斑块。
在收到成对的互补补丁后，它们被馈送到MECPformer作为训练的输入

Affinity-Based CAM Refinement

计算所有Transformer块之间的平均亲和映射：

计算平均：

Adaptation Conflict Module

就是进行筛选，详细请看原论文

Self-training with Pseudo Label

在自适应冲突模块之后，利用分割网络的自学习能力挖掘潜在的目标信息。

消融实验

讨论

当一幅图像中有多个类别且类别密切相关时，可能会产生次优结果
随着单幅图像中类别数量的增加，图像分割质量逐渐下降，这表明具有多个语义类别的弱监督图像级分割仍然是一项具有挑战性的任务transformer天然优势在一定程度上为这个问题带来了新的思考
图像太小，与背景混在一起，可能会错误地将目标识别为背景
图片中的光线过曝或过低，也可能导致效果不理想
增强网络的学习能力和引入额外的标签可能会缓解这些问题，这是我们未来将重点研究的方向。
此外，我们发现在segmentation阶段使用Transformer-based methods表现出更大的潜力。这一发现促使我们在弱监督语义分割中引入更健壮的分割阶段网络，这将是我们未来努力的重点。
此外，我们在最初的种子阶段获得了非常有希望的结果，尽管由于采用了简单的后处理技术，与MCTformer相比，分割结果并不理想。这表明，对后处理方法的进一步探索可能会导致意想不到的分割结果。因此，我们未来的工作将集中在更深入地研究后处理方法。
最后，基于Conformer-S方法，与基于resnet38的方法相比，我们的方法具有较小的复杂性，但与轻量级模型相比仍有显著的改进空间。进一步优化注意力机制和网络模型，逐步向轻量化模型靠拢，是我们未来关注的另一个问题。