ATTransUNet：一种增强型混合Transformer结构用于超声图像分割

期刊分析

期刊名： Computers in Biology and Medicine
期刊信息： IF: 7.7; JCR: Q1; 中科院二区
投稿周期：
本篇： Received: 25 June； Revised: 13 November； Accepted: 25 November；大概5个月不到
网站统计：录用比例：容易； 审稿周期：约10.5月
其余信息： LetPub
该论文没有代码，纯纯学习的

摘要

医学图像的准确自动分割是临床诊断和分析的关键步骤。本文提出了一种增强型Transformer混合分割网络（ATTransUNet）来探索医学图像中高效的token挖掘方法，并结合自注意力机制进行医学图像分割，以达到性能和效率之间的平衡。此外，为了进一步提高分割精度并融合CNN和Transformer各自的优点，本文设计了选择性特征强化模块（SFRM）。本文提出的模型能够准确定位待分割的结构，显着提高了多个数据集上医学图像分割的准确性。

---

---

贡献

1. 提出了自适应令牌提取模块（ATEM）。该模块不依赖于统一分割形成的标记，而是能够挖掘特征图中代表聚合语义的一些标记，并且 Transformer 对这些标记进行建模。我们的方法减少了计算负载并使网络具有全局上下文建模能力。此外，我们提出了特征重投影机制，将标记重新映射到特征图，以进行分割的上采样。
2. 提出了选择性特征强化模块（SFRM）。 SFRM 对特征空间中的像素确定性进行建模，以选择性地鼓励网络专注于主要语义特征的表示。通过SFRM，网络的学习中心可以始终停留在具有上下文信息的组织区域，从而提高了网络表示病理组织或结构的能力。
   

---

---

方法

整体框架

直观感受，这个模型的参数量和计算量都很大，但是取巧的是，模型的五个通道数为32， 64， 128， 256， 512，相较于普通U-Net的64， 128， 256， 512， 1024会少很多，这也是减少冗余参数量的方式，有所取舍。

重点就三个部分： Feature转Token、Token转Feature、增强的解码器

1.Adaptive Token Extraction Module

主要思想: 将转化后的数据展开与展开后的原始数据进行相乘得到Token。

2.Feature Reprojection Mechanism

主要思想： 将Token转Feature，与Encoder底层的输出I相乘，最后还使用了残差连接。

3.Selective Feature Reinforcement Module

主要思想： 就是一个通道注意力权的使用，但是难点是使用1-E作为权重相乘，贴上原文的解释：

When the class probabilities of pixels tend to a uniform distribution, the larger the entropy is, the more likely it is to belong to uncertain edge or texture features. However, when the class probability of pixels tends to a certain category, the entropy is small and the semantic distribution is unified. The pixels are more likely to belong to the regular tissues or feature regions. SFRM enables the network to adaptively reduces the focus on tissues and pathological features of the edge and enhance major semantic features.
当像素的类别概率趋于均匀分布时，熵越大，越有可能属于不确定的边缘或纹理特征。然而，当像素的类别概率趋于某一类别时，熵较小，语义分布统一。像素更有可能属于规则组织或特征区域。 SFRM使得网络能够自适应地减少对边缘组织和病理特征的关注并增强主要语义特征

实验

1.对比实验

三个数据集：私有甲状腺超声数据集ThyroidUS、公开腺体分割数据集GlaS、公开病例切片数据集MoNuSeg
没啥好说的，就是这个多核细胞的分割结果图排版可以学习一下

2.消融实验

2.1 Ablation of the Number of Tokens and Transformer layers

想知道这个图是咋出来的

2.2 Ablation of the Feature Reprojection mechanism

2.3 Ablation of the Selective Feature Reinforcement Module

新学的三个词: W/o 不带; W/ 带; Vanilla 普通的，原始的
相较于原始的通道注意力，文中提出的选择性特征增强模块效果不是很明显

这个使用GradCam算法就可以得到了

可借鉴参考

1. 私有数据集描述

The study has been approved by the Medical Ethics Committee of Tianjin Medical University Cancer Institute and Hospital. Written consent has been obtained from each patient after a full explanation of the purpose and nature of all procedures used.
该研究已获得天津医科大学肿瘤医院医学伦理委员会批准。在充分解释所用所有程序的目的和性质后，已获得每位患者的书面同意。

2. P值检验来显示模型提升效果的显著性

from scipy import stats
# UNet的Dice结果
unet_dice = [0.83, 0.835, 0.850]
# Att-UNet的Dice结果
att_unet_dice = [0.886, 0.899, 0.865]
# 执行独立样本t检验
t_stat, p_value = stats.ttest_ind(unet_dice, att_unet_dice)
# 输出p值
print("P值为：", p_value)

3. 阅读MedT-Net 2021
   Valanarasu, J.M.J., Oza, P., Hacihaliloglu, I., Patel, V.M., 2021. Medical transformer: Gated axial-attention for medical image segmentation, in: International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer. pp. 36–46. doi:10. 1007/978- 3- 030- 87193- 2_4.

4. 阅读UTNet 2021
   Gao, Y., Zhou, M., Metaxas, D.N., 2021. Utnet: a hybrid transformer architecture for medical image segmentation, in: International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer. pp. 61–71. doi:10.1007/978-3-030-87199-4_6.