LA-Net: A Multi-task Deep Network For The Segmentation of The Left Atrium

2021 IEEE Transactions on Medical Imaging(TMI)

语义分割、医学图像分割论文

---

摘要

目录

语义分割论文

文章目录

一、LA-Net: A Multi-task Deep Network For The Segmentation of The Left Atrium

摘要

一、主要亮点

二、网络结构

1.LA-Net’s architecture

2.REM

3.交叉注意模块CAMs(cross attention   modules)

4.增强解码器模块EDMs(enhanced decoder modules)

三、实验部分

1.消融实验

2.对比实验

总结

---

Abstract— Although atrial fibrillation (AF) is the most common sustained atrial arrhythmia, treatment success for this condition remains suboptimal. Information from mag-netic resonance imaging (MRI) has the potential to improve treatment efficacy, but there are currently few automatic tools for the segmentation of the atria in MR images. In the study, we propose a LA-Net, a multi-task network op-timised to simultaneously generate left atrial segmentation and edge masks from MRI. LA-Net includes cross attention modules (CAMs) and enhanced decoder modules (EDMs) to purposefully select the most meaningful edge information for segmentation and smoothly incorporate it into segmen-tation masks at multiple-scales. We evaluate the perfor- mance of LA-Net on two MR sequences: late gadolinium enhanced (LGE) atrial MRI and atrial short axis balanced steady state free precession (bSSFP) MRI. LA-Net gives Hausdorff distances of 12.43 mm and Dice scores of 0.92 on the LGE (STACOM 2018) dataset and Hausdorff distances of 17.41 mm and Dice scores of 0.90 on the bSSFP (in-house) dataset without any post-processing, surpassing previously proposed segmentation networks, including U-Net and SEGANet. Our method allows automatic extraction of information about the LA from MR images, which can play an important role in the management of AF patients.。

虽然房颤(AF)是最常见的持续性心房心律失常，但其治疗效果仍不理想。MRI的信息具有提高治疗效率有潜力，但目前只有很少的工具能够自动分割MRI图像的心房。在这项研究中，我们提出了一个多任务网络LANET,能够同时优化产生左心房分割和来自MRI的边缘掩码。LA-Net包括交叉注意模块(CAMs)和增强解码器模块(EDMs)，有目的地选择最有意义的边缘信息进行分割，并在多尺度上平稳地将其纳入分割掩码。我们评估了LA-Net在两个磁共振序列上的表现:晚期钆增强(LGE)心房MRI和心房短轴平衡稳态自由进动(bSSFP) MRI。LA-Net在LGE (STACOM 2018)数据集上的Hausdorff距离为12.43毫米，Dice得分为0.92分，在bSSFP(内部)数据集上的Hausdorff距离为17.41毫米，Dice得分为0.90分，没有任何后处理，超过了之前提出的分割网络，包括UNet和SEGANet。我们的方法允许从MR图像中自动提取LA信息，这可以在AF患者的管理中发挥重要作用。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、主要亮点

• 交叉注意模块CAMs(cross attention   modules)
• 增强解码器模块EDMs(enhanced decoder modules)

二、网络结构

1.LA-Net’s architecture

• 可以看出主要有四个模块，接下来单独来介绍

2.REM

• 残差模块这部分已经很常见了，再加深一下印象吧
• 残差网络更容易学习的原因：假设四层网络能使模型满足性能要求，这时候再加深网络的层数，性能可能还会下降，而这时下降的原因并非是梯度消失或者爆炸，因为归一化已经解决了这个问题。真正的原因是"退化现象"。若四层网络时性能达到100%，则再加深网络时就要求冗余网络能够“恒等映射"，这样f(x)=x,网络还能100%，而退化现象表明无法做到恒等映射，所以残差网络就是利用一个桥梁将输入数据还原到fc层，而对于中间的层，可以很容易的把这些层的参数逼近于0，进而实现f(x)=x。实际上，网络并不能达到100%，如果达到98%，则剩下的2%就可以靠中间的网络来训练，让他尽量去提升性能，如果提升不了（将参数逼近0即可）亦不会丢失之前的性能。所以所谓残差网络就是让残差块去关注残余映射的那一小部分，做到恰到好处。

3.交叉注意模块CAMs(cross attention   modules)

• CAM在解码器特征的引导下对编码器特征进行调制，使编码器特征变得稀疏。对解码器的特征做全局池化和卷积来形成一个注意力权重，再将权重和编码器的输出特征相乘，得到一个带有注意力的编码器特征，最后用来桥接。达到高维特征稀疏的效果
• 如下是CAM前后的特征对比和热力图直方图

CAM前后热力图和特征的余弦相似度 

---

参考文献：SE-Net：Squeeze-and-excitation networks 

目的：通过网络根据loss去学习特征权重，使得有效的feature map权重大，无效或效果小的feature map权重小的方式训练模型达到更好的结果。

4.增强解码器模块EDMs(enhanced decoder modules)

参考文献：Salient Object Detection with Pyramid Attention and Salient Edges 

文献精读Salient Object Detection with Pyramid Attention and Salient Edgeshttps://blog.csdn.net/qq_25602729/article/details/93786222?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165405366516780366516495%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=165405366516780366516495&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-93786222-null-null.142%5Ev11%5Econtrol,157%5Ev12%5Enew_style2&utm_term=Salient+object+detection+with+pyramid+attention+and+salient+edges&spm=1018.2226.3001.4187

• ---

  EDM平滑地将分割特征(由分割掩码引导)和差分特征(由边缘掩码引导)合并到解码器路径中
• à trous difference module (ADM)：原理类似图像处理中的非锐化掩蔽(Unsharp Masking)，即减去平滑后的图像，便于边缘提取，Unsharp Masking属于数字图像处理了

  

• Feature Refining Module（FRM） 保留有信息的特性，使用它们的全局上下文来校准解码器的特征

三、实验部分

1.消融实验

 2.对比实验

---

总结

最近看的几篇多任务分割的论文也都是这种边缘检测和分割相互辅助进行的，感觉亮点还是用在了注意力模块上了，暂时还是不知道怎么去借鉴这种论文找新方向，求大神指导啊！