学习记录——EGE-UNet、SCConv

EGE-UNet: an Efficient Group Enhanced UNet for skin lesion segmentation

上海交大 2023 MICCAI

  基于 U-Net 进行魔改，用于解决医学图像（尤其是皮肤病变）分割中面临的问题。由于它是针对移动健康应用开发的，解决了当前许多模型所面临的高参数和计算负载问题。
EGE-UNet融合了两个主要模块：

• Group multi-axis Hadamard Product Attention module (GHPA)
• Group Aggregation Bridge module (GAB)

  GHPA 利用哈达玛积注意力机制（HPA），通过将输入特征进行分组，对不同轴进行 HPA 操作，从多个视角提取病变信息。这种方法是受到多头自注意力机制(MHSA)的启发，而 HPA 则可以减少模型大小，因为它的复杂性被设计为线性的，而且不同于 MHSA 的二次复杂性。
什么是哈达玛积？ 转
  GAB 通过分组聚合将不同规模的高级语义特征和低级细节特征以及解码器生成的掩码进行融合，从而有效提取多尺度信息，这对医学图像的分割至关重要。

GHPA 模块

  HPA采用可学习权值，并对输入进行标准乘积运算以获得输出。随后，受MHSA中的多头模式的启发，我们提出了GHPA，它将输入分成不同的组，并在每个组中执行HPA。然而，值得注意的是，我们在不同的组中对不同的轴进行HPA，这有助于进一步从不同的角度获得信息。另一方面，对于GAB，由于医学图像中分割目标的大小和形状不一致，需要获取多尺度信息[19]。因此，GAB基于分组聚合将大小不同的高层和低层特征集成在一起，并在此基础上引入掩码信息辅助特征融合。通过将上述两个模块与UNet相结合，我们提出了EGE-UNet，它以极低的参数和计算量获得了优异的分割性能。

GAB

它接受三个输入：

• 低级特征
• 高级特征
• 掩码
  
    首先，使用深度可分卷积（DW）和双线性插值调整高级特征的大小，以匹配低级特征的大小。其次，我们将两个特征图沿着通道维度划分为四个组，并将低级特征的一组与高级特征的一组连接起来，得到四组融合特征。对于每组融合特征，掩码被连接。接下来，对不同的组应用带有3个核大小和不同扩张率的扩张卷积，以便提取不同尺度的信息。最后，沿着通道维度连接四个组，然后应用核大小为1的普通卷积以实现不同尺度特征之间的交互。

SCConv （自适应卷积）2020 CVPR

2020年提出的一个重名的卷积

SCConv: Spatial and Channel Reconstruction Convolution for Feature Redundancy

SCConv 2023 CVPR

本文提出一个新的卷积，可以集成到任意卷积模型，即插即用。作者从空间和通道的角度分别提出spatial reconstruction unit(SRU)和channel reconstruction unit(CRU)减少了特征冗余。最重要的是，不仅减参数还提升性能。

SCConv，结合空间和通道的重组卷积，此模块目标在于减少视觉任务中由于冗余特征提取而产生的计算成本。论文提出了一个新的卷积模块，名为SCConv，这个模块利用了两个组件：空间重建单元（SRU）和通道重建单元（CRU）。

• SRU 通过一种分离-重建的方法抑制空间冗余
• CRU 则采用一种分割-转换-融合的策略减少通道冗余

一个 latent-space 的表征，经过一个空间和一个通道组件的增强，获取更具有判别里的特征表示。

通过SRU和CRU，减少了特征图的冗余，同时实现了显著的性能改善，大幅减少了计算负载。

End

以上仅作个人学习记录使用