TransFuse论文

TransFuse[融合transformer和CNN用于医学图像分割]

摘要

基于CNN的方法在建模远程关系是存在局限性，现有的方法为了建模远程关系的手段是加深编码器结构通过更多的下采样操作来达到一个更大感受野，但是这样会造成网络的冗余并且会对是局部信息。所以需要一个更好的方法在可以有效就建模全局信息的同时维持底层的细节信息。文中提出，一个并行分支的架构TrasnFuse,他以并行的方式融合Transformer和CNN实现了一个浅层的网络架构来建模全局关系和底层细节。通过新提出的BiFuseion模块来融合Transformer分支和CNN分支。

网络架构

TrransFuse架构主要有三个部分组成：
①CNN分支
②Transformer分支
③BiFuseion融合模块
Transformer分支是一个完整的编解码结构，解码器部分就是使Transformer来建模全局信息，解码器部分采用SETR中的逐渐上采样PUP结构（类似于U-Net）。
CNN分支非常的灵活可以使用任何现成的网络架构，然后文中使用的resnet但是没有完全采用（没有那么深）。

BiFuseion融合模块将在两个分支当中得到的结果进行融合,将Transformer分支中经过transformer后得到的结果，以及在两步上采样过程中得到的结果分别和CNN分支中的第二层，第三层，第四层得到的结果进行融合，同时三个融合阶段得到的结果也需要进行融合，首先将第一阶段和第二阶段的结果结合得到一个结果，然后一二阶段结合得到的结果和第三阶段融合得到的结果进行结合。
BiFuseion具体融合过程首先将来自两个分支的结果经过Hadamard 乘积得到一个中间结果bp；其次将transformer分支的结果经过通道注意力得到结果g，将CNN分支的结果经过空间注意力得到结果X；最后将三部分结果（bp,g,X）在通道维度上进行拼接，拼接得到的结果在经过一个残差结构。

损失函数

损失分为三个部分，分别为其设置一定的权重（0.5，03，0.2）。

结论

TransFuse利用了CNN在建模空间相关性方面的归纳偏差和Transformer在建模全局关系方面的强大能力。