Medical Transformer: GatedAxial-Attention for Medical ImageSegmentation文献学习笔记(有代码)仅供自用

小白一个,只是自己学习使用,有任何问题欢迎大佬指出!!

问题所在

1.ConvNets中,每个卷积核只关注整个图像中像素的一个局部子集,并迫使网络关注局部模式,而不是全局上下文。缺乏图像中的远程相关性(long-range dependencies) 

注:远程相关性,考虑一个像素的时候同时考虑其邻域,甚至是邻域的邻域

Medical Transformer: GatedAxial-Attention for Medical ImageSegmentation文献学习笔记(有代码)仅供自用_第1张图片

 卷积神经网络中错误的将背景分类为脑室

该文所讲

1.提出了一种门控位置敏感的轴向注意机制,即使在较小的数据集上也能很好地工作

2.介绍了Local-Global (LoGo)训练方法

Medical Transformer: GatedAxial-Attention for Medical ImageSegmentation文献学习笔记(有代码)仅供自用_第2张图片

代码理解:1.整体结构使用的是u-net结构,编码层替换为b图的结构

                   2.在b层中对高和宽分别进行编码

                                 

结果对比:

Medical Transformer: GatedAxial-Attention for Medical ImageSegmentation文献学习笔记(有代码)仅供自用_第3张图片

Medical Transformer: GatedAxial-Attention for Medical ImageSegmentation文献学习笔记(有代码)仅供自用_第4张图片

你可能感兴趣的:(transformer,学习,深度学习)