Attention U-Net: Learning Where to Look for the Pancreas论文笔记

attention u-net论文翻译笔记

摘要

[外链图片
我们提出了一种新颖的医学图像注意力们模型，它能自动学习聚焦在形状、尺寸变化的目标结构。用AG训练的模型隐形地抑制输入图像的非相关区域，同时强调对指定任务有用的显著性特征。这让我们不必去显式地使用级联CNN的组织定位模块。AG可以轻易的被集成到标准的CNN结构中，比如U-net模型，带有少量的计算开销同时能增加模型的敏感性和准确性。提出的Attention U-net结构在两个大CT腹部数据集中验证。实验结果表明AG一致性地在不同数据集和不同的训练数据量上提升了U-net的预测性能，同时保留了计算效率。开源代码。

介绍

AGs被广泛用于自然图像分析，知识图谱，对图像说明的自然语言处理，机器翻译，和分类任务。研究注意力图的起始工作是解释对于输入图像的输出分类得分的梯度。另一方面，可训练的注意力被设计和分类为软注意力和硬注意力。硬注意力，比如可迭代的区域建议和裁剪，通常是不可导的并依赖强化学习来更新参数，这让模型训练变的困难。[36]使用递归硬注意力来检测胸部X射线影片的异常。相反的，软注意力是概率地并利用标准反向传播，不需要蒙特卡洛采样。举一个例子，附加软注意力被用于句子到句子的翻译，并且最近较多的被应用于图像分类。在[10]中，通道级注意力被用于强调重要的特征维度，它是在ILSVRC2017图像分类挑战赛中第一名。自注意力技术已经被提出来避免对额外门信息的依赖。在[11,32]中，使用自注意力来指定分类的池化，它带来了更高地准确性以及鲁棒地图像分类性能。

贡献

• 我们进一步采用了[11]提出的注意力方法，通过提出基于网格的门（决定注意力，理解为注意力图），它允许注意力系数更加具体地针对局部区域。相比于基于全局特征向量的门这样提升了性能。此外我们的方法可以用于密集预测，因为我们没有采用自适应池化。
• 我们是首先在医学图像领域的前馈CNN模型中使用软注意力技术之一。这种提出的注意力们可以代替被使用于图像分类的硬注意力以及在图像分割框架中额外的组织定位模块。
• 提出一个标准U-net的扩展版来提升模型的对前景像素敏感性 不需要复杂的启发式算法。在U-net上的准确性提升，在不同图像数据集上的一致性可以被实验地观察得到。

方法

$x^l$代表输入feature map, $g$代表gate signal， $W_g:1\ast 1\ast 1,W_x:1\ast 1\ast 1$代表三维卷积核尺寸为$1\ast 1\ast 1$的卷积。
我的理解是 输入feature map和gate signal经过$1\ast 1\ast 1$的卷积核压缩，relu，再压缩，sigmoid增加非线性，得到与输入feature map相同大小的注意力系数，将注意力系数与输入feature map 相乘的到输出。

这是带有attention gate的u-net模型。与标准U-net相比，改进的地方在于skip-connection增加了attention gate， 而gating signal 是采用的较深层feature map。