[深度学习论文笔记]Tumor attention networks: Better feature selection, better tumor segmentation

Tumor attention networks: Better feature selection, better tumor segmentation
肿瘤注意网络:更好的特征选择，更好的肿瘤分割

Published: March 2021
Neural Networks
论文：https://www.sciencedirect.com/science/article/abs/pii/S0893608021000861
代码：https://github.com/shuchao1212/TA-Net

摘要：
  与传统的ct扫描分析相比，肝脏肿瘤自动分割可以提供精确的肿瘤体积，减少观察者之间估计肿瘤大小和肿瘤负担的变异性，进一步帮助医生更好地选择肝病的治疗方案和监测治疗情况。在当前主流的图像分割方法中，多层多核卷积神经网络(CNNs)在生物医学图像分割中得到了广泛的关注，并具有优异的性能。然而，任意的特征图叠加使得cnn在模拟人类对特定视觉任务的认知和视觉注意时非常不一致。为了解决cnn缺乏合理的特征选择机制的问题，作者开发了一种新的、有效的网络结构，称为肿瘤注意网络(TA-Net)，通过在肿瘤注意层中嵌入多功能模块来挖掘自适应特征，以辅助肝脏肿瘤的分割任务。特别是，每个肿瘤注意层都能自适应地突出有价值的肿瘤特征，抑制三维和二维特征图之间不相关的特征。此外，可视化结果的分析表明，肿瘤注意模块的有效性和cnn对肝脏肿瘤分割的可解释性。此外，作者还探讨了信息融合中跳跃连接的不同安排方式。一项深度消融实验也进行，以说明不同的注意策略对肝脏肿瘤的影响。大量的实验结果表明，在临床基准数据的各种评价指标下，所提出的TA-Net以较低的计算成本和较小的参数开销提高了肝脏肿瘤分割性能。此外，还使用了另外两个医学图像数据集来评估TA-Net的泛化能力，包括与一般语义分割方法的比较和一个非肿瘤分割任务。

问题动机：
  肝癌是世界上记录的死亡人数最多的最常见癌症之一。生物医学/医学图像的检查是确定肿瘤大小和位置的关键步骤，因为在图像数据中包含了一系列病理。此外，图像引导治疗也成为许多肝脏相关临床应用的主要诊断策略。目前，造影增强CT是医院中应用最广泛的肝脏疾病成像和监测手段，成本较低。这是因为CT图像增强有助于观察肿瘤与健康肝实质的区别。然而，CT肝脏数据仍面临几个主要挑战:
(1)肿瘤和健康组织之间的模糊边界;
(2)肿瘤位置、形状和数量的多样性;
(3)肿瘤区域的强度差异（对比度差异）;
(4) CT肝脏数据数量有限，甚至在标注时存在一些人工错误。  此外，对于放射科医生来说，为了定位肝脏肿瘤和评估肿瘤负担，人工识别和分割肝脏肿瘤是一项繁琐和耗时的工作，而且不同的放射科医生之间的观察者之间仍然存在相当大的差异。因此，迫切需要一种精确的自动肝肿瘤分割工具来辅助医生选择最佳的治疗策略和监测治疗效果。
  最近值得注意的生物医学图像分析方法采用卷积神经网络(cnn)，它通过自动学习多层次和多层特征表示，显著提高了各种计算机视觉任务的性能。图像分类作为最早也是最流行的计算机视觉任务，已经成为生成和测试各种网络模型的主要“战场”。在CNN模型中，网络深度、网络宽度和网络基数这三个方面的突破备受关注。特别是最近的一项研究成果ResNet表明，简单地用跳过连接堆叠卷积层是构建极端深度架构的一种有效方法。基于Inception的多尺度卷积核增加网络模型的宽度是提高精度和性能的另一个关键因素。例外模型进一步证明，通过利用深度可分离卷积操作，提高网络的基数可以得到更强大的表示，这也减少了网络参数的数量。
  为了减少不相关特征的干扰，增强网络模型的可解释性，作者在肝脏肿瘤分割任务中引入视觉注意机制，突出重要的肿瘤相关特征，抑制不相关特征。在设计网络架构时，除了上述三个关键因素外，作者还研究了与注意力模块不同的方面来提高肝脏肿瘤的分割性能。例如，给定一幅图像，人类的视觉系统通常会选择性地聚焦于整个图像的显著部分，以捕捉场景的主要意义，而不会试图一次性处理整个场景。为了模仿人类所看到的，作者开发了一种新的肿瘤注意层，并将视觉注意过程分成两个子模块来处理每一层的大量特征图，其中一个是关注“什么”是有意义的特征来代表肝脏肿瘤信息，而另一个是找到肿瘤位置在特征图中的“哪里”。为了实现这一点，作者开发了一个通道注意模块和一个空间注意模块，分别关注“什么”和“哪里”。同时，基于U-Net架构在生物医学图像分割中的卓越特性，作者提出的肿瘤注意网络(TA-Net)中使用了不同的编码器模块和解码器模块的具有跳跃连接的特征融合操作。
  此外，从全局角度来看，一个健壮的分割网络还应考虑网络参数的总数以及实际应用中的训练和测试速度。因此，除了精确的分割性能外， TA-Net还利用网络参数总数、训练和测试速度等因素，通过不同的网络块设计和嵌入不同的关键模块，实现肝脏肿瘤分割。实验中对不同分割方法的这些影响因素进行了详细的比较。此外，作者还研究了两种常见的跳过连接策略，分别是残差连接和concat连接。然后，在不同的跳跃连接安排下，进一步分析不同注意策略在肝脏肿瘤定位和分割中的差异。此外，如图1和图8所示，将所提出的肿瘤注意方案嵌入到TA-Net后，网络的可解释性也得到了增强，并通过在作者的框架中显示注意块之前和之后的几个特征图进行了对比。

  图1：从TA-Net学习到的高级语义特征用于测试图像，特别是在引入肿瘤注意机制之前和之后。

  图8：肿瘤注意机制在肝脏肿瘤分割任务前和后的特征可视化。对于每个关注的地方，浅特征图和深特征图都在这里进行了比较和说明。此外，我们扩大了原始生成的特征图(28×28, 56×56和112×112像素)从不同的网络层为清晰度。

本文的主要贡献主要体现在三个方面:
  ①提出了一种精确的自动肿瘤分割方法，通过充分利用卷积神经网络和视觉注意机制，用于临床肝脏计算机断层扫描。与基于真实影像数据的最新方法相比，方法在估计肝脏病变的大小和位置时产生了更精确的分割。由于计算效率高、可解释性高、参数少，提出的肿瘤注意网络(TA-Net)将允许放射科医生和内科医生可靠地获取肿瘤负担分析，并协助选择治疗策略和实时监测治疗。
  ②设计了一种新的肝肿瘤分割网络结构，该结构考虑了当前流行的用于计算机视觉任务的深度网络的几个主要特点和用于生物医学图像处理的U型网络结构。特别是为了在CT扫描中准确定位和分割肝脏肿瘤，作者从不同的角度，利用编码器块(预先训练的网络)、各种模块和块重复多次使用（网络深度）、Inception Blocks和Context Blocks(网络宽度)，Decoder Blocks(参数缩减)，Skip Connections(信息融合)， Tumor Attention Blocks(视觉注意方案和网络基数)。可视化分析表明了该方法的有效性。
  ③对CT数据肝脏肿瘤分割中常见的两种跳跃连接(Residual Connection vs Concat Connection)和无跳跃连接进行了深入分析和比较。此外，基于这两种跳跃连接进行信息融合，对各种评估标准下的各种肿瘤注意候选者进行了详细的消融实验。研究结果表明，基于concat skip连接的通道注意和空间注意结合特定的网络结构，比本研究中的其他方法更适合提供精确的肝脏肿瘤分割。
  ④为了进一步评估所提出的TA-Net方法的有效性和泛化能力，在工作中引入了两个公开且更具挑战性的医学图像分割任务。此外，还比较和讨论了医学图像分割方法与一般语义分割方法的性能差异。此外，在实验中还使用了一个基准数据集上的非肿瘤分割任务。此外，还对数据增强技术进行了分析，以说明有或没有数据增强技术时TA-Net的性能。

思路来源：
  近年来，人们提出了许多基于深度学习模型的有效生物医学图像分割方法。在本节中，主要回顾那些与作者的工作密切相关的工作和最先进的方法，这些工作可以简单地分为基于cnn的网络和基于U-Net的网络。此外，还讨论了一些与卷积神经网络中的视觉注意方案密切相关的方法，即基于注意的网络。还讨论了医学图像分割任务与一般语义分割任务的区别，以及两种比较流行的语义分割方法。

①基于cnn网络：
  深度神经网络的早期突破大多可以追溯到2012年提出的8层AlexNet模型，该模型用于在ImageNet数据集上进行一般的图像分类任务，该数据集有100万张已标记的图像。然而，在生物医学图像处理中，许多视觉任务都需要产生定位结果，例如器官分割需要从整个输入图像中输出所有像素的不同类别标签。由于可用的生物医学/医学图像的稀缺，一些生物医学图像分割方法尝试训练有监督的学习模型，在每个像素周围输入一个小的图像patch作为输入数据，并带有相应的像素标签。尽管这种分割方法可以达到传统手工特征的可接受的性能，但它是一个非常耗时和缓慢的过程，输入所有像素的每个图像补丁有很多冗余。同时，由于图像小块大小不同，上下文信息也会发生变化，所以小块大小的选择也很难确定。另一方面,相比局部方法应用于图像补丁,一些全局方法采用完全整个输入图像卷积网络为每个像素输出分类结果，这也成为一个受欢迎的研究趋势图像分割任务。例如，FCN-8 s用上采样操作生成的2D特征图取代了标准cnn中最后的全连接层，以恢复与输入图像相同的分割尺寸。然而，这类FCN方法通常会产生模糊的分割结果，对图像细节很敏感。最近，一些u形网络被开发出来，通过跳过连接提供更详细的信息，例如U-Net。

②基于U-Net网络：
  U-Net有一个更优雅的架构，其中包括一个获取上下文信息的收缩路径和一个对称的扩展路径，以产生更精确的分割，就像一个Encoder-Decoder框架。U-Net实质上是对FCN模型进行了进一步的修改和扩展，利用转置卷积层和级联跳过连接来代替FCN中的这两部分。之后，基于u形结构，针对不同的图像分割任务提出了各种各样的变体。例如， CE-Net二维医学图像分割算法提出了一种上下文编码网络，以进一步捕获更多的语义特征，减少传统U-Net模型的空间信息损失。大多数的其他改进生物医学图像分割直接操作U-Net模型通过使用新的提出网络模块与其他视觉任务,如nnU-Net (2019), MultiResUNet (2020),SS-UNet(2019),R2U-Net (2019)和UNet++ (2018)。然而，最近提出的Attention U-Net (2018)为生物医学图像分割带来了一个新的研究方向。

③基于Attention网络：
  从本质上讲，基于注意力的网络可以看作是在标准CNN模型中嵌入了一些特定的学习机制，从而增加了原有网络的表征能力。额外的学习模块通常旨在利用全局信息，选择性地突出信息特征，抑制无关特征，也称为基于注意的网络。可以从卷积操作中得出结论，卷积层可以通过考虑全局信息以及每个局部感受域的空间和通道维数来提取信息特征。因此，近年来人们从cnn特征图的空间相关性和通道相关性两个方面进一步提高了cnn的表征能力。例如，Attention UNet (2018)设计了一个注意门，强调医疗对象的显著特征，抑制不太有用的区域，这实际上是一种通过添加两层逐次卷积操作的空间注意模型。另一方面，SENet体系结构也被用于研究卷积输出中各种通道之间的相互依赖关系(2018)。最近，尽管有一些最近的研究提出了融合两个注意力模块。而在网络模型中，注意模块的位置，甚至空间注意和通道注意之间的融合策略都是不确定的。特别是，设计和开发一种注意机制来定位肿瘤特征，引导网络在整个CT层片中对肿瘤区域进行分割的适用性还没有明确的提出和研究。

④通用语义分割网络
  医学图像分割任务和一般语义分割任务的区别，包括它们的方法。可以看出，以往医学图像分割的研究成果大多没有与一般的语义分割任务和方法进行进一步的分析和区分。本文从以下几个方面对这一问题进行了探讨:
  (1)与一般的语义分割任务相比，医学图像分割任务没有大量标注的医学数据。因此，必须考虑一些简单有效的模型，如UNet，这些模型在实际应用中已经在许多医学图像分割任务中得到了验证。此外，在医学图像处理任务中，一些先验知识在设计新的基于学习的模型中也很重要，包括深度神经网络。
  (2)医学图像分割任务通常要求较高的准确率，但在深度神经网络中，在有限的医学数据但有大量参数的情况下，很难判断经过训练的模型是否真的更好或过拟合。
  (3)不同的医学模式之间有不同的医学图像采集协议，甚至相同的医学模式也有不同的设备。此外，不同的操作人员使用相同的设备也可以产生不同的医学影像数据。这些因素通常导致训练后的模型在另一个数据集上失败。相比之下，一般的图像没有这些问题。因此，UNet在这方面是一个很好的网络，尽管它看起来简单，但它在对抗过拟合方面找到了一个很好的权衡。
  (4)另一个挑战是数据维数，医学数据通常是三维体积，而训练三维神经网络仍然是一项具有挑战性的任务。此外，从网络架构的角度来看，两类分割神经网络在解码器路径的设计、损失函数的选择等方面也存在着显著的差异。
  尽管这两种类型的任务有许多不同之处，但语义分割任务中一些新颖的网络设计确实值得在医学图像分割任务中借鉴。例如，PSPNet (2017)提出了一个金字塔池化模块，通过基于不同区域的上下文聚合来挖掘全局上下文信息，通过像素级预测对场景解析任务产生良好的结果。之后，DeepLabv3+结合空间金字塔池模块和编解码器结构的优势，进一步扩展DeepLabv3，在一般语义分割任务中获得更清晰的对象边界(2018)。
  总的来说，利用生物医学图像分割方法的这些贡献，以及一些先进的网络块，作者提出了新的TA-Net，以探索视觉注意机制在提高肝脏肿瘤分割任务对CT数据的性能方面的影响。

模型方法:
提出的肿瘤注意力网络：
  在本文中，提出了一个网络架构，肿瘤注意网络(称为TA-Net)。更新并扩展了u型架构，具有不同的模块用于不同的功能，使其能够在小型生物医学图像数据集上工作良好，并产生更精确的肝脏肿瘤分割(见图2)。

  图2：TA-Net体系结构在肝脏肿瘤分割中的应用。下面是来自不同部分的几个关键网络块，图中还列出了所建议的TA-Net的一些主要符号。需要注意的是，feature map的最低分辨率是14 × 14像素，这代表了更深层次的语义特征。

①肝脏肿瘤的通道和空间注意模块：
  不同于之前提出的注意模块，大多数只探索通道注意或空间注意，TA-Net注意力模块旨在沿着两个主要维度强调肝脏肿瘤的有意义的特征选择:通道和空间。从这个角度出发，在设计轻量级注意模块时，进一步增强了特征注意在两个维度上的有效性。此外， attention模块全局利用编码器和解码器路径中的所有浅高分辨率特征图和深高语义特征表示，获得更准确的分割结果。肿瘤注意模块的详细结构如图3所示。

  图三：肿瘤注意层及其输入信息的插图。首先，将肿瘤的浅层细节特征、纹理特征和深层语义特征结合起来，实现了肿瘤注意机制。然后，依次进行通道注意和空间注意操作。这样，肿瘤注意层可以通过进一步利用不同feature map之间的通道间关系和空间间关系，更好地生成注意图。

  为了说明肿瘤注意力框架，仅以注意力块为例。对于给定的输入特征映射x，依次执行通道注意分支和空间注意分支，其中，通道注意力块集中在有意义的特征“什么”上，代表肝脏肿瘤信息;而空间注意力块则是寻找特征图中肿瘤位置的“哪里”。此外，输入x由来自信息编码器路径的浅层特征xSF和来自之前位于信息解码器路径(本研究称信息融合)的瓶颈解码器的深度特征xDF组成，具体如下:

  其中符号[xSF,xDF]表示两个特征张量及其通道维数的连接，b是训练的网络时批量的大小，c是特征映射(通道)的数量，w×h是一个特征映射的大小。

通道注意子模块：
  该子模块试图为每个通道分配一个特殊的响应，主要目的是探索和发现肝脏肿瘤有价值的特征类别，抑制不相关的特征图。例如， cnn的中间特征张量中不同的通道代表不同类型的特征，但是，有些通道可以从输入的腹部CT图像中提取出更有意义的肝脏肿瘤特征，而其他通道则可能聚焦于其他组织。因此，这个阶段可以从通道维数的角度进一步区分这些不同的通道，这些通道具有不同的特征类别。此外，这一阶段还可以探索通道间的关系，并聚合相关特征图，以增强网络的代表性。为了实现这一目标，图3中构造了两个并行分支，包括平均池化操作和最大池化操作。池化操作可以在每个通道中编码全局信息，因此在通道注意子模块中使用了两种不同的全局池化机制。这里，平均池化分支可以在梯度反向传播过程中对每个feature map的所有点进行反馈。另外，在反向传播过程中，最大池化分支只能在特征映射中响应最大的地方给出反馈，这更有利于在肿瘤分割任务中聚焦肝脏肿瘤信息。在两个平行分支之后，分别得到两个特征描述CAP(x)和CMP(x)。接下来，为了捕获多个通道之间的相关性，作者使用一个共享的多层感知器(MLP)来实现这一步，该感知器有两个隐藏层(即图3中的FC1和FC2)。为了从MLP中减少参数数量，将第一隐藏层输出的神经大小设置为输入通道的一半，即Rb×c×1×1。更重要的是，两层MLP可以共享两个并行全局池分支的参数，以减少参数开销。后，通过应用sigmoid函数σ2来添加这两个特性描述符，得到通道注意图AttCA(x;θCA)，公式如下:

  其中σ1为ReLU激活函数，θCA= {WFC1, bFC1,WFC2,bFC2}为通道注意子模块的主要参数，特别是共享MLP阶段的主要参数。之后，可以使用肝脏肿瘤注意图，通过逐元素乘法⊗得到标定后的特征图XCA，可以突出有用的特征类别，忽略与肝脏肿瘤无关的特征类型:

空间注意子模块：
  从上面的通道注意方案可以看出，对于肝脏肿瘤分割任务，它只是让我们的模型知道哪些通道是重要的，哪些通道是无关的，而不能在整个腹部CT输入图像中提示肝脏肿瘤的空间位置。为了解决这一问题，进一步提出了空间注意子模块，重点定位肿瘤区域，然后空间注意步骤通过生成空间注意图AttSA(XCA;θSA)，将高因子分布在肿瘤区域，低因子分布在非肿瘤区域，用于肝脏肿瘤分割。为了实现肿瘤空间定位，聚集上下文信息是一种被广泛使用的策略，其目的通常是降低通道的维数来探索肿瘤的上下文信息。例如，利用标准卷积层或扩张卷积层可以构建有效的空间地图，但这些技术往往会显著增加参数开销。相比之下，空间注意地图是通过使用跨通道维度的全局池操作，然后利用基于7×7内核大小的卷积层的大型接收字段的上下文信息来探索的。
  作者首先利用全局平均池操作和最大池操作以及通道维数，分别生成两个空间特征描述符SAP(xCA)和SMP(xCA)。注意，空间注意子模块的输入是通道注意子模块的输出。然后，将它们连接起来，将通道大小增加为2，目的是将两种类型的空间特征图进行整合。在此基础上，提出了一种基于大接收域的卷积运算，用于跨空间位置提取上下文信息。更重要的是，这两个步骤可以增强肿瘤的表示，以及全局空间肿瘤位置之间的通道维数和上下文信息聚合。最后，应用sigmoid函数可以推断出肝肿瘤区域的空间注意图AttSA(xCA;θSA)，如下图所示:

  其中θSA= {WConv,bConv}为空间注意子模块的所有参数。可以观察到，在TAnet的注意模块中添加的参数比其他注意方法的参数要少，并且取得了比它们更好的表现。注意，在这两个注意子模块中使用的sigmoid函数被设置为使注意映射中的所有值范围从0到1，其中越大的结果意味着越高的注意响应，反之亦然。
  在这个空间注意阶段之后，输出的特征图可以通过下面的元素乘法进一步重新校准。

  简而言之，将通道注意子模块与空间注意子模块逐次结合，从输入x计算出肝脏肿瘤分割任务的标定特征图Xout，如下所示:

肿瘤注意力层：
  相比之下，其他基于注意力的方法，它们将注意力模块放在网络的瓶颈或每个卷积块或整个骨干网络的末端，TAnet选择性地将注意层放置在浅高分辨率特征和高级语义特征之间的信息融合步骤之后。这是因为之前的注意力策略通常通过将这些注意力网络模块嵌入到标准cnn中来显著增加参数的数量。另外，密切相关的一项研究，Attention U-Net (2018)仅将注意力机制集中在浅层特征图上，通过开发一个基于注意力的模块，忽略了高级语义特征的选择性。而TANet的肿瘤注意层可以精确嵌入到这些不同层次和语义特征图的关键交点中，如图2所示。
  肿瘤注意层的输入数据与其他基于注意层的方法有很大的不同，旨在分别从编码器和解码器路径集成所有浅层高分辨率特征图和深层高语义特征图。信息编码器路径的浅层可以提供更详细的肝脏肿瘤信息，特别是一些小肿瘤。更重要的是，详细的信息还可以弥补特征提取过程中经过预先训练的ResNet编码器模块连续进行最大池化操作所造成的信息损失，如图2所示。深层主要代表瓶颈解码器模块恢复的特征图。在之前的瓶颈解码器模块中使用的转置卷积操作是学习一种自适应映射，将高语义特征恢复为更大的高分辨率和更详细的信息的特征映射。然而，实验中的消融研究表明，仅使用深层来恢复特征(即没有跳过连接)进行肝脏肿瘤分割，不能比结合浅层详细信息获得可接受的性能。最后，在瓶颈解码模块和肿瘤注意力层之间的替代组合，可以学习在这个信息融合步骤的基础上组装一个更精确的肝脏肿瘤分割。

TA-net架构：
  关于TA-Net架构的深度，总共有62个主要的网络层，其中只考虑卷积层和全连接层。如图2所示, TA-Net不仅可以深化网络层来增强模型的表示能力,而且可以减少网络参数的总数,提高训练和测试速度对肝脏肿瘤分割设计,与各种网络块嵌入不同的关键模块。

Pretrained ResNet编码器：
  在这里，信息编码器路径是对输入的腹部CT图像进行多种特征编码和提取的主要组成部分之一，它是基于ResNet结构的。使用部分预先训练过的ResNet-34来构建这个信息编码器路径的主要原因是，来自ResNet的身份连接可以避免随着网络深度的增加而出现梯度消失问题和网络退化问题。此外，经过良好预训练的参数还可以提供更好的初始化值，这有助于在大数据集上对各种类型的特征进行训练，提取出高质量的特征。因此，该模块具有获取大量有意义且具有各种可能性的肝脏肿瘤特征的意义。如图2(1)所示，每个编码器块被设计为使用两个具有3×3内核大小的连续卷积层，外加一个跳过连接。

Multi-scale Inception Extractor：
  上述信息编码器路径虽然可以提取多层次、多样化的特征，但仍处于有限的缩放范围内，有几个3×3卷积和池化操作。为了减轻这一限制，通过嵌入带有残留连接的Inception块，使特征编码路径更深入和更宽。相比之下，在这个过程中，利用多尺度的空洞卷积（atrous卷积层）来进一步捕获更多的高级特征。这里采用空洞卷积操作对稠密的肝脏肿瘤进行分割，因为它可以在一定程度上减少语义信息的丢失，并且在之前的工作中可以找到详细的信息。同时，由于我们研究中使用的真实肝脏肿瘤数据集包含了来自世界各地多个临床部位不同肝脏疾病阶段的不同患者的图像，因此可能存在不同大小的肿瘤。因此，该模块也可以用于提取不同大小肝脏肿瘤的多尺度上下文语义特征，以覆盖所有可能大小的肝脏肿瘤。如图2(2)所示，在Inception Block中，使用多尺度和多个小的空洞卷积核来构建这个更高级的特征提取器。综上所述，该模块完全集成了Inception结构、残差连接和几个空洞卷积运算，可以提供不同大小的接收字段，其中大的接收场可以对肝脏大肿瘤产生更抽象的特征，而小的接收场更适合肝脏CT片上的小肿瘤。

Multi-kernel Pooling Context Extractor：
  为了从上述模块输出的特征映射(如空间金字塔池化)中提取上下文信息，这些多尺度和丰富的特征通过使用共享卷积层的不同大小的池化操作进一步编码和收集。请注意，共享卷积层依赖于1 × 1核为每个池化操作生成1通道输出，然后利用双线性插值将输出上采样到与原始输入特征映射相同的大小。最后，所有这些生成的上下文信息都通过残差连接与它们的原始输入特征连接起来。本文中提取全局上下文特征的接受域大小分别为2 × 2、3 × 3、5 × 5和6 × 6，如图2(3)所示。总之，该模块可以从不同角度和尺度进一步提取和收集全面的上下文特征，并保留更多的空间信息，为肝脏肿瘤的准确分割提供依据。

Bottleneck Decoder：
  该模块是信息解码器路径中的两个关键组件之一，旨在从更抽象的语义特征中恢复高分辨率的信息和特征图大小。基于前面对高级语义特征和上下文信息进行编码的步骤，该过程开始使用一个非常高效的模块来恢复它们，该模块称为瓶颈解码器，在本任务中由四个解码器块组成。此外，为了减少体系结构中的参数总数，选择了瓶颈结构来构造每个解码器块，如图2(4)所示。在解码器块中，有两个1 × 1点向卷积运算以减少通道数量，并在两层之间添加一个3 × 3反卷积层，以解码比前一层输入特征更大的特征映射。此外，由于最大池化操作在特征编码路径过程中会造成信息丢失，本文还研究了跳跃连接，通过从信息编码器路径的浅层提供一些详细的特征信息来弥补信息解码器路径阶段的信息丢失。但是，与Attention UNet和CENet中使用的连接不同，TA-Net在融合浅高分辨率特征和深高语义特征时，使用concat跳跃连接而不是残差跳跃连接，进一步提高了肝脏肿瘤分割的性能。该策略的实验分析可以在消融研究中找到。更重要的是，提出的注意模块也进行了信息融合过程，并增强了信息融合。

注意力模块：
  在每个注意模块之前，框架中总有一个信息融合的步骤，可以综合利用各种类型和层次的功能。然后，如图2(5)所示，提出后续的注意模块主要关注肝脏肿瘤特征的选择，通过嵌入视觉注意方案，从特征通道和特征空间位置两个角度生成软注意地图。在TA-Net架构中，总共有三次信息融合操作，因此实现了三个相应的肿瘤注意模块，生成与肿瘤相关的特征，抑制与肿瘤无关的特征，进一步标定特征图，用于肝脏肿瘤的分割。
  现在，来解释一下注意模块在图2中的位置。正如我们在预训练的ResNet编码器模块中看到的，有4个大块不同的通道，只有最后一个512通道的块被输入到下一个多尺度Inception提取模块。因此，为了充分探索剩余的三个编码块提供不同级别的特征信息，作者利用它们将前三个瓶颈解码块的输出进行不同级别的信息融合操作。因此，这也是添加三个肿瘤注意模块的原因，以协助重新校准提取的特征图为肝脏肿瘤分割任务。

实验与结果：
数据和实验
肝脏肿瘤数据集及数据增强：
  实验中使用的数据集是对比增强腹部计算机断层扫描，这是一个新的、公开可用的肝脏肿瘤分割数据集。该数据集包含从世界各地多个临床站点收集的131个CT扫描结果。131名被研究对象被诊断为不同类型的肝脏肿瘤疾病，包括原发性肿瘤疾病、继发性肝脏肿瘤和转移性肝脏肿瘤。这些扫描数据也来自不同的肝脏肿瘤阶段(治疗前和治疗后)，通过使用不同的CT扫描仪和采集协议，在分辨率和成像质量上存在很大差异，因此它们带来了进一步的挑战。此外，真实的临床数据通常包括一些干扰模式识别的成像伪影。总体而言，基于131名研究对象的三维CT体积，轴向成像分辨率介于0.56 mm ~ 1.0 mm之间，z向成像分辨率介于0.45 mm ~ 6.0 mm之间。因此，在本肝脏肿瘤分割数据集中，z方向的2D切片数为42 - 1026。
  病例肝脏肿瘤数在0 ~ 75之间，中位数和平均值分别为3和6.93。肝脏肿瘤大小38 ~ 349 cm3，中位数2.49 cm3，平均值17.56 cm3。同时，不同研究对象的不同CT切片，肿瘤的Hounsfield Unit (HU)值也不同。CT影像数据中反映肿瘤体素强度的HU值介于0 ~ 98之间，肿瘤中位数为29.61，平均结果为31.94。在131张CT扫描中，总共提取了7190张含有肿瘤信息的切片。对于肿瘤标注的质量，首先，每个3D CT体积都已经由来自世界各地相应临床部位的经验丰富的放射科医师标注。然后，通过盲法验证测试，所有的注释结果都经过另外三位专业认证放射科医师的进一步检查和验证，生成每个肝脏肿瘤的最终ground-truth boundary。所有带注释的CT数据都保存在一个单独的序列中。Nii文件的每个研究对象。注意我们的任务是肝脏肿瘤的分割任务，所以我们忽略了其他腹部CT片中没有肿瘤标注的部分。为了训练和测试所有的肝脏肿瘤分割算法，我们将7190标记的CT数据按照4:1的比例随机划分为训练集和测试集。在这里,不应该提到一个验证集分割在这项研究中由于生物医学数据有限,但相反,使用一个早期停止策略训练集,这也是一个有效的方法训练一个健壮的模型验证。
  数据增强是生物医学/医学图像分析的关键步骤，因为与一般图像处理任务相比，可用的医疗数据集缺乏。虽然TA-Net在原始训练集上没有使用任何增广数据，但在本任务中也使用了数据增广，使所有比较先进的方法显示出最佳的肝脏肿瘤分割能力。同时，数据增强也可以降低所有比较方法的过拟合风险。因此，为了推广TA-Net模型，降低所使用数据对特定任务的特异性，在本研究中，使用标准和通用的数据增强技术，包括HSV颜色空间中的图像对比度变换、图像移位、缩放、aspect、旋转、垂直翻转和水平翻转。然而，不同于以往使用数据增强技术创建更大、固定大小的增强数据集的工作，提出利用动态数据增强策略，在训练过程中提供不同时期之间不重复的数据，这可以进一步挖掘数据增强的潜力。

基线方法：
  本节简要介绍了几种流行的和最先进的生物医学图像分割方法作为基线算法，在我们的肝脏肿瘤分割任务的比较实验中。这些具有代表性的模型简要总结如下:
U-Net (2015): U-Net是u形网络的祖先，是一种经典且被广泛应用的生物医学图像分割方法，它为单向前向计算的全局图像分割方法带来了突破。它也是一种利用全卷积网络进行图像分割的代表性方法。

  Attention-UNet (2019):这是一种新的、基于注意力的网络模型，用于生物医学和医学图像分割任务。虽然这种最先进的细分模式也将视觉注意方案整合到传统的U-Net中，但其注意策略和放置注意门模块的位置与我们的不同;在相关的工作和实验分析部分可以找到它们的区别特征的详细讨论。

  R2U-Net (2019): R2U-Net是一种最新的框架，它利用了循环卷积神经网络进行医学图像分割。此外，该方法还将残差网络嵌入到U-Net结构中，即所谓的R2U-Net中，通过基于递归残差卷积层进行特征积累，增强了分割任务的特征表示能力。

  CE-Net (2019):这是一种最新的、新颖的2D医学图像分割方法，其目的是通过从以前的U-Net或基于U-Net的模型连续池化操作来弥补空间信息损失。为此，CE-Net提出了上下文编码器网络，将原有的U-Net组件替换为不同类型和功能的模块。此外，在一般的图像分类任务中，还采用ResNet34中基于迁移学习的网络参数对CE-Net的部分部分进行初始化。请注意，还使用这个模型作为构建TA-Net体系结构的主干。

  Nested UNet (2018):目前，最近提出的具有嵌套、密集跳过路径或深度监控的网络已经成为计算机视觉任务的另一个主要趋势。对于这种情况，选择了最先进的Nested UNet算法作为基线方法，以与我们的算法进行比较，该算法将上述讨论的所有方面整合到用于医学图像分割的网络体系结构中。

  总的来说，为了更好地证明TA-Net方法在肝脏肿瘤分割中的有效性，从多个角度评估这些具有代表性的基线方法，即FCNs、U-Net及其变体、基于注意力的模型、循环cnn和残差网络、带有迁移学习的上下文编码器模型、密集的跳跃连接和深度监督。

参数设置和评估指标：
  实验设置：
  在本研究中，观察到，在肝脏肿瘤分割任务的训练阶段，所有的分割方法都会在300个epoch内收敛。因此，将最大epoch设置为300，同时使用了早期停止机制(超过20个epoch)来训练所有这些比较算法的公平性。此外，学习率初始化为2e−4，然后根据收敛准则，将变化阈值设置为10 epoch，对学习率进行动态更新。注意，除了超过最大epoch值外，当学习率下降到小于5e−7时，训练过程也将停止。同时，采用了小批量Adam而不是随机梯度下降(SGD)优化函数。一次向前操作的批量大小设置为8个输入CT切片及其相应的地面真理。在这里，使用4个GPU，每个GPU将处理2个图像对。硬件资源基于4个NVIDIA Tesla K80加速器，12核Intel Haswell E5-2670v3 cpu，其中每个K80 GPU卡有4992个NVIDIA CUDA核，也由两个逻辑图形处理器组成。更重要的是，不同于最近发布的生物医学和医学图像分割方法利用特定的Dice损失函数来训练他们的模型，在TA-Net算法中，只使用普通的二元交叉熵损失函数来评估和指导训练过程。
  此外，对于本研究中所有的比较方法，都遵循它们最初发表的论文和代码进行训练和测试。其他设置与TA-Net相同，以便对肝脏肿瘤数据集进行公平比较。最后，在测试每个训练良好的分割方法时，如果每个像素的预测值大于0.1，则将其生成的预测值视为1(肿瘤元素)，否则属于值为0的非肿瘤元素。分类任务中的阈值一般设置为0.5，但生物医学和医学影像切片中一些疑似疾病区域对医生和患者也非常重要。不同分割方法生成的所有预测的设置都是相同的。作为一种补充验证方法，还进行了另一项比较，使用自动生成阈值策略而不是基于每个预测的肿瘤热图的固定阈值(见结果与讨论部分)。

评价指标：
  在图像分割领域，有常用且被广泛使用的评价指标。在本研究中，也使用所有这些指标来衡量不同细分结果的性能。为了说明各个评价指标的影响,将展示几个关键定义通过对比地面真理(红线)和自动分割结果(蓝线)在图4中,哪些是真阳性(TP),假阳性(FP),真阴性(TN)和假阴性(FN),分别。在例子中，TP是指分割后的结果图中真实检测到的肿瘤区域，如图4中的白色部分。FP是假分段的肿瘤区域，我们也称之为过分段的区域。同理，TN代表真实分类的非肿瘤区域，图4中的黑色区域为TN, FN为未分割的肿瘤像素。基于这些定义，我们分别引入以下评估指标用于肝脏肿瘤分割任务。

  图4：肝肿瘤分割评价指标的几个重要定义(TP、FP、TN和FN)。红线内的区域表示CT切片中发现的肿瘤的ground truth，蓝线内的区域表示基于特定分割方法对肿瘤的自动分割结果。

  Dice相似系数是医学图像分割中最常用的评价指标。在研究中，度量ground truth和预测结果map之间的常见肿瘤像素与两者的肿瘤像素总数的比值，定义如下:

  Hausdorff距离表示两个样本集之间的对称距离。它主要用于测量地面真值与自动分割结果的拟合程度。因此，也称为最大对称表面距离(MSD或MSSD)。作为一个例子的豪斯多夫距离地面真理分割的结果,首先需要计算最短的距离为每个像素的所有地面实况肿瘤检测肿瘤像素,然后获得最大的豪斯多夫距离H (Pixelsin (TP + FN), Pixelsin (TP + FP))。因此，Hausdorff距离的最大对称曲面距离定义为:

结果和讨论:

整体性能：
定量分析
  现在从定量分析的角度对不同的肝肿瘤分割评价标准进行整体比较。从表1中我们可以看出，在每个评价指标下， TA-Net都优于目前最先进的分割方法。特别地， TA-Net将平均Dice系数值比原始U-Net模型提高了8%，对于肝脏肿瘤区域，精度提高了9%，灵敏度提高了4%。虽然通过嵌入注意门模块，Attention UNet的表现也明显优于U-Net，但从每个评价指标来看，它的性能比我们的TA-Net低约3%。然而，得出结论，基于视觉注意的网络可以提高腹部ct数据肝脏肿瘤分割任务的特征代表性能力。如表1所示，嵌套UNet模型在肝脏肿瘤分割中与传统U-Net模型的分割效果相似，基于R2UNet的递归残差卷积网络在分割中也略好1%。与此形成对比的是，CE-Net在各种评估指标下也取得了具有竞争力的表现，总体表现为1.2%，略低于我们。说明基于迁移学习的参数初始化方法，加上改进的功能网络模块，可以进一步提高肝脏肿瘤CT数据的分割性能。最后，基于Hausdorff距离和Jaccard指数，提出的TA-Net也优于其他算法，预测分割输出与ground truth之间的距离最短(29.32像素)，重叠率最高(72.90%)。总之，结论是，视觉注意机制和新的多样性网络模块的整合可以提供更准确的分割，这也验证了设计TA-Net的初始目标以及在肝肿瘤分割初期的观察和假设。

  表1使用常用指标进行肝肿瘤分割的最新医学图像分割方法的性能比较请注意，粗体显示的结果表示不同指标下的最佳性能。(阈值= 0.1)。

定性分析：
  此外，还进行了定性分析，详细展示了这些最先进的肝脏肿瘤分割任务方法之间的差异，如图5所示。从测试集中选取具有代表性的样本，根据以下不同的角度，包括肿瘤大、肿瘤小、过度分割(假阳性)、非分割(假阴性)和完全失败的样本。

  首先，对于大的肿瘤分割(见图5(1))，R2U-Net和Nested UNet通常只给出部分肿瘤分割，这可能与两种模型的特征积累或深度监控策略有关。虽然U-Net、Attention UNet和CE-Net能够准确预测图5(1-1)中较大的肿瘤区域，但在图5(1-2)所示的复杂CT层位上效果不佳。然而， TA-Net可以清晰地分割CT切片与精确的分割，看起来像他们相应的地面真理。在某些情况下，腹部CT片上的一些小肿瘤即使是放射科医生肉眼也很难观察到，如图5(2)所示，但这些早期的疾病信号或肿瘤信息对于患者早期发现是很重要的。大多数的分割方法在这些病例中不能提供稳定和精确的性能，不像TA-Net在小肿瘤方面优于其他方法，没有任何过分割或非分割的病例。总的来说，无论是大肿瘤还是小肿瘤， TA-Net都足够强大，能够为肝脏患者准确定位和分割肿瘤。
  接下来，图5(3-1)和(3-2)显示了两个用于肝脏肿瘤分割的过分割样本。在这些情况下，我们观察到只有我们的TA-Net, Attention UNet和Nested UNet能够输出精确的分割结果，就像第一种情况下的ground truth一样。然而，除了我们的模型，所有的分割模型在第二例中都因为过度分割肿瘤信息而失败。这也意味着过度分割的结果越多，假阳性率越高，这将导致临床应用中的缺失表现。同样，图5(4)显示了两种方法对非节段病例的比较，在第一个CT病例中，除了TA-Net，大多数方法只准确定位了大肿瘤，忽略了小肿瘤，而在第二个CT病例中，U-Net, R2U-Net和Nested UNet中又出现了这种情况。这种比较不同分割方法的观点可以明确突出模型对假阴性病例的能力，这是在肝脏患者CT扫描体积上发现不健康区域的关键特征。最后，前五种算法的分割结果完全失败，如图5(5 - 1)所示，稍微放大一点可以清楚地看到这一点。同时，U-Net、CE-Net和Nested UNet在第二个样本中也产生了错误预测(图5(5 - 2))。
  总的来说，这些领先的分割方法的定性和视觉对比表明，所提出的TA-Net比其他先进的方法更好地处理来自肝脏肿瘤CT数据的各种挑战，表明潜在的分割鲁棒性。

消融实验：
  进行了一项消融研究，以支持主张，即提出的注意方案比其他注意策略在肝脏肿瘤分割任务中具有更强的特征选择性。同时，还结合了不同的跳过连接策略来揭示肿瘤注意网络(TA-Net)的真实潜力。本次消融研究是为了进一步验证第3节所述的我们的研究方法。为清晰起见，对图2所示的模型图进行了简化，参见图7。在这里，列出了两种流行且被广泛使用的跳跃连接方法来展示肝脏肿瘤分割的性能比较，分别是残差连接(2018年)和Concat连接(2018)。此外，还增加了无跳跃连接实验，进行了全面的对比分析。在图7的左边，除了无跳过连接模型外，图7还给出了两种无注意模型的图，分别是A- Residual Connection(模型A)和B- Concat Connection(模型B)。然后，所有的注意试验都是基于两种连接模型(A和B)选择并嵌入不同类型的注意块，如图7中右侧所示。

  图7：肝脏肿瘤分割中不同跳跃连接方法和注意策略的详细网络结构分析。
  以图7左下角为例，只关注第三个注意位置(用粉红色虚线矩形表示)，将其替换为不同的注意块，然后根据这些修改和试验，将肝脏肿瘤分割结果报告在表2中。对于这两个跳跃连接，使用相同的注意块，包括具有平均池化的通道注意(AttC1)，具有平均池化和最大池化的通道注意(AttC2)，具有平均池化和最大池化的空间注意(AttS2)，以及具有平均池化和最大池化的通道和空间注意(AttC2& s2)。最后，通过融合两个跳跃连接(A和B)和四个注意块(分别为A- att C1、A- attC2、A- attS2、A- attC2 &S2、B- attC1、B- attC2、B- attS2、B- attC2 & S2)得到8种不同的网络结构。因此，本次消融研究旨在对几个问题给出明确的定义，如是否增加跳跃式连接;哪一种跳跃连接更合适;是否植入注意力计划;哪种注意力策略更可取。因此，本次综合实验不仅探索了这些成分在肝脏肿瘤分割任务中的有效性，也为其他视觉任务带来了一些启示。

  表2：不同跳跃连接方法和注意策略与常用指标在肝脏肿瘤分割中的性能比较请注意，粗体数字表示不同指标下的最佳结果。
  表2显示了该消融研究与各种评估指标的详细和全面比较。首先，可以看到，在没有跳过连接操作的情况下，网络模型的性能相对较差，例如，其Dice值比B-AttC2&S2的最佳结果下降了约5%，Jaccard Distance评分和Precision评分也下降了约5%。该模型可以看作是传统的基于FCNs的编解码器模型，其性能也支持了提出的猜想，即浅层可以提供高分辨率的特征，结合解码器模块的输出组合出更精确的分割结果。其次，残差连接组(A)的另一个有趣发现是，在所有类型的评价标准下，各种注意块都低于无注意模型(A)。相比之下，在Concat连接组(B)中，表现相反，B达到了与其他注意模型相比的平均表现。该研究小组的一个重要发现是，采用两种池化操作融合通道和空间注意的b - attC2 & S2模型以80.95%的Dice评分、27.47像素Hausdorff距离、71.96% Jaccard指数、75.33%的Precision评分、90.88%的Recall评分和82.38%的F1评分优于其他模型。甚至比最好的A-NoAttfrom剩余连接组(A)。这一结果表明,残余的学习策略并不是一个最佳选择利用浅特性和深功能肝肿瘤分割,然而,它们之间的连接通过添加一个全面关注模块可以取得更好的分割。
  在此基础上，总结了以下研究结果:残差连接不仅改善了反向传播过程中的梯度耗散，而且还将较低层次的信息传递给随后的所有高层。当需要不同的维度来组合新想法时，串联连接是有用的。具体来说，如表2所示，目标是选择与肿瘤相关的特征，忽略与肿瘤无关的特征，然后将这些有用的特征结合起来，生成更准确的分割预测。因此，级联连接更适合于网络框架，注意机制也进一步提高了原始级联连接的性能，如表2所示。对于实验中的残差连接，在不使用注意层对学习到的feature map进行处理的情况下，其性能会更好，因为这些feature包含了当前层中的各种类型的feature(即共存)。相比之下，在上面添加额外的注意操作时，分割的性能会下降，如下表所示。总的来说，如果在分割网络中采用拼接连接，所提出的注意层可以进一步提高分割预测。

学习特征和可视化：
  肿瘤注意网络旨在对提取的所有特征和各种特征添加多层次的特征选择功能，突出有意义的特征，抑制无用的特征，进一步提高计算机断层扫描肝脏肿瘤的分割性能。将学习到的特征可视化，以便对三个代表性样本的注意块前后进行比较。
  特征可视化分析可以清晰地观察到肝脏肿瘤分割任务注意模块前后的特征变化。可视化对比还表明，肿瘤注意层进一步选择有意义和相关的特征，同时抑制或忽略非肿瘤特征的干扰，进一步校正卷积神经网络学习到的所有特征，增强了神经网络在肝脏肿瘤分割中的可解释性。
泛化能力：
  为了评估的有效性和泛化能力提出TA-Net方法,添加了两个公共和更具挑战性的医学图像分割任务,即结直肠肿瘤分割任务和视网膜血管检测的任务。此外，还进行了两组实验，以证明医学图像分割方法与一般的语义分割方法在公共和基准医学图像数据集上的差异。此外，还研究了数据增强技术对训练稳健模型的影响。更重要的是，应该注意到，所有这些新数据集上的额外实验都是按照相同的参数设置在肝脏肿瘤分割任务上进行的，这进一步提高了对所提出贡献的泛化理解。

  表4：最先进的医学图像分割方法和一般的语义分割方法的性能比较常用的指标为结肠肿瘤分割。

   表5： 最先进的医学图像分割方法的性能比较使用常用的指标为视网膜血管检测。

讨论：
  在本研究中，到目前为止的所有实验、比较和分析结果表明，考虑针对特定任务自适应选择相关特征有助于实现更稳健的分割性能。此外，所提出的特征选择机制具有较低的计算成本和较小的参数开销，增强了cnn的可视化和可解释性。此外，针对结肠肿瘤分割和视网膜血管检测任务的两组实验进一步验证了所提分割算法与其他类型分割方法相比的泛化能力和鲁棒性。但是，从表4所示的基于切片的分割和基于容量的分割的性能比较来看，未来仍有几个问题需要解决。
  尽管算法在不同的分割设置上取得了优于其他方法的性能，但基于切片的分割设置和基于体积的分割设置之间的显著性能差距引起了人们对肿瘤分割的关注，尤其是在实际的临床应用中。这是因为在临床环境中，肿瘤通常属于3D对象。换句话说，目前的分割方法在不同的切片之间取得了很好的分割效果，但似乎很难准确地从新患者中识别出新的肿瘤。为了研究这一局限性的原因，作者在进一步的实验中使用了肝脏肿瘤数据集，并根据不同的患者将其随机分为训练集和测试集，两者的比例为4:1，以揭示一些不同的结果。使用CT数据进行结肠肿瘤分割的任务本身是相当困难的，而在Dice中表现最好的仅为辛普森等人(2019)的0.59。在本实验中，将131例肝癌患者的所有数据随机分为两组:训练集105例，测试集26例。按照之前的实验设置和超参数，重新训练了几种有代表性的分割方法，得到的结果如表6所示。

  表6：几种有代表性的医学图像分割方法使用常用指标对新患者的新肝脏肿瘤数据的性能比较。
  从表6的前三行可以看出，对比方法的肿瘤分割结果并不像表1中报道的实验结果那么高。这意味着，目前为医学图像分析而设计的卷积神经网络，只要将同一患者的几张切片提供给它们进行训练，就能准确地从其他切片中识别出肿瘤区域。然而，当提供一些新的患者数据进行检测时，分割结果并不令人满意，尤其是对于现实的临床应用。这是因为所有这些从肝癌患者收集的数据都来自世界各地不同的临床地点和医疗机构，它们涉及不同类型的肝脏肿瘤疾病，肝脏肿瘤的不同阶段，各种CT扫描仪和采集协议，并且在分辨率和成像质量上有很大的差异。通过对这些测试数据的分析和细分结果，有一个截然不同的发现，揭示了为什么所有这些方法都未能从测试集的这三个患者的数据识别肝脏肿瘤的性能差距的原因。同时，考虑到测试集中其他患者的数据，这些基于cnn的方法基本可以成功的对肿瘤进行定位和分割，这也为这些基于cnn的自动化方法在未来可以被信任提供了信心。同样，在这两种设置中，作者建议的TA-Net实现了最佳性能。然而，也应该注意到，为了实现完全可泛化的基于体积的图像分割，不同患者、不同扫描仪、不同协议，甚至不同的成像机构之间的标定，将是一个重要的遗留问题，以建立临床可用的图像诊断工具。

总结：
  在本研究中，提出了一个肿瘤注意网络框架(TA-Net)，用于计算机断层扫描肝脏肿瘤的自动分割，这有助于放射科医生从典型的可变临床数据中正确估计肝脏肿瘤负担，为患者的治疗计划和监测提供帮助。提出的TA-Net利用类似的视觉注意机制来重新校准从网络中学习到的特征，用于肝脏肿瘤的分割，根据生成的通道注意图和空间注意图，可以区分哪些特征用于描述肿瘤信息，哪些特征用于定位肿瘤位置。TA-Net的一个显著特征是，提出的肿瘤注意层被放置在几个关键点上，信息融合步骤被设计为多层次自适应特征学习。此外，由当前新型网络模型驱动的多功能网络模块可以进一步捕获全局语义信息，获得更有代表性的肝脏肿瘤分割特征，这些都是TA-Net体系结构的重要组成部分。还对不同的跳跃连接策略和不同的视觉注意结构进行了全面的消融研究。此外，本研究还讨论了肿瘤注意块前后的特征可视化对比，可以进一步提高神经网络对肝脏肿瘤分割任务的可解释性。大量的实验证明，在各种评估指标下，所提出的TA-Net能够以更低的计算成本和相对较少的参数提供更精确的肝脏肿瘤分割结果。更重要的是，TA-Net中提出的轻量级注意层可以无缝嵌入到现有的医学图像分割网络中，以获得更好的性能。此外，还讨论了在另外两个医学图像数据集上的模型泛化能力和与一般语义分割方法的性能差异，其中，TA-Net通过针对特定任务自适应选择相关特征而取得了更好的性能，而其他方法则在这两个具有挑战性的任务上取得了更好的性能。
  同时，也应该注意到，基于切片的分割和基于体积的分割在性能上仍然存在较大差距，特别是对于三维医学目标分割任务。这是因为多源数据、一致性的数据校准作为预处理步骤、不同的成像标准以及cnn的共同缺陷都是一些挑战。因此，在设计新的方法来实现完全泛化的基于体积的图像分割，以建立临床可用的图像诊断工具时，仍有重要的问题有待解决。在未来的工作中，计划设计一个3D版本的TA-Net，并进一步完善和扩展TA-Net模型到其他疾病和模式，最后希望能在一个远程在线诊断网站平台上使用。