unet-lits-2d-pipeline肝脏肿瘤分2次训练
ABSTRACT
通过使用级联，紧密连接的2D U-Net和基于Tversky系数的损失函数，我们的框架实现了非常好的形状提取，具有很高的检测灵敏度，并且在发布时具有竞争性得分。此外，在我们的Tversky-loss 允许调整超参数来调整网络。以获得更高的灵敏度或鲁棒性。
INTRODUCTION
我们评估使用深度卷积神经网络架构Tiramisu和U-Net，并进行标准的数据预处理和数据增强，而无需进行任何复杂的后处理，可以取得什么结果。
完整的流水线类似于[7]中提出的级联方法，其中作者建议使用U-Net级联（以及基于条件随机字段的其他后续后处理步骤）。在我们的肝脏分割案例中，训练了一个标准的U-Net以减少总体训练时间，而在病变分割中，对上述提拉米苏进行了从零开始的训练（无转移学习），并使用了Tversky损失函数，以改进基于简单Dice的损失函数
DATASET AND PREPROCESSING
从130个训练扫描中，我们选择了25个扫描用于训练期间的验证目的，而选择105个用于实际训练。
HU值[-100,400]，以去除空气和骨骼状结构以获得更均匀的背景。然后通过减去训练集均值来标准化体素值，并通过除以训练集标准差来进行标准化。在最后一步中，从NIfTI标头中提取了仿射矩阵，以将每个体积旋转到相同位置，从而使学习更加轻松
METHOD
如前所述，病变分割管线包括两个不同的网络：U-Net从给定的体积切片中分割肝脏，而提拉米苏托则分割出病变。通过用肝脏mask掩盖病变区域，我们有效地减少了肝外区域的假阳性数。
3.1. U-Net architecture
我们的U-Net在 maxpool 之前通过两个卷积层(same padding)和一个ReLU激活层来实现，以使U分支向下移动。这些块总共重复了四次。我们从32channel 和恒定的3×3卷积核尺寸开始。在每个卷积最大合并块之后，过滤器的数量增加一倍。在ReLU激活层之后以0.2的速率进行滤除。以相同的方式实现执行转置卷积以重构分割图像的上采样分支。总共大约有个网络参数。
3.2. Tiramisu architecture
提拉米苏的实现方法与原始论文中所述的一样，在特征提取分支中有4个denseblocks 分别包含4,5,6和7层，以及具有8个 densely connected层的 1个 final bottleneck denseblock。每个密集块的growth rate为12，后接maxpool，初始channel为32。在每个密集块后面接一个执行概率为0.2的Dropout，然后上采样。使用ReLU激活函数，并在卷积层中添加的L2正则化。卷积大小为3×3，前接BN。参数数量为，约是标准U-Net的1/4。
3.3. Liver segmentation training
使用Adam在GTX 1070 GPU上以50个周期进行了训练，批次大小为5，初始化使用何凯明法，bce loss和10-5的学习率，每15个周期学习率减少一半。没有使用数据增强。
3.4. Lesion segmentation training
使用Adam优化方法和基于Tversky系数(throughsimple negation)的tversky loss，训练35个时期。
对于loss,设置。我们对β假阳性预测的惩罚更高，因为在不进行转移学习的情况下训练提拉米苏，简单的wbc loss或dice loss显示网络很容易出现β假阳性率。选择初始学习速率，每10个周期减半。batch size为5，进行了数据增强（微小旋转和平移以及缩放）。肝脏大小为224
4. EXPERIMENT AND RESULTS
每次肝分割后，仅选择最大的连通区域作为最终肝掩膜。
5. DISCUSSION
有一些方法可以提高分割功能：
（1）我们错过了肝脏边界处的大部分非常大和/或病变的部位（见图1），尽管这可能是通过病变分割网络检测到的，但被掩盖了。因此，增加对肝脏分割网络的训练力度将使我们能够更好地改善当前的病变（和肝脏）分割结果。我们试图通过各向同性地扩张肝脏面罩来对抗这种效果（图1），但这只会使最终结果恶化，因为引入的假阳性要高于删除假阳性的数量
（2）即使我们当前使用Tversky loss，主要的误差源仍是假阳性预测。更高的惩罚，更高的网络集成度和更正则化（例如，更高的Dropout率或更复杂的数据增强）将理想地增加ROC曲线下的面积并提供更好的总体评分。
此外，在提拉米苏的基础上训练肝脏分割网络，并将其用作权重初始化可能会帮助网络更快地收敛并获得更好的结果。
最后，[7]和[14]表明良好的后处理（例如3D条件随机场和具有附加手工功能的随机森林）可以改善结果。我们认为这是值得探讨这些数据的途径。同样，仅在逐个2Dslice的基础上执行分段。 [15]通过使用半3D方法显示出优异的结果，方法是在神经网络的分割过程中包括附加的上层和/或下层切片，以合并更多的空间信息。
通过挖掘mask的信息更好的实现分割
Abstract
对于基于U-Net的模型，提出了一种新的程序来改善肝脏和病变的分割。我们的方法扩展了标准分割流程，通过将分割erro附加到主训练设置中，以得到更高的召回率或减少嘈杂的假阳性预测。这使模型能够找到可以解释先前错误的特征。dice提高了2个点。
Introduction
我们提出了一种新颖的流水线，通过在后续训练步骤中将分割erro作为新的训练遮罩来可靠地提高网络分割性能。
通过挖掘蒙版消除分割错误
基本设置：通过单个前向通道以最小的计算负担即可生成训练数据的分割mask。然后，根据分割错误情况，将这些遮罩与原始地面真实图像进行比较，以确定每个像素/体素的新训练类别：True Negative,False Positive,False Negative,True Positive.与具有两个类的二进制情况相比，这提供了四个目标类。然后，我们将四个单层输出通道作为错误预测层附加到输出层。这不会引入相关的新参数，但会确保在微调之前保留所有先前学习的权重。最后，对新的掩模进行再训练。由于初始预训练，收敛速度更快。
损失函数的相关性：损失的选择将再培训分为两个等价部分设置。通常经过训练后，大部分预测像素为true positive or negative
A pixel-weighted cross-entropy loss (pwce)[U-Net]向高频目标提供最高的学习信号。由于我们对真阳性/真阴性预测的不平衡度很高，对错误掩码的再培训主要是加强这些预测，同时减少噪声误报。然后将重新训练的、现在是多类的错误情况预测分组为真阳性/假阴性预测和真阴性/假阳性预测，以生成最终的新二进制分割掩码
A dice-coefficient based loss为代表性不足的类注入了更强的学习信号，以实现更高的假阴/阳性像素的恢复。在这里，主要的兴趣在于解释模糊的特征，同时保留关键的特征，所以真阳性错误掩码类被替换成了地面真相分割掩码。这使得网络可以将产生假阳性的属性转移到相应的输出通道，并恢复假阴性预测的生成器.最终的分割直接取自真阳性输出通道。
这两种损失都可以提高性能。但是，对于所有后续结果，都使用基于dice的损失，因为它可以提供稍高的改进。
3 Application to Liver and Lesion Segmentation and Conclusion
Network Architecture:我们通过评估不同架构上的dice得分来研究我们的方法在肝脏和病变分割中的性能：（i）级联2D [2]，它分别训练用于肝和病变分割的2D分割网络，（ii）级联3D，与2D的设置相同；（iii）组合级联2D [13]，它可以在同时设置的情况下，针对肝和病变分别训练分割网络。所有网络都使用通用扩展，例如多切片输入[5]，批处理归一化[7]或残差块[6]。在应用扩展之前，对每个管道进行了收敛训练，以确保我们不会延长训练过程。最初的训练是使用pwce损失和肝脏的距离变换权重图（请参阅[10]），以及基于pwce损失Lpwce除以平滑骰子得分Ldice来进行的损失（例如参见[4]）。
LiTS dataset:在训练之前，在执行归一化之前，数据将绑定到[-100,600] HU。进行评估时，仅使用最大的连接组件来生成最终的肝脏分割。
Results:在训练过程中加入经过挖掘训练的掩码，特别有利于验证性能。这根源于拆分程序，因为训练集和验证集都是从同一个样本集中抽取的。由于不同的来源对数据集的贡献[1]，测试集样本因此与训练集的差异更大。因此，新挖掘的特征在验证集上的表现力更强。
unet-lits-2d-pipeline增加可删减的模块
ABSTRACT
我们提出了一种新的程序，以改善基于U-Net的模型的CT扫描中的肝脏和病变段。我们的方法扩展了标准的细分渠道，将重点放在更高的目标召回率或降低嘈杂的假阳性预测上，从而提高了整体细分效果。为了实现这一目标，我们将分段错误包含在新的学习过程中，该过程附加到主培训设置中，从而使模型能够找到可以解释先前错误的特征。我们在语义上不同的体系结构上进行评估：级联的二维和三维以及用于多任务分割的组合学习设置。肝脏和病变分割数据由肝脏肿瘤分割挑战（LiTS）提供，dice得分最多增加2个点。
INTRODUCTION
我们提出了一种新颖的流水线，可通过在训练后步骤中加入分段错误作为新的训练遮罩，从而可靠地提高网络分段性能。尤其适用于三维数据，这在许多医学分割任务中很常见。
因此，我们建议在一个独立于主训练的设置中使用分割错误类型。 利用所学网络的分割错误，我们附加了一个具有特定损失函数的二次训练过程，以提供一个框架，帮助网络解释掉自己的分割错误，从而提升分割性能（定性印象见图1）。之前的工作s.a.[8]已经证明了解释掉不希望的属性的好处。 这意味着我们的方法不受架构和数据选择的影响，可以在不需要重新运行完整设置的情况下提高性能。
参考链接：
True Positive, True Negative, False Positive, False Negative概念区分