《Evaluate the Malignancy of Pulmonary Nodules Using the 3D Deep Leaky Noisy-or Network》阅读笔记(一)

《Evaluate the Malignancy of Pulmonary Nodules Using the 3D Deep Leaky Noisy-or Network》阅读笔记–翻译及个人理解(一)

论文链接 ：https://arxiv.org/pdf/1711.08324.pdf

声明：作者翻译论文仅为学习，如有侵权请联系作者删除博文，谢谢！

摘要

通过计算机断层扫描（CT）扫描自动诊断肺癌涉及两个步骤：检测所有可疑病变（肺结节）并评估整个肺/肺恶性程度。当前，关于第一步的研究很多，而关于第二步的研究很少。由于结核的存在并不能肯定地表明癌症，并且结节的形态与癌症之间存在复杂的关系，因此肺癌的诊断需要对每个可疑结节进行仔细的研究，并综合所有结节的信息。我们提出了一个3D深度神经网络来解决这个问题。该模型包含两个模块。第一个是用于结节检测的3D区域提议网络，该网络输出对象的所有可疑结节。第二个基于检测置信度选择前五个结节，评估它们的癌症概率，并将它们与泄漏性的“噪声门”结合起来，以获取受试者患肺癌的可能性。这两个模块共享相同的骨干网，即修改后的U-net。通过交替训练两个模块，可以减轻因训练数据不足而导致的过拟合问题。提出的模型在2017年Data Science Bowl竞赛中获得第一名。该代码已公开发布。

介绍

肺癌是最常见和致命的恶性肿瘤之一。 与其他癌症一样，肺癌的最佳解决方案是早期诊断和及时治疗。 因此，定期检查是必要的。 体位胸部计算机断层扫描（CT）是诊断肺癌的常用影像学工具。 根据其对X射线的吸收，可以可视化所有组织。 肺部病变称为肺结节。 结节通常具有与正常组织相同的吸收水平，但具有独特的形状：支气管和血管是连续的管道系统，在根部较厚，在分支处较薄，结节通常为球形且孤立。 通常，有经验的医生大约需要10分钟才能对患者进行彻底检查，因为一些小结节很难找到。 此外，结节有许多亚型，不同亚型的癌症概率也不同。 医生可以根据其形态来评估结节的恶性程度，但是准确度在很大程度上取决于医生的经验，不同的医生可能给出不同的预测。
计算机辅助诊断（CAD）适用于此任务，因为计算机视觉模型可以在相同质量的地方快速扫描，并且不受疲劳和情绪的影响。 深度学习的最新进展使计算机视觉模型能够帮助医生诊断各种问题，并且在某些情况下，该模型对医生表现出竞争优势。
与一般的计算机视觉问题相比，自动肺癌诊断有几个困难。首先，结节检测是3D对象检测问题，比2D对象检测难。由于GPU内存有限，将2D对象检测方法直接推广到3D情况面临技术难题。因此，一些方法使用2D区域提议网络（RPN）在单个2D图像中提取propasal，然后将它们组合以生成3D proposal。更重要的是，标注3D数据通常比标注2D数据难得多，这可能会使深度学习模型由于过度拟合而失败。其次，结节的形状各不相同（图1），结节与正常组织之间的差异不明确。结果，在某些情况下，即使是经验丰富的医生也无法达成共识。第三，结节与癌症之间的关系很复杂。结节的存在并不一定表示肺癌。对于具有多个结节的患者，应考虑所有结节以推断出癌症的可能性。换句话说，与经典检测任务和经典分类任务不同，在此任务中，标签对应于多个对象。这是一个多实例学习（MIL）问题，这是计算机视觉中的一个难题。
为了解决这些困难，我们采取以下策略。我们建立了一个3D RPN 以直接预测结节的边界框。 3D卷积神经网络（CNN）结构使网络能够捕获复杂的特征。为了解决GPU内存问题，使用了基于patch的培训和测试策略。对该模型进行端到端培训以实现有效的优化。广泛的数据扩充被用来对抗过度拟合。将检测器的阈值设置得较低，以便包括所有可疑结节。然后，选择前五个可疑结节作为分类器的输入。分类器中引入了泄漏噪声或模型，以合并前五个结核的得分。
噪声或模型是概率图模型中常用的局部因果概率模型。它假定一个事件可能是由不同的因素引起的，并且这些因素中任何一个的发生都可以导致事件的发生具有独立的概率。该模型的一种修改版本称为“泄漏噪声或模型” ，它假设即使没有任何因素发生，事件也存在泄漏的可能性。泄漏噪声或模型适用于此任务。首先，当一个病例中存在多个结核时，所有结核都有助于最终预测。其次，高度可疑的结节将解释癌症病例，这是可取的。第三，当无结节可以解释癌症病例时，癌症可以归因于泄漏的可能性。
分类网络也是3D神经网络。为了防止过度拟合，我们让分类网络共享检测网络的主干（捆绑两个网络的主干的参数）并交替训练两个网络。还使用了广泛的数据扩充。我们对这项工作的贡献总结如下：
1）据我们所知，我们提出了用于3D对象检测的第一个容积式单级端到端CNN。
2）我们建议将噪声或门集成到神经网络中，以解决CAD中的多实例学习任务。
我们在数据科学碗20172上验证了所提出的方法，并在1972个团队中获得第一名。
本文的其余部分安排如下。 第二节介绍了一些密切相关的作品。 后续部分将详细介绍该方法的流程。 它包括三个步骤：（1）预处理（第三节）：将肺从其他组织中分离出来； （2）检测（第四节）：发现肺中所有可疑结节； （3）分类（第五节）：对所有结节进行评分，并结合其癌变概率，以获得患者的总体癌变概率。 第一步是通过经典的图像预处理技术完成的，其他两个步骤是通过神经网络完成的。 结果在第六节中给出。 第七节对本文进行了一些讨论。

相关工作

A.一般物体检测
已经提出了许多物体检测方法，全面的审查超出了本文的范围。这些方法大多数都设计用于2D对象检测。一些最先进的方法有两个阶段(如fast - rcnn[12])，在第一阶段提出一些边界框(称为proposals)(是否包含一个对象)，在第二阶段做出类决策(提案中的对象属于哪个类)。较新的方法只有一个阶段，即同时预测边界框和类别概率（YOLO [14]），或者没有生成建议的默认框的类概率被预测(SSD[15])。通常，单阶段方法更快，但两阶段方法更准确。在单类对象检测的情况下，不再需要两阶段方法中的第二阶段，并且这些方法会退化为单阶段方法。
限制了将前沿的2D对象检测方法扩展到3D对象检测任务（例如，视频中的动作检测和体积检测）。由于主流GPU的内存限制，一些研究使用2D RPN提取单个2D图像中的propasal，然后使用额外的模块将2D propasal合并为3D propasals[8，9]。类似的策略已经用于3D图像分割[16]。据我们所知，尚未使用3D RPN处理视频或体积数据。

B.结节检测
结节检测是典型的体积检测任务。由于其巨大的临床意义，近年来受到越来越多的关注。该任务通常分为两个子任务：提出propasals和减少假阳性，每个子任务吸引了许多研究。通常，第一个子任务的模型以简单，快速的3D描述符开始，然后是分类器，以给出许多proposals。第二个子任务的模型通常是复杂的分类器。在2010年，Van Ginneken等人。 [17]给出了对六种常规算法的全面综述，并在ANODE09数据集上对其进行了评估，该数据集包含55次扫描。在2011-2015年期间，开发了更大的数据集LIDC [18、19、20]。研究人员开始采用CNN来减少误报的数量。 Setio等。 [21]采用了多视图CNN，Dou等人。 [22]采用了3D CNN来解决此问题，并且均比传统方法获得了更好的结果。Ding等。 [9]采用2D RPN在每个切片中提出结核建议，并采用3D CNN减少假阳性样本的数量。一场名为“2016年肺结节分析(LUNA16)[23]”的比赛在选定的LIDC子集的基础上举行。在本次比赛的检测轨迹中，大多数参与者使用了两阶段方法[23]。

C.多实例学习
在MIL任务中，输入是一包实例。如果将任意实例标记为正，则将袋子标记为正，如果将所有实例标记为负，则将袋子标记为负。
许多医学图像分析任务是MIL任务，因此在深度学习兴起之前，一些早期的工作已经提出了CAD中的MIL框架。 Dundar等。 [24]引入凸包来代表多实例特征，并将其应用于肺栓塞和结肠癌的检测。Xu等。 [25]从组织检查图像中提取了许多补丁，并将它们视为多实例，以解决结肠癌分类问题。
为了将MIL集成到深度神经网络框架中，关键组件是将来自不同实例的信息组合在一起的一层，称为MIL Pooling Layer（MPL [26]）。一些MPL例子是：最大池化层[27]，均值池化层[26]，对数和指数池化层[28]，广义均值层[25]和噪声或层[29]。如果每个样本的实例数是固定的，则将特征级联用作MPL也是可行的[30]。 MPL可用于在功能级别[27、28]或输出级别[29]中组合不同的实例。

D.噪声或模型
噪声或贝叶斯模型被广泛用于推断诸如肝脏疾病[31]和哮喘病例[32]等疾病的可能性。 Heckerman [33]建立了一个基于“噪声或门”的多特征，多疾病的诊断系统。 Halpern和Sontag [34]提出了一种基于noisy-or模型的无监督学习方法，并在快速医学参考模型中对其进行了验证。
上面提到的所有研究都将噪声模型纳入了贝叶斯模型。 然而，“噪声或模型”与神经网络的集成很少。 Sun等。 [29]在深度神经网络框架中将其用作MPL，以提高图像分类的准确性。 张等。 [35]使用它作为提高物体检测精度的增强方法。