高精度肺结节自动检测方案 | 算法解析

随着经济的发展，以及人口老龄化、环境污染的加剧，肺癌已经成为全球发病率和死亡率最高的癌症之一[1]。

肺癌没有明显的早期症状。虽然肺癌的早期切除可以有效提高患者的生存率，但多数自然就诊的患者发现肺癌时已属中晚期，错过了最佳治疗时机。

因此，肺癌的预防和早期发现成为癌症控制的重点之一。

我国的多项研究表明，通过低剂量CT进行肺癌筛查，有助于肺癌的早期发现并提高肺癌检出率，应在健康体检人群中积极开展[2]。

然而，在实际应用中，肺癌的筛查和预防面临很大的挑战。影像科医生的首要任务是反复逐层浏览三维CT图像，寻找肺结节区域，然后对发现的肺结节区域进行分析，判断它是否癌变并确定它的癌变程度。

肺结节是指CT图像上的一种表现为小的、局灶性的、类圆形的、密度较高的阴影，是可疑肺部癌变组织的一种影像学特征，其直径一般只有3～30毫米，在三维肺部CT图像中只占极小的面积。

因此，检测肺结节对影像科医生来说是一项十分耗时且低效的工作。我国作为人口大国，医疗资源与肺癌早期筛查需求之间存在极度不平衡问题，大量社区医院、乡村医院患者的CT图像往往需要二级医院甚至三级医院的影像科医生来阅读分析，这也给影像科医生带来了极大的负担。

因此，医疗机构迫切需要自动化的手段来高效地对这些肺部CT图像进行分析，从而辅助医生在早期筛查和诊断肺癌。

基于上述背景，我们在分析从肺部CT图像中自动检测肺结节的相关研究工作的基础上，给出了一套基于深度学习的全自动、高精度的肺结节自动检测解决方案。

1

国内外研究现状
一个肺结节自动检测算法通常分为两部分：一是肺结节可疑位置推荐算法；二是假阳性肺结节抑制算法。
下面分别介绍这两个方面的研究进展。
1．肺结节可疑位置推荐算法

肺结节可疑位置推荐算法在整个肺结节检测算法中非常关键，它决定了一个肺结节检测算法后续步骤的检测性能的上限。

肺结节种类繁多，有实性的、半实性的、钙化的及贴近胸膜的等。一个优秀的肺结节可疑位置推荐算法，应该能从CT图像中找出各种类型的结节，辅助医生进行肺癌的早期筛查。

然而，近年来，大部分的研究工作通常只关注某一种肺结节的可疑位置推荐。

Murphy等人提出了一种实性肺结节的可疑位置推荐算法[3]，首先计算肺部CT图像中各体素的形状指数和曲率，然后对这两个指标阈值化，以寻找可能属于实性肺结节的种子点，最后根据这些种子点来分割肺结节并推荐可疑位置。

Jocobs等人实现了一个半实性肺结节的可疑位置推荐算法[4]，直接通过区间阈值对CT图像阈值化，并对阈值化图像进行形态学操作，求出连通区域，从而推荐可疑肺结节的位置。

由于有些贴在胸膜上的大型肺结节与胸膜组织的区分度较低，Setio等人提出了专门针对大型肺结节的可疑位置推荐算法[5]，使用多级形态学操作提取大型肺结节。

随后，在Setio等人[6]、Dou等人[7] 的工作中，为了检测各种类型的肺结节，综合使用上述三种肺结节可疑位置推荐算法的结果，并把这三种算法中推荐的间距小于5毫米的可疑位置合并，使用目前CT图像数量最多、肺结节类型最全的肺结节检测数据集LUNA16（lung nodule analysis 2016）进行实验，取得了较好的推荐效果——肺结节召回率94.4%，平均每幅CT图像上有622个假阳性推荐位置。

目前，统一的多类型肺结节检测算法还没有得到广泛研究。

Tan等人将肺结节分为三类，分别是独立的、贴近血管的和贴近胸膜的，并针对不同类型的肺结节设计了不同的图像特征滤波器集合，在LUNA16数据集上取得了92.9% 的肺结节召回率，平均每幅CT图像上有333.0个假阳性推荐位置[8]。

与此同时，Dou等人设计了一个浅层三维全卷积神经网络，并结合一种在线样本过滤算法，实现了端到端的多类型肺结节可疑位置推荐，在LUNA16数据集上把肺结节召回率进一步提升到97.1%，并把平均每幅CT图像上假阳性推荐位置的数量减少到219.1个[9]。

2．假阳性肺结节抑制算法

假阳性肺结节抑制算法决定了整个肺结节检测算法的检测效果。

Murphy、Messay[10]、Jacobs、Setio等人设计了肺结节在CT图像上的一些手工图像特征，并使用传统的机器学习方法来抑制假阳性肺结节（这些工作只关注单一类型的肺结节）。

Murphy等人提出的算法基于两个级联的kNN（k-nearest neighbor，k最近邻）分类器，使用推荐位置连通区域的大小、紧密度、球状性等特征来表示该位置的图像特性。

Jacobs等人则在传统的强度、形状、纹理特征的基础上增加了上下文特征，组成了128维的特征来表示肺结节的图像特征，并使用一种两级分类器来抑制假阳性肺结节。

Tan等人的工作关注多种类型的肺结节，借鉴了与上述方法相似的思路，提取推荐位置的形状特征和区域特征并使用SVM进行分类。该算法在LUNA16数据集上进行了全类型肺结节检测效果的验证，能在平均每幅CT图像只容忍1个假阳性肺结节的情况下达到75.2% 的召回率。

近年来，随着卷积神经网络在图像处理领域的广泛使用，一些研究者也开始在医疗图像领域利用卷积神经网络自动提取图像特征。

例如，Setio等人提出了一个基于二维多视角的卷积神经网络来抑制假阳性肺结节。

该网络是一个多输入的并行结构，每个输入是候选图像块的一个视角的截面（这种多视角的结构使二维卷积神经网络能抽取更多、更丰富的空间信息），在LUNA16数据集上能在平均每幅CT图像容忍1个假阳性肺结节的情况下达到89.2% 的召回率。

此外，Dou等人提出，可以利用三维卷积神经网络来完成这个任务。

相对而言，三维卷积神经网络能更好地抽取CT图像中的三维空间信息。

Dou等人设计了一个有三个尺寸的输入的浅层三维卷积神经网络来抽取多尺寸肺结节的纹理特征，在LUNA16数据集上能在平均每幅CT图像容忍1个假阳性肺结节的情况下达到了97.2% 的召回率。

2

总体框架
下面介绍肺结节自动检测方案的总体框架。
▊ 肺结节数据集

近年来，ImageNet、COCO等自然图像处理数据集推动了基于深度学习的自然图像处理领域分类、检测、分割算法的发展。同样，在医疗图像分析领域，高质量的数据集是算法设计与算法性能验证的基础。

本文使用的数据集来自LUNA16[11]，它是肺结节检测算法研究领域最大、最权威的数据集。

该数据集基于美国癌症中心公开的LIDC/IDRI数据[12]。该数据集中的每幅CT图像都是由四位专业影像科医生分两阶段标注的。

在去除层厚大于2.5毫米的CT图像后，我们保留了888幅三维肺部CT图像。

在第一阶段，每位医生分别独立对肺部CT图像作出诊断，并将其中的病灶区域标注为非结节、直径大于3毫米的结节或直径小于3毫米的结节。

在第二阶段，每位医生分别独立复审其他三位医生的标注，并给出自己的诊断，从而保证了标注结果的准确性和完整性。由于直径小于3毫米的肺结节不具备癌变的可能性，且在层厚较大的CT图像中较难发现，LUNA16的举办方将LIDC/IDRI数据集中被三位以上医生标注的且直径大于3毫米的结节作为判断肺结节的标准（共1186个）。

此外，标注方法没有采用传统的边界框及前面介绍过的Mask R-CNN中的像素级标注，而采用圆心和半径来标注每个肺结节的位置和大小。

▊ 肺结节检测难点

根据医疗机构提供的肺部CT图像数据，肺结节自动检测存在诸多难点，例如：肺结节在形态、大小、类型上具有较大差异，一幅CT图像矩阵的尺寸通常是512图片512图片200（这三个值分别对应于图像的长、宽、数量），肺结节的最小直径为3.25毫米，最大直径为32.27毫米；部分非结节的肺间质与肺结节在CT图像形态上具有相似的特征（如血管、纤维灶等），导致很难使用一般的算法来区分肺结节与这些组织；大量患者肺部只有少量肺结节，因此肺结节位置的搜索空间很大，是一个困难的小目标检测任务。

我们综合考虑了肺结节检测任务的难点，以及现有肺结节检测算法的不足，设计了一套基于三维深度残差卷积神经网络的肺结节检测算法。下面将介绍该算法的框架结构，以及三维卷积神经网络和神经网络的优化算法。

▊ 算法框架

算法框架如图1所示，检测步骤主要分为两步：

第一步，肺结节可疑位置推荐；

第二步，假阳性肺结节抑制。

图1　算法框架

1．肺结节可疑位置推荐

由上述的肺结节检测难点可知，肺结节的位置搜索空间很大，且背景所占的空间比肺结节所占的空间大很多，因此，需要通过肺结节可疑位置推荐步骤快速筛查整个CT图像，在保证较高的肺结节召回率的同时，通过推荐较少的可疑肺结节位置缩小检测算法的搜索空间。

在这里，首先设计一个三维深度残差全卷积神经网络及相应的优化算法来分割肺结节，生成肺结节概率分割图，然后逐体素初步预测其属于肺结节的概率，最后基于肺结节的概率分割图，设计一个自适应阈值的可疑肺结节层次定位算法来推荐可疑肺结节的位置。

2．假阳性肺结节抑制

肺结节在大小、类型、形态上有较大的差异，且一些非结节的肺间质与肺结节有相似的影像特征，因此，在前面推荐的可疑肺结节中会存在较多的假阳性结果。这时，需要通过假阳性肺结节抑制算法剔除这些假阳性肺结节，从而提高肺结节检测算法的检测精度。

我们设计的假阳性肺结节抑制算法基于一个三维深度残差卷积网络，可以多尺寸地从CT图像中捕获三维纹理特征，从而检测出多尺寸、多类型、多形态的肺结节，并剔除容易混淆的假阳性背景，实现肺结节自动检测。

【参考资料】
[1] ARNAUD ARINDRA ADIYOSO SETIO, ALBERTO TRAVERSO, THOMAS DE BEL, et al. Validation, comparison, and combination of algorithms for automatic detec - tion of pulmonary nodules in computed tomography images: The LUNA16 challenge. arXiv, 2016: 1612.08012.

[2] 王子兴, 王钰嫣, 唐威, 等. 低剂量CT肺癌筛查研究现状及主要问题分析. 中华肺部疾病杂志（电子版）, 2015, 8(6): 89—92.

[3] KEELIN MURPHY, BRAM VAN GINNEKEN, ARNOLD MR SCHILHAM, et al. A large-scale evaluation of automatic pulmonary nodule detection in chest ct using local image features and k-nearest-neighbour classification. Medical Image Analysis, 2009, 13(5): 757-770.

[4] COLIN JACOBS, EVA M VAN RIKXOORT, THORSTEN TWELLMANN, et al. Automatic detection of subsolid pulmonary nodules in thoracic com - puted tomography images. Medical Image Analysis, 2014, 18(2): 374-384.

[5] ARNAUD AA SETIO, COLIN JACOBS, JAAP GELDERBLOM, et al. Automatic detection of large pulmonary solid nodules in thoracic ct images. Medical Physics, 2015, 42(10): 5642-5653.

[6] ARNAUD ARINDRA ADIYOSO SETIO, FRANCESCO CIOMPI, GEERT LITJENS, et al. Pulmonary nodule detection in ct images: False positive reduction using multi-view convolutional networks. IEEE Transactions on Medical Imaging, 2016, 35(5): 1160-1169.

[7] QI DOU, HAO CHEN, LEQUAN YU, et al. Multi-level contextual 3D CNNs for false positive reduction in pulmonary nodule detection. IEEE Transactions on Biomedical Engineering, 2016.

[8] MAXINE TAN, RUDI DEKLERCK, BART JANSEN, et al. A novel computer-aided lung nodule detection system for ct images. Medical Physics, 2011, 38(10): 5630-5645.

[9] QI DOU, HAO CHEN, YUEMING JIN, et al. Automated pulmonary nodule detection via 3D convnets with online sample filtering and hybrid-loss residual learning. MICCAI, 2017.

[10] TEMESGUEN MESSAY, RUSSELL C HARDIE, STEVEN K ROGERS. A new computationally efficient cad system for pulmonary nodule detection in CT imagery. Medical Image Analysis, 2010, 14(3): 390-406.

[11] Lung nodule analysis 2016. https://luna16.grand-challenge.org.

[12] SAMUEL G ARMATO, GEOFFREY MCLENNAN, LUC BIDAUT, et al. The lung image database consortium (LIDC) and image database resource initiative (IDRI): A completed reference database of lung nodules on ct scans. Medical Physics, 2011, 38(2): 915-931.

[13] PIM MOESKOPS, MAX A VIERGEVER, Adriënne M Mendrik, et al. Automatic segmentation of MR brain images with a convolutional neural network. IEEE Transactions on Medical Imaging, 2016, 35(5): 1252-1261.

[14] KONSTANTINOS KAMNITSAS, CHRISTIAN LEDIG, VIRGINIA FJ NEWCOMBE, et al. Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation. Medical Image Analysis, 2017, 36: 61-78.

本文摘自《深度学习与目标检测（第2版）》一书，欢迎阅读本书了解更多相关内容。

▊《深度学习与目标检测（第2版）》

杜鹏，苏统华，王波，谌明 编著

本书的写作初衷是，从学者的角度，用一种通俗易懂的方式，将基于深度学习的目标检测的相关论文中的理论和方法呈现给读者，同时针对作者在深度学习教学过程中遇到的难点，进行深入的分析和讲解。本书侧重对卷积神经网络的介绍，而深度学习的内容不止于此。所以，作者将深度学习分为有监督学习、无监督学习和强化学习三类，将图像分类、目标检测、人脸识别、语音识别、双向生成对抗网络和AlphaGo等应用场景归入不同的类别，并分别对其原理进行了概括性的讲解。本书适合有一定深度学习或目标检测学习基础的学生、研究者、从业者阅读。

（扫码了解本书详情！）