2021-08-26-cancers-2019年综述深度学习在肺癌领域应用

image.png

Abstract

目的：准确诊断对病人的预后及治疗十分关键；人工智能，尤其是深度学习，在肿瘤区域识别、预后预测、肿瘤微环境表征和转移检测等病理图像分析任务中显示出巨大的潜力。
结论：随着技术的进步，数字病理学在肺癌患者护理中可能会产生巨大的潜在影响。我们指出了肺癌病理图像分析的未来发展方向，包括多任务学习、迁移学习和模型解释。

1、Introduction

肺癌发病率死亡率高，准确的基于组织切片的病理诊断是主要诊断手段，正确诊断对患者有着很大的影响。
病理医生阅片的过程是耗时的、主观的、并且会产生许多的观察者间差异。
HE染色WSI，产生了大量的病理图像，有限的算法容量限制了技术的影响力。
2011年beck将病理图像分析应用到了乳腺癌预后。
已有研究验证了利用WSI所展示的组织形态学特征对肺癌进行预后分析的可行性。
高级深度学习算法的发展可以增强病理图像分析能力，并帮助病理学家完成具有挑战性的诊断任务，例如识别肿瘤形成、检测肿瘤转移以及量化有丝分裂和炎症。

2、肺癌病理图像分析面临的挑战和机遇

2.1.诊断:肿瘤检测和分类

识别解剖淋巴结中肿瘤细胞的存在需要高度熟练的病理学家，并且是一项费力的任务，尤其是如果有许多解剖淋巴结或者转移区域很小(图1A)。
淋巴结中肿瘤细胞的计算机辅助自动检测将大大降低假阴性率，从而可以更好地早期检测和治疗肺癌，提高TNM分期的准确性，加快检查过程，并减少病理学家的工作量(图1B)。
肺腺癌ADC站肺恶性肿瘤的50%可分为五种亚型，分别具有不同的预后及治疗反应。
分型仍面临着巨大挑战，主要原因有两个：①专业病理学家之间也缺乏一致性；②同一患者的一张或多张载玻片上同时存在多种亚型。
为了确定患者的优势亚型，需要通过多个组织切片来提供准确诊断。
非小细胞肺癌的其他肿瘤分类任务，如差异状态分类和ADC/SCC分类[22]，也面临类似的技术挑战。
STAS被证实和肿瘤复发以及患者较差预后相关，但STAS的识别需要经验丰富的病理医生对整个组织切片进行详细检查。

2.2.基于子结构分割- Substructure Segmentation的微环境(TME)表征

肺癌TME主要由肿瘤细胞、淋巴细胞、基质细胞、巨噬细胞、血管等形成。
肿瘤浸润淋巴细胞(TIL)是积极的预后因素，
血管生成与预后呈负相关
基质细胞具有复杂的预后影响
肺癌TME的定量表征仍然具有挑战性，原因如下:
(1)肺癌TME的组成复杂且不均一:除了上述细胞类型外，其他结构，包括支气管、软骨和胸膜，经常在肺病理切片中发现。
(2)细胞的空间组织(如不同类型细胞的空间分布和相互作用)，尽管在TME发挥着重要作用，但比简单地提供不同类型细胞的数量或比例更具挑战性。目前的研究仅局限在细胞类型比例上。
(3)对于H&E染色的载玻片，颜色可能会根据染色条件以及载玻片制备和扫描之间的时间间隔而有很大变化。传统的基于手工特征提取的图像处理方法很难克服这些障碍。

image.png

2.3.预后与精准医学

AI在癌症中潜在应用：基于形态学预测预后和治疗反应。
免疫疗法已被证明在一些患者中以后小。
PD-L1表达和新抗原载量是预测因素。
The spatial organization of immune cells and the spatial distribution of TIL maybe predicting factor
TIL的空间分布可能具有预测作用
TIL的空间分布算法仍需要开发新的算法来实现

2.4.与患者基因组和遗传图谱的关联和整合

另一个重要的新兴研究领域侧重于患者遗传/基因组特征和病理/形态学表型之间的关系。
研究人员发现了形态特征和肿瘤基因突变之间的联系，如EGFR突变[42]和KRAS突变[43]。
主要的挑战在于：(1)成像和基因组/遗传数据都是极其高维的，(2)成像和基因组特征之间的相互作用在很大程度上是未知的。
整合组织形态学特征和基因组学特征可以更全面的解释肿瘤，但是如何去实现仍是一个巨大的难题。

3.深度学习方法的优势

目前，卷积神经网络(CNNs)是图像数据分类最常用的深度学习模型。
其它的类型：递归神经网络(RNNs)在多标签图像分类[52]和图像分割[53]中也进行了探索，（语音识别中出名）；
无监督的深度学习模型autoencoder已经显示出通过预训练模型[39]、细胞检测[54]和图像特征提取[55]来分析病理图像的能力。
图2：常用神经网络的分类

image.png

3.1.卷积神经网络的固有特性和优势

受大脑工作机制的启发，深度神经网络，也称为“深度学习”，在输入层和输出层之间有一个或多个“隐藏”层。每一层都有许多神经元-neurons，也称为核-kernals。每个内核(通常是数学中的一个函数)接受输入并计算输出。
在一个CNN模型中，卷积核计算输入空间中特定位置的特征，称为“感受野”。术语“卷积”表示滑动感受野通过输入层以从卷积层生成“特征图”作为输出的操作。
深度学习模型具有两个重要特征:(1)它允许从输入数据中构建和提取灵活的代表性特征，以及(2)它包含多层和许多内核，使它能够使用提取的特征来近似等于复杂的函数。
深度学习模型的优势：
(1)大大简化或消除了手动定义特征的任务。
(2)深度学习算法的计算可以高度并行。
(3)深度学习模型充分利用图像数据，因为预测模型中可以利用每个像素；
(4) CNN模型对图像上的目标位置不敏感，这是卷积运算的固有特性；

3.2.培训的灵活性与深度学习方法的模型构建策略

深度学习模型通常使用数据增强策略来克服染色差异
深度学习方法的另一个优点是神经网络构建的灵活性，包括损失函数选择和结构设计。
模型架构和结构的灵活性使得深度学习模型能够相对容易地集成不同来源和格式的信息，例如在病理图像分析中形成成像和基因组特征之间的相互作用。

3.3.适合转移学习

对于传统的机器学习方法，将从一个问题中获得的知识应用到类似的问题中通常需要复杂的数学推导[65]，并且将从一个数据集开发的模型适配到类似的数据集也需要特殊的过程[66]。相比之下，深度学习中的迁移学习方法使得将从一个数据集或问题开发的深度学习模型应用于其他相似的数据集或预测问题变得简单明了。

4.深度学习在肺癌病理图像分析中的应用

使用了关键词“深度学习”、“病理图像”和“肺癌”。2019年10月之前发布的所有符合条件的深度学习模型都进行了分类，按发布时间排序，汇总在表1中

image.png

4.1.肺癌诊断

①良恶性判别
②亚型鉴定：ADC、SCC、SCLC
③六个突变状态鉴定：

4.2.肺癌微环境分析

①区分淋巴细胞和坏死组织及其它
②量化淋巴细胞，报道TIL空间分布、淋巴细胞比例、预后三者之间的关系。
③有研究构建了ADC微血管生成表征，虽然手动分割微血管是费力的并且容易出错，但是基于深度学习的分割是快速的并且可以量化微血管的面积和空间分布。

4.3.肺癌预后

①细胞核特征作为预后因素
王等人使用CNN模型通过将每个像素分类为核形心、核边界或非核来分割H&E图像中的核边界[83]。然后提取细胞核形态和结构特征，并用作复发预测模型中的预测因子，该模型在两个独立的数据集上得到验证，然后在调整性别和肿瘤分期后，被报告为早期非小细胞肺癌复发的独立因素[83]。
②细胞水平，TME空间分布，也作为一个预后水平
不同细胞的分布模式被报道为总生存期和复发的预后因素
③肿瘤边界和形状特征与预后相关
Wang等人应用CNNs检测整个载玻片图像上的肿瘤区域，并提取肿瘤边界和形状特征，这些被报道为肺ADC总生存期的预后因素[69]

5.未来方向
5.1.多任务学习在肺癌综合诊断和预后中的应用
独立训练各种模型会导致冗余工作，包括跨不同数据集和任务共享图像信息。因此，一个处理一系列肺癌诊断和预后任务的综合深度学习模型将具有重要价值。

5.2.解释深度学习模型并从训练好的神经网络中挖掘知识
尽管神经网络在许多复杂任务中表现出色，但它们通常被视为“黑盒”。应该努力从一个成功的模型中获得生物学和生理学的见解。

5.3.将临床和生物学研究中积累的知识融入深度学习方法
另一个重要的方向是将广为接受的知识应用到深度学习模型中。如基于表达数据预测患者临床结果。‘迁移学习’

5.4.医学影像多种方法的利用和整合
由于人眼主要在三个波段(红色、绿色和蓝色)感知颜色，因此用于捕获病理图像的传统相机分别包括红色、绿色和蓝色光的传感器。然而，其他波段可能包含额外的有价值的信息。因此，在多个波段成像(通常为3-10个波段，称为“多光谱成像”)；具有较窄波段(10–20nm)的成像被称为“高光谱成像”)已被用于病理成像分析，并被报道可提高图像识别中的算法性能[85，86]。预计深度学习将能够充分利用光谱信息，并在多光谱图像识别中表现良好。
一个重要方向是病理图像分析和放射医学的整合。常规放射学成像方式，如计算机断层扫描(CT)、正电子发射断层扫描(PET)和磁共振成像(MRI)，对于癌症筛查和监测至关重要。