深度学习在医学影像方面的发展

深度学习在医学影像方面的发展

深度学习算法在医疗影像的应用1
深度学习算法在医疗影像的应用2

分类

1、图像筛查
　　借助医学图像来辅助诊断人体内是否有病灶，以及对病灶进行量化分级，比如通过胸片判断该胸片是否有尘肺，比如通过脑磁共振成像（MRI）数据集对阿尔茨海默病患者（海马体）进行分类。分类问题的输入可以是一张或多张医学影像，甚至还可以包括文字载体的诊断报告，输出是一个单一的诊断变量。
2、病灶分类
　　病灶分类可以辅助医生对疾病进行诊断，如对乳腺病灶进行良恶性分类。其处理过程通常首先通过预处理方法识别或标记出的特定区域,然后再对特定区域进行目标或病灶分类。精确的分类不仅需要病灶外表的局部信息,而且还需结合其位置的全局上下文信息，比如胸部CT中的结节分类（实性结节、部分实性结节、非实性结节进一步判断是良性肿瘤还是恶性肿瘤）出现边缘出现毛刺以及脂肪密度等等。
　　分类举例：（AAAI 2019）CheXpert: A Large Chest Radiograph Dataset with Uncertainty Labels and Expert Comparison
（数据集）
　　最热门的就是吴恩达的斯坦福团队发布了一个叫做CheXpert的大型数据集，它包含了65240位病人的224316张X线胸片以及放射科医师为每张胸片写的病理报告。这22万张X光胸片的label是团队从医师每张胸片做的报告文本里自动提取的，同时验证集合测试集的label是真实医师标注的。
　　X线胸片分为正面拍摄、背面拍摄、侧面拍摄。每张胸片有14个标签要贴，其中12个，是表明患者是否存在12种疾病特征。它们是：No Finding（健康）、Enlarged Cardiomediastinum（纵隔扩大） 、Cardiomegaly（心脏肥大）、Lung Opacity（肺部浑浊）、Lung Lesion（肺部病变）、Edema（水肿）、Consolidation（变实）、Pneumonia（肺炎）、Atelectasis（肺不张）、Pneumothorax（气胸）、Pleural Effusion（胸腔积液）、Pleural Other（胸膜其他）、Fracture（骨折）、Support Devices（辅助设备）。

（网络）
　　对于医疗影像分类，数据集的大小通常比计算机视觉中的要小（成百上千个样本VS数百万个样本）。因此，这方面经常用到迁移学习。
　　作者尝试了ResNet152、DenseNet121、Inception-v4以及SE-ResNeXt101多种网络作为特征提取器，最后发现使用DenseNet121作为特征提取器效果更好。提取特征之后加上一个全连接层，全连接层后面使用Sigmoid激活函数得到输出，注意：这个地方不能用Softmax激活函数，因为这是一个多标签分类问题（可以同时患多种疾病），不是多类别分类问题（只能属于一个类别），损失函数使用binary cross-entropy losses（其实就是普通的交叉熵损失，可理解为对每一个类别的输出都进行的是二分类）。

目标检测

Detection：
　　在医疗影像上的目标检测一般用于检测器官等结构的解剖或病灶的位置检测，并用候选框进行标注。检测器官比如定位肺部，检测病灶比如检测肺部哪里有结节。公开数据集也很多，曾经阿里举办过天池大赛、以及kaggle、Luna16等。肺结节检测属于CT项目，也即3D数据，需要用三维信息，前后信息具有关联性。通用图像中的目标检测通常是在二维图像上进行的，然而医学影像多为三维图像，所以无法直接迁移通用图像中较为成熟的算法。由于直接处理三维图像所需计算资源太大，现有的方法中的一部分将三维影像中的每一层当作二维图像单独处理，也有方法在减小复杂性后直接处理三维影像。
　　检测方法也可以分为先定位再分类的方法和直接预测出目标位置的方法。前者需要先定位出可能含有目标对象的区域，再将问题转化为分类问题对筛选出的可能区域进行检查，而后者则是端到端的方法。除此之外也有基于循环神经网络和强化学习的方法。总的来说，尽管存在数据数量少、正负类比例不协调、可解释性差等问题，相比于其他机器学习方法在不同应用中的现状，基于深度学习的目标检测已经表现出了显著的效果
　　关于网络方面，目标检测类可以学习R-CNN系列和YOLO、SDD系列。现在最新的一些算法也基本上是在这两大系列上改进创新的。

分割

1.器官分割：
　　区域分割出来医学图像中器官及其子结构的分割可用于定量分析体积和形状有关的临床参数，如心脏的心室体积。另一方面，在采用智能调强放疗技术对肿瘤进行治疗时, 危及器官勾画是制定放疗计划中非常重要的步骤之一，深度学习在此任务中应用非常广泛，主要应用于：胸部器官分割（图一）；眼底动静脉血管分割（图二）；组织病理学图像和显微镜图像分割；脑组织结构分割以及心脏心室分割等领域。

2.病灶分割：
　　医学影像分割中还有另一类病灶分割问题。病变分割在深度学习算法应用中包括物体检测和器官及子结构分割中的挑战，全局和局部上下文被用来得到精确的分割。病灶分割则既含有病灶的目标检测，也包含其结构甚至子结构的分割。分割出的病灶区域可以进一步用于体积的计算或是病情发展情况的预测，例如肺部空洞体积的计算和空洞缩小所需时间的估计。

配准

Registration：
　　配准问题解决的是一个一张图像到另一张图像坐标的变换，常用于神经外科手术或脊柱外科手术，用来定位结节或脊柱骨等标志物，以便于外科手术中切除结节或放置脊柱植入物。
　　核磁共振成像 (Magnetic resonance image, MRI)、正电子发射断层扫描 (Positron emission tomography, PET)、计算机断层扫描 (Computer tomography, CT)、锥形束 CT、3D 超声成像等医学影像技术目前已广泛应用于临床检查、诊断、治疗与决策。
　　图像有结构性与功能性之分，后者图像空间解析度差，可以看到组织的代谢情况，但不知道位于组织中的位置。所以需要影像配准与融合，将不同类型的图像结合在一起，一个提供清晰的结构，一个提供代谢情况，这样可以了解到组织与器官的病变。

• 一、结构性图像，它主要可以得到组织的结构性特征，但无法看到生物有机代谢的情况；

1.X-ray，如血管摄影和电脑断层，它可以看到组织结构；
2.声音，如超声成像；
3.荧光，它可以用来探讨组织和细胞的形状与结构；
4.磁场，如核磁共振，它可以看到脑组织和身体器官的结构；
5.光学，比如眼底图像，光学相干断层扫描，它可以侦探到身体的结构，帮助诊断。

• 二、是功能性图像，它可以提示代谢的衰变与下降，或功能性的疾病。

1.光子，如用单光子电脑断层扫描，可以看到代谢状况，不过没法看到组织结构；
2.正子，如正子断层扫描，它加上一些医学药物的应用，可以看到代谢情况，看到肿瘤和病灶；
3.血氧水平，如fMRI功能性磁共振；
4.电流活动，下中图是脑波图的方法，透过脑波图，拓扑到脑部对应位置，可以看到活动状态下脑部电流改变的状况；
5.磁场，与脑波图类似，通过脑磁图的方法，用磁场侦探微弱电流，可以感应出大脑中的功能性差异。

相比结构性图像，功能性图像的空间解析度较差。

重建

数据增强：
　　医学影像重建是医学影像最基本和重要的组成部分之一，其主要目标是以最小的成本和对患者的风险获取高质量的医学影像以用于临床。

问题