医学图像分类_【阅读笔记】深度学习在医学图像分析领域的综述

本人硕士研究生在读，目前在做医学图像配准方面的工作。

正好在了解深度学习在医学图像配准方面的进展，看到一篇很好的综述，把读到的论文内容展示如下。
根据2017年的一篇综述论文 A survey on deep learning in medical image analysis.
谈一下深度学习在医学图像处理方面的进展。

---

先放一下该论文的思维导图

该图片出自 https:// raw.githubusercontent.com /FengHZ/FengHZ.github.io/master/images/suvery-on-dl-in-mia/mind_map.png
版权归原作者 FengHZ 所有

---

如果想了解相关进展，请直接阅读该论文的第三部分。

包含医学图像的图像分类、物体识别、图像分割、图像配准和其他任务共五个板块。

由于时间有限，本人在此着重介绍 第三部分第4节（基于深度学习方法的医学）图像配准

---

（基于深度学习方法的医学）图像配准

1. 应用背景

图像配准在医学图像处理与分析中有众多具有实用价值的应用。随着医学成像设备的进步，对于同一患者，可以采集含有准确解剖信息的图像诸如CT，MRI；同时，也可以采集到含有功能信息的图像诸如SPECT。

然而，通过观察不同的图像进行诊断需要凭着空间想象和医生的主观经验。采用正确的图像配准方法则可以将多种多样的信息准确地融合到同一图像中，使医生更方便更精确地从各个角度观察病灶和结构。同时，通过对不同时刻采集的动态图像的配准，可以定量分析病灶和器官的变化情况，使得医疗诊断、制定手术计划、放射治疗计划更准确可靠。

待配准图像

待配准图像直接叠加后的伪彩色对比图

配准后图像的伪彩色对比图

2. 配准定义 图像配准是使用某种方法，基于某种评估标准，将一副或多副图片（局部）最优映射到目标图片上的方法。通常情况下，它将一副图片（源图像，Moving Image）的坐标映射到另一幅图像（目标图像，Fixed Image）上，得到配准后的图像对（Moved Image）。

传统的配准方法是一个迭代优化的过程，首先定义一个相似性度量（如：L2范数，互信息），通过对参数变换或非参变换进行不断迭代优化，使得配准后的源图像与目标图像相似度最大。

如今，深度学习在医学图像分析的研究中是比较火热的技术，在器官分割、病灶检测与分类任务中取得了相当好的效果。基于深度学习的医学图像配准方法相较于传统的配准方法，具有很大的优势与潜力，因此有越来越多的研究人员在研究该方法，近几年来有不少相关的工作发表。

3. 基于深度学习的医学图像配准

大体上，近几年的文章可以分为两大类：

一、利用深度学习网络估计两幅图像的相似性度量，驱动迭代优化；

二、直接利用深度回归网络预测转换参数。

前者只利用了深度学习进行相似性度量，仍然需要传统配准方法进行迭代优化，没有充分发挥深度学习的优势，花费时间长，难以实现实时配准。因此，只针对后者进行研究与讨论，所得结论只限于此类的非刚性配准方法。

基于有监督学习，获取标签有两种方式：

一、利用传统的经典配准方法进行配准，得到的变形场作为标签；

二、对原始图像进行模拟变形，将原始图像作为固定图像，变形图像作为移动图像，模拟变形场作为标签。

基于非监督学习的配准，将配准对输入网络，获得变形场，对移动图像进行变形插值，即得配准图像。三维图像与之类似，将三维图像输入网络，获得变形场（dx，dy，dz），再插值得到配准图像。

可以发现一个趋势，即研究在逐渐从部分依靠深度学习（如利用深度学习网络结果，初始化传统方法优化策略）到完全依靠深度学习（即基于非监督学习的配准方法，学习网络直接获得配准图像）实现配准任务的方向转变，深度学习在配准任务上发挥越来越大的作用与潜能，配准效果与传统经典方法相近，甚至更好。如果妥善解决训练数据集匮乏问题，能更好地发挥基于深度学习的配准方法的优势，实现配准效果更好，速度更快。

关于基于深度学习的医学图像配准，本人额外需要补充的是，在 voxelmorph 工作中 MIT 的研究人员介绍了一种机器学习算法，能够使用全新的学习技术以超过 1000 倍的速度配准脑部扫描图片和其他 3D 图像。

但是医学图像配准当下仍然是一个未解决的经典问题（不论是传统方法还是深度学习方法），该领域没有公认的黄金标准，也没有相应的大型数据库，要解决该问题依旧任重而道远。

---

时间有限，直接跳到该论文的第五“讨论”部分成功的深度学习方法通常有这样几个层面的原因
1.很好的利用了该领域的专家知识
2.对数据进行了合适的预处理和数据增强处理
3.为某个单一任务设计了特殊的网络结构
4.使用了合适的超参数优化方法（基于直觉调参或者贝叶斯方法调参）医学图像领域仍有其独特的困难和挑战
1.缺少（带精确标注）的大型数据库
2.特定任务需要有领域专家进行指导
3.不同专家间的意见也难以一致
4.二分类模型过于简单难以胜任更复杂的情形
5.医学图像数据类别严重不均衡
6.医学图像分析的困难还存在于图像分析之外（需要充分利用关于患者的其他维度的信息，如年龄病史等）
7.基于切片的神经网络难以利用原图像中对应解剖结构的位置信息，但将整张图片传入神经网络的做法又有相应的缺点。展望部分
2017年Esteva等人在皮肤病学及2016年Gulshan等人在眼科学方面取得了惊人的进展，在这两个领域，他们都取得了比人类专家精度更高的图片分类模型。
但是究其成功的本质原因，是因为ImageNet数据集上取得了很好的结果，而上述两个问题足够简单，与ImageNet数据集中的某些自然图像处理问题有类似的结构。得益于ImageNet数据集巨大的数据量，将其中的模型用到上述两个问题上就取得了非常好的效果。
通常情况下的问题并没有这么简单的结构，暂无优秀的可用于3维灰度或多通道图像的预先处理好的网络结构，仍然需要更进一步的工作。

此外，尽管许多的医学图像分析问题可以被抽象简化为分类问题，但这并不见得是最优方案，许多好的结果需要通过非深度学习传统方法“后处理”得到。
在2017年前，随着AlexNet在ImageNet数据集上的大获成功，涌现出大量有监督学习的深度学习方法在医学图像处理方面的工作。但无监督学习将成为接下来的趋势。
无监督学习最大的好处是不需要大量精确标注的数据，此外无监督学习模仿了人类学习的方式，我们可能不需要特别的标注就能自动执行需要的任务。借助极少的监督我们就能处理大量的分类问题。当下主流方法是自编码VAE和对抗神经网络GAN。与有精确标注的医学图像相比，没有标注的医学图像数据更加容易获得，而无监督学习可以在这个方面发挥优势。

最后，由于深度学习类似黑箱模型，但医学图像领域对模型的可解释性要求较高，需要这方面的进一步工作。目前有的工作中包括将贝叶斯统计引入深度学习，这将对衡量预测的不确定性有所帮助。

结语：
深度学习不仅对“医学图像分析”有重大意义，对“医学图像”本身也将有重大意义。

---

延伸阅读：

1. 深度学习在健康信息学领域的进展：Deep Learning for Health Informatics.

该文章于2017年发布，在 A survey on deep learning in medical image analysis 论文第一节第四段被推荐，可供参考。

2. 【个人整理】图像配准综述

3. 基于深度学习的医学图像配准综述

该文章由 Timmymm 学长于CSDN在2018年发布，总结了近两年来，深度学习在医学图像配准领域的方法和进展，根据深度学习种类对其分类并简要描述，然后从不同角度对相关问题进行了总结。 PS：对该篇文章的引用已经过作者本人的允许。