医学图像处理与深度学习

医学图像数据格式

医学图像采用数字成像和通信（DICOM）作为存储和交换医学图像数据的标准解决方案。这个标准的第一个版本是在1985年发布的。发展到现在，该方案有了一些改变。该标准使用文件格式和通信协议。

文件格式 - 所有患者医疗图像都以DICOM文件格式保存。除了其他图像相关数据（例如用于拍摄图像的设备以及医疗处理的一些背景）之外，该格式具有关于患者的PHI（受保护的健康信息），例如姓名，性别，年龄。医学影像设备创建DICOM文件。医生使用DICOM查看器，可显示DICOM图像的计算机软件应用程序，读取和诊断图像中的发现。

通信协议 - DICOM通信协议用于搜索档案中的成像研究，并将成像研究恢复到工作站以显示。连接到医院网络的所有医疗成像应用程序都使用DICOM协议来交换信息，主要是DICOM图像，还包括患者和手术信息。还有更先进的网络命令，用于控制和跟踪治疗，调度程序，报告状态，分担医生和成像设备之间的工作量。关于DICOM标准细节，在这里推荐一个很好的博客http://dicomiseasy.blogspot.com

分析DICOM图像

用于分析DICOM图像的一个很好的python包是pydicom。初次之外，我们还可以用pandas，scipy, skimage,mpl_toolkit 进行数据处理和分析。
接下来，我们介绍一些可以获得DICOM 数据库，如下：

• kaggle competitions and Datasets
• Dicom Library
• Osirix Datasets
• Visible Human Datasets
• The Zubal Phantom

在医学影像处理中使用的到的深度学习的模型框架主要有：

• SAE(stack auto-encoder) 无监督学习方案，逐层训练，得到特征描述为主
• RBM(restricted Boltzmann machine) 无监督学习方案，与SAE 类似
• CNN(convolutional neural network)
  卷积神经网络，使用最为广泛，可以用来提取图片特征或者直接完成分类检测等任务
• RNN(recurrent neural network) 循环神经网络，用来获取时序上的信息，在CT等逐行扫描图像中使用
• U-net (with a single downsampling stage)
  类似于带short-cut的全卷机网络，用来融合不同尺度的图像的特征
• FCNN(fully convolutional neural network)
• 全卷机网络，可以获取与原图相同分辨率的图片，常用于分割等任务 FRCNN(Faster Region-proposal based neural network)

深度学习框架

• caffe
• tensorflow
• torch
• Theano

暂时没有使用到的深度学习技术

• VAE
• GAN

State of Arts

深度学习在医学图像领域的一些限制

• 缺少高质量的标注的训练样本，因此训练出来的模型可能是过拟合的或者说推广性不好，因此需要将的到的模型放在各种情况下测试推广性]

• 深度学习得到的模型是一个黑盒子，无法解释其有效性，在一些特殊的情况下会出现非常奇怪无法解释的问题，因此在医疗行业中的接受度也是一个问题[^doc3]
  在商业系统中使用临床上的图片资料会存在法律和伦理上的问题而不使用这样的样本无法进一步的提高深度学习模型的水平

2D VS 3D

从文献综述来看，大部分的工作都是基于2D图像的，其实在医学图像中，CT 和 MRI都是3D的数据2D化的结果，在医疗图像处理的算法中3D重建等等也是非常重要的一大类算法，但是现有的基于3D的算法一来耗时比较高，二来并没有比基于2D的算法提高很多，使用2D还是3D是一个值得思考的问题。

Feature vs Result

从文献综述中来看，稍微久远一些的算法就是把CNN当作是一个特征提取的算子获得图像的描述特征而最新的一些方法直接将CNN的结果就作为最终的输出结果来使用， 这里喔感觉直接使用CNN的输出作为结果，会涉及到文献中所说的黑盒子的限制，可解释型一般是比较差的，而作为特征来使用解释性可能会好一些，因为后续的一些后处理中可以增加的规则类的比较多，解释性会更佳

过滤 vs 诊断

一直以来作者觉得在医疗行业中，计算机能做的最大的贡献就是帮助医生做大量医学影像的过滤工作，至于使用诊断上最多也只是一个辅助的诊断工具，而机器学习到达了深度学习的时代，有些本来以为不太可能的任务都被深度学习算法一个一个的攻克了，在未来的工作做，计算机深度学习是不是可能独立的进行本属于医生独享的诊断工作我还是不得而知，然后我们可以知道的是，技术的发展使得过滤的正确率大大的提高，极大的提高生产的效率，这一方面是肯定有助于医疗行业的，相应深度学习在医疗领域的前景还是很广阔的。
原文：https://zhuanlan.zhihu.com/p/27568550