一、四大医学成像【medical imaging technology】
1、X射线成像技术
2、CT成像技术
3、磁共振成像(MRI)技术
4、超声成像技术(Ultrasound)
二、CT射线成像中的深度学习
（一）低剂量->后处理高剂量
1、GAN
《Low Dose CT Image Denoising Using a Generative Adversarial Network with Wasserstein Distan》...TMI2018
（1）、结构：
整体结构就如上图所示，part1生成器部分8个卷积层的CNN用于进行CT图像的重建；part2感知损失结构用预训练好的VGG-19将生成器生成的图像G(z)和ground truth（x）喂到VGG里用于特征提取，然后根据上式更新生成器的权重；part3判别器网络，结构如下图所示，6个卷积层，3*3的卷积核，最后一层没有sigmod。
（2）、LOSS
普通计算Loss方式和gan的loss计算方式一起训练
不同loss影像训练效果
（3）、数据：
在4k张CT中随机抽取100096对patch，
2、编码-解码结构
Low-Dose CT with a Residual Encoder-Decoder Convolutional Neural Network MI 2017
（1）、结构[ 2016 NIPS RED]
（2）、loss
MSE【pixel level】
（3）、数据
实验数据包括两部分，一个是AAPM比赛的10位病人的HDCT和LDCT图像，另一个是作者在 the National Biomedical Imaging Archive (NBIA)的165名患者的HDCT上通过正弦图域增加泊松噪声来模拟LDCT。但代码中并没有这一部分的数据，而是将AAPM的10位病人数据按照8+2分成了训练和测试数据集。训练中图像裁剪成55*55的patch，下表是随机挑选出的100张图像的测试结果，相比较BM3D有不小的提升。
（二）学习迭代方案
《Learned Primal-dual Reconstruction》 TMI 2017
学习迭代过程中的正则化参数，不需要全连接层，缺点是整个过程非常耗费时间。
（三） 投影数据预处理
三、磁共振成像(MRI)技术中的深度学习
（一）、直接构造
《Image reconstruction by domain-transform manifold learning》
1、结构
3个全连接层[2n2 * 1] 2个卷积层 5个反卷积层
2、loss
MSE
3、数据集
Image Net 植物 动物
脑图
该数据集被转换为频率空间以模拟MRI原始数据。他们证明该算法可以从不同采集方案（即轴位，螺旋等扫描）获得数据重建MR图像，并使不足采样数据的显示性能改善，具有优异的去噪性能和抗伪影能力，可以再使用诸如RMSE的定量指标分析。作为本研究的一部分，他们还证明了CNN可以“学习”转换以将PET正弦图数据转换为图像空间。全连接层的使用使得AUTOMAP很难应用于较小的数据集，因为它存在过度拟合和计算量大的问题。最近，Häggström等人展示了使用计算效率更高的编码器-解码器，从正弦图数据重建PET图像的更广泛工作，与标准迭代技术（例如有序子集期望最大化（OSEM））相比，具有快100倍的重建优势。其他研究小组已经表明，编码器-解码器网络和变换网络可以从欠采样数据中获得出色的MR重建图像。这项工作对MRI成像的重要性在于它能够显著加快成像采集速度，这对于增加扫描仪的使用量或对于不能忍受标准成像检查时间的患者是有用的。
（二）GAN
Deep Generative Adversarial Networks for Compressed Sensing Automates MRI
摘要：磁共振成像（MRI）重建是一个严重病态线性逆向任务，需要时间和资源密集型计算，在实时成像中因为速度大大降低准确性。另外，最先进的压缩感测（CS）分析不能识别诊断级别的图像。为了应对这些挑战，我们提出了一种新型CS框架，它利用生成对抗网络（GAN）的益处来训练历史患者的（低维）多种诊断质量MR图像。利用最小二乘（LS）GAN和逐像素L1代价的混合，将具有跳跃连接的深度残差网络作为生成器来进行训练，通过投影到流形上来学习消除混叠伪影。LSGAN学习纹理细节，而L1控制高频噪声。然后基于诊断质量的图像联合训练多层卷积神经网络以区分投影质量。测试阶段在生成器网络上执行前馈传播，计算开销非常低。对儿科患者对比增强MR数据集进行评估。具体而言，以专家放射科医师评级的图像为基准，GANCS相对于传统的CS和像素方案具有更详细纹理的高对比度图像。此外，它在几毫秒内就可以重建，比现有技术的CS-MRI方案快两个数量级。
当磁共振成像（MRI）的采样率过低而无法快速成像时，便会出现混叠伪影。常规CS MRI重建使用基于预定义稀疏变换的正则化迭代重建，该稀疏变换通常包括耗时的迭代优化，并且可能会导致不期望的伪影，例如过度平滑。在这里，我们提出了一种新颖的CS框架，该框架渗透了深度学习和生成对抗网络（GAN）的好处，可以对来自历史患者的MR图像进行建模。对大型儿科MRI数据集进行的广泛评估表明，与传统的CS和逐像素深度学习方案相比，该方法可实现卓越的性能，检索质量更高，细节更细的图像。
（三）卷积神经网络 U-net
Deep convolutional neural networks for accelerated dynamic magnetic resonance imaging
stanford
摘要：使用压缩感知（CS）重建方法可以加速动态磁共振成像（MRI）扫描，可以从欠采样数据中生成诊断质量图像。不幸的是，CS重建是耗时的，在动态MRI扫描和图像可诊断之间需要数小时。在这项工作中，我们训练卷积神经网络（CNN）来快速重建严重欠采样的动态心脏MRI数据，并探索将CNNs用于进一步加速动态MRI扫描时间上的效用。与最先进的CS重建技术相比，我们的CNN实现提高150倍重建速度，而且图像质量没有明显损失。此外，初步结果表明CNN可能比CS允许的扫描时间快两倍。
四、超声成像技术中的深度学习
（一）卷积神经网络直接从RF中重建
《Towards CT-quality Ultrasound Imaging using Deep Learning》 IUS2017
第一层用于压缩信号，其余层负责执行重建【简单的直接把结构化信息拿来做实验】
超声成像的成本效益和实际无害性使其成为医学诊断中最广泛的工具之一。不幸的是，基于波束形成的图像形成会产生颗粒状的斑点噪声，模糊，阴影和其他伪影。为了克服这些影响，最终目标将是通过解决全波传播逆问题来重建组织声学特性。在这项工作中，我们使用多分辨率卷积神经网络（CNN）向着这一目标迈出了一步。结果，我们能够从通过反射从人体的真实CT扫描获得的仿真超声射频（RF）数据重建CT质量图像。我们还证明了CNN能够模仿现有的计算繁重的去斑点方法，
数据集：
IEEE 17年公开的PICMUS数据集
使用峰信噪比（PSNR）评估图像质量
（二）卷积神经网络从RF中重建
Efficient B-Mode Ultrasound Image Reconstruction From Sub-Sampled RF Data Using Deep Learning TMI 2018
在便携式，3-D和超快速超声成像系统中，由于接收器（Rx）或发射器（Xmit）的限制，需要通过有限数量的射频（RF）测量来重建高质量图像的需求不断增长）事件子采样。但是，由于存在来自RF子采样的旁瓣伪像，因此标准波束形成器通常会生成对比度较低的模糊图像，这不适用于诊断目的。现有的压缩感测方法经常需要硬件改变或计算上昂贵的算法，但是它们的质量改进是有限的。为了解决这个问题，在本文中，我们提出了一种新颖的深度学习方法，该方法通过利用Rx-Xmit平面中的冗余直接内插丢失的RF数据。
现有工作直接从RF中提取出信号
此篇从原RF采样得到的子RF中采样进行训练重建
自己的数据集做验证
（三）细节方面做改进 Deep Neural Networks for Ultrasound Beamforming TMI 2018
摘要：我们研究了使用深度神经网络（DNN）抑制超声通道数据中的轴外散射。我们的实现通过短时傅立叶变换在频域中运行。 DNN的输入由在整个阵列孔径上以单个频率和单个深度观察到的分离的实部和虚部分量（即同相和正交分量）组成。为不同的频率训练了不同的网络。输出具有与输入相同的结构，并且在使用逆短时傅立叶逆变换来重建通道数据之前，将实部和虚部组合为复杂数据。使用模拟，物理幻像实验和人体肝脏的体内扫描，我们将这种DNN方法与标准延迟总和（DAS）波束形成技术和使用相干因子的自适应成像技术进行了比较。对于模拟的点目标，使用DNN方法时的旁瓣比标准DAS的旁瓣低约60 dB。对于模拟的无回声囊肿，与DAS相比，DNN方法分别将对比度（CR）和对比度噪声（CNR）比提高了8.8 dB和0.3 dB。对于物理模型中的消声囊肿，DNN方法将CR和CNR分别提高了17.1 dB和0.7 dB。对于两次体内扫描，DNN方法将CR和CNR分别提高了13.8 dB和9.7 dB。我们还探索了检查本文中网络功能的方法。
数据集：仿真做的
当磁共振成像（MRI）的采样率过低而无法快速成像时，便会出现混叠伪影。常规CS MRI重建使用基于预定义稀疏变换的正则化迭代重建，该稀疏变换通常包括耗时的迭代优化，并且可能会导致不期望的伪影，例如过度平滑。在这里，我们提出了一种新颖的CS框架，该框架渗透了深度学习和生成对抗网络（GAN）的好处，可以对来自历史患者的MR图像进行建模。对大型儿科MRI数据集进行的广泛评估表明，与传统的CS和逐像素深度学习方案相比，该方法可实现卓越的性能，检索质量更高，细节更细的图像。
当磁共振成像（MRI）的采样率过低而无法快速成像时，便会出现混叠伪影。常规CS MRI重建使用基于预定义稀疏变换的正则化迭代重建，该稀疏变换通常包括耗时的迭代优化，并且可能会导致不期望的伪影，例如过度平滑。在这里，我们提出了一种新颖的CS框架，该框架渗透了深度学习和生成对抗网络（GAN）的好处，可以对来自历史患者的MR图像进行建模。对大型儿科MRI数据集进行的广泛评估表明，与传统的CS和逐像素深度学习方案相比，该方法可实现卓越的性能，检索质量更高，细节更细的图像。当磁共振成像（MRI）的采样率过低而无法快速成像时，便会出现混叠伪影。常规CS MRI重建使用基于预定义稀疏变换的正则化迭代重建，该稀疏变换通常包括耗时的迭代优化，并且可能会导致不期望的伪影，例如过度平滑。在这里，我们提出了一种新颖的CS框架，该框架渗透了深度学习和生成对抗网络（GAN）的好处，可以对来自历史患者的MR图像进行建模。对大型儿科MRI数据集进行的广泛评估表明，与传统的CS和逐像素深度学习方案相比，该方法可实现卓越的性能，检索质量更高，细节更细的图像。
五、融合PET成像
PET具有探测人体活体内的分子过程的能力。然而，尽管由于它在分子层面的高敏感性而赋予的巨大价值，但由于辐射，通常用于老年人或终末期病人，而不是用于随访研究。因此，减少辐射剂量对增加其潜在受众人群是有益的。由于先前的工作已经证明了另一种基于辐射的影像技术（CT）的降噪能力[11]，可以逻辑上检验应用这种方法是否也适用于PET。应用深度学习方法对PET图像去噪具有一些优势，如根据应用程序平衡剂量与床位时间的能力，使用列表模式数据以真实的方式合成噪声图像的能力，以及使用杂合成像模式（如CT和MR）改进去噪过程的能力。图2显示了一个FDG PET扫描的例子，该扫描增加了稀疏采样计数，可用于创建合成的低剂量图像。
最初由Xiang等学者证明一个CNN（卷积神经网络）可用于PET图像的去噪处理 [29]。作者在这项研究结果表明,缩减75%的床位时间重建的低剂量PET图像，可以用T1加权图像作为输入数据建立的深度学习模型，预测全剂量PET图像。该方法理论上可将扫描时间或剂量减少4倍。从剂量上着手是特别现实的，事实上可能低估了这种性能，因为随着剂量减低，相机的真实事件呈线性下降，而随机事件呈二次函数关系递减