深度学习MRI重建综述
参考文章：
A review and experimental evaluation of deep learningmethods for MRI reconstruction
文字有点乱，可以看表格
| 基于展开的方法 |
Yang et al. (2018) |
ADMM-Net |
CNN |
将ADMM算法展开成深度网络，网络层数代表迭代次数，模型的超参数成为网络中的参数。 |
ADMM |
| Hammernik et al. (2018) |
Variational-Net |
CNN |
通过将展开的梯度下降应用至变分模型与深度学习相结合的变分网络，可以快速、高质量地重建加速多线圈 MR 数据。 |
Gradient Decent |
|
| Zhang et al. (2018) |
ISTA-Net |
CNN |
将网络的每一层对应于迭代软阈值算法(ISTA-Net)的一次迭代运算。该方法很好的结合了传统迭代算法和深度网络算法的优势，既大大提高了计算效率，又赋予了网络明确的可解读性。 |
ISTA |
|
| Aggarwal et al. (2019) |
MoDL |
CNN |
在网络中使用数值优化块（如共轭梯度算法）来增强数据一致性来代替梯度下降法，这种方法能在每次迭代中提供更快的收敛速度。 |
AM |
|
| Schlemper et al. (2018) |
DCCNN |
CNN |
使用卷积神经网络（CNN）的深层级联从欠采样数据中重建2D心脏磁共振（MR）图像的动态序列，以加速数据采集过程。 |
AM |
|
| Cheng et al. (2019) |
PD-Net |
CNN |
将原始对偶混合梯度算法（PDHG）的迭代展开为可学习的深度网络架构，并逐渐放宽约束以从高度欠采样的k空间数据重建MR图像。 |
PDHG |
| 基于端到端的方法 |
Zhu et al. (2018) |
AUTOMAP |
MLP, CNN |
将图像重建转化为数据驱动的监督学习任务，使用由全连接层和稀疏卷积自动编码器组成的深度神经网络前馈框架 |
| Mardani et al. (2019) |
GANCS |
GAN |
使用GAN网络的优势训练来自历史患者的临床MR 图像的（低维）流形。利用最小二乘GAN和像素级l1损失的混合损失，生成器为具有跳跃连接的深度残差网络。 |
|
| Yang et al. (2018) |
DAGAN |
GAN |
将图像损失、频率损失、对抗损失、感知损失联合起来作为训练损失，显著提升了重建图像的质量。 |
|
| Yuan et al. (2020) |
SAGAN |
GAN |
在生成器中引入了自注意机制，建立了图像的长距离相关性，克服了卷积核大小有限的问题。此外，还采用了谱归一化来稳定训练过程。 |
|
| Feng et al. (2021) [34] |
MTrans |
Transformer |
首次将Transformer应用于MRI重建，将多尺度特征从目标模态传输到辅助模态，用于加速MR成像。为了捕获深层的多模态信息，采用了一种改进的多头注意机制，称为交叉注意模块。 |
经典重建--多线圈MRI重建
傅里叶变换从k空间得到图像
η：测量噪声
Si：多线圈敏感度，i表示第几个线圈，M表示掩膜
最小化损失函数从而估计x，如果我们希望在优化过程中计算误差梯度，这个平方损失函数就相当方便。
如果数据采样不足，通常会添加一个正则器R(x)来解决这样一个条件不佳的成本函数
Ri是正则器，λ是控制重建图像x属性的超参数，同时避免过拟合。
公式3和正则化项可以用各种方法进行优化：
- 莫罗佐夫公式
- 伊万诺夫公式
- 蒂科诺夫公式：Tikonov公式可以使用基于物理学、促进稀疏度、字典学习或基于深度学习的模型来设计。但有几个因素会导致数据质量的损失
1.2用于MR重建的深度学习先验
Z是捕捉数据样本的统计正则性的潜在变量，c是条件随机变量，其取决于多个因素，例如k空间的欠采样、图像的分辨率或所使用的DL网络的类型。
根据学习的性质，有两种类型的学习方法，称为生成性模型和非生成性模型。
生成模型：生成性对抗性网络(GAN)，变分自动编码器(VAE)
生成模型可以有效地消除k空间中经过4×或8×欠采样的MR图像的混叠
非生成模型：GNGE可以是卷积神经网络(CNN) 、长期短期记忆(LSTM) 或任何其他类似的深度学习模型。
1.3磁共振成像的经典方法
基于物理的图像重建方法
稀疏性促进压缩传感方法
基于低阶的方法
可以粗略地分为两类，即
- GRAPPA类方法：其中对k空间施加先验假设
- Sense-like方法：其中从k空间重建图像，同时使用稀疏性提升和/或边缘保持图像正则化项来联合去混叠(或去混叠)图像。
基于k空间的方法：SMASH，VDAUTO SMASH,GRAPPA
k-t GRAPPA 利用k-t空间中的相关性并对缺失数据进行内插。
基于稀疏性的低秩基方法基于这样的假设：当图像重建遵循一组约束(如稀疏性、光滑性、并行成像等)时，所得到的k-空间应该遵循具有低秩性的结构。
基于图像空间的重建方法
基于模型的图像重建算法结合成像系统的基本物理原理并利用图像先验信息，如邻域信息
1.4本次文献综述的主要亮点
经典，生成模型，非生成模型。研究方向
并行成像的经典方法
这一部分回顾了一些经典的基于k空间的MR图像重建方法和经典的基于图像空间的MR图像重建方法
2.1使用k空间内插的逆映射
3.1各种深度学习框架
感知机：要么全有，要么全无
多层感知器：感知器的不可分离性问题可以通过多层感知器来克服，但由于没有适当的训练规则，研究陷入停滞。MLP由输入层、输出层和几个紧密连接在称为隐藏层的层之间组成：
卷积神经网络（CNN）：MLP的密集连接(也称为全局连接)模型过于灵活，容易过度匹配，有时会产生很大的计算开销。
CNN的层可以是完全连接的致密层、缩小输入大小的最大池化层，也可以是用于执行等式中未显示的正则化的丢失层。
递归神经网络(RNN)：CNN可以利用其固有的深层结构和通过卷积核的局部连通性来学习数据集的隐藏特征。但他们不能学习信号中的时间依赖性。
t是时间，并且RNN以顺序方式获取输入x。然而，RNN存在“梯度消失”的问题。当使用基于梯度的优化方法训练的RNN的输出层的梯度改变参数值时，观察到消失的梯度，从而不影响参数学习的变化。
长期短期记忆(LSTM)网络使用记忆门、Sigmoid和/或tanh激活功能以及后来的RELU激活功能，以控制梯度信号并克服消失梯度问题。
Transformer Networks:
LSTM模型存在一些问题，例如：(I)LSTM网络执行输入的顺序处理；(Ii)隐藏状态的注意力跨度较短，可能无法学习输入的良好上下文表示。
Transformer Networks具有自我注意机制位置嵌入和非顺序输入处理设置，经验表明，这种配置的性能远远超过LSTM网络
3.2 激活功能
激活函数ψ(·)作用于神经网络的节点或层，它提供布尔输出、概率输出或范围内的输出。
阶跃激活函数，双曲正切函数，sigmoid激活函数（RELU）
3.3 Network Structures
VGG网络：2015年底，Zisserman等人。他们发表了一篇开创性的论文，标题为《very deep convolutional networks for large-scale image recognition》(VGG)( 2014)，提出了一个称为VGG网络的16层网络。VGG网络的每一层都有越来越多的信道。该网络在计算机视觉任务中达到了最先进的水平，如分类、识别等。
ResNet模型（2016)：最近开发的一种称为剩余网络或ResNet的模型，修改了等式27中所示的层交互转化为以下形式：Ci=ψi−1(Ki−1⭐Ci−1)+Ci−2其中，i∈{2，···，n−1}，并提供到隐藏层的“快捷连接”。使用快捷连接的身份映射对网络的性能和稳定性有很大的积极影响。
UNET（2015)：为了完成生物医学图像中的图像分割任务，提出了一种UNET体系结构。整个端到端架构图形化地类似于英文字母“U”，并有一个编码器模块和一个解码器模块。每个编码层由未填充的卷积、纠错的线性单元，以及汇聚层组成。它们共同将图像下采样到一些潜在空间。
解码器具有与编码器相同的层数。每个解码层对来自其前一层的数据进行上采样，直到达到输入维度。该体系结构已在多个数据集上显示出良好的定量结果
自动编码器：自动编码器(AE)是一种机器学习模型，通过将目标值映射为等于输入值(即身份映射)，以无监督的方式捕获输入数据样本的模式或规则。例如，给定从训练数据分布PDATA(X)随机采样的数据点x，标准AE使用由∼d参数化的编码器网络zθD(z|x，θd)来学习低维表示z。也称为潜在表示的低维表示z随后使用由θg参数化的解码器网络˜x∼ggen(x|z，θg)被投影回输入维度。使用具有以下优化目标的标准反向传播算法进行训练
Variational Autoencoder（VAE）：变分自动编码器(VAE)基本上是一个自动编码器网络，它由一个编码网络GGEN组成，G估计了译码网络D(z，θd)的后验分布p(z|x)和推论p(x|z)
然而，VAE不能直接优化VI。
VAE估计了类似于KL散度的证据下界(ELBO)
Generative Adversarial Networks（GAN）:生成性对抗性网络（GAN）是两个称为生成器的神经网络之间的相互作用
随着训练的进行，生成器ggen(z|θg)逐渐学习生成逼真外观图像的策略，而鉴别器D(x，θd)学习区分生成的样本和真实样本
| VGG |
2015年底，Zisserman等人提出了一个称为VGG网络的16层网络。VGG网络的每一层都有越来越多的信道。该网络在计算机视觉任务中达到了最先进的水平，如分类、识别等。 |
| ResNet |
一种称为剩余网络或ResNet的模型，修改了的层交互转化，并提供到隐藏层的“快捷连接”，使用快捷连接的身份映射对网络的性能和稳定性有很大的积极影响。 |
| UNET |
有一个编码器模块和一个解码器模块，解码器具有与编码器相同的层数。每个解码层对来自其前一层的数据进行上采样，直到达到输入维度。 |
| 自动编码器（AE） |
一种机器学习模型，通过将目标值映射为等于输入值(即身份映射)，以无监督的方式捕获输入数据样本的模式或规则。 |
| 变分自动编码器（VAE） |
是一个自动编码器网络，它由一个编码网络GGEN组成，G估计了译码网络D(z，θd)的后验分布p(z|x)和推论p(x|z)，VAE不能直接优化VI。 VAE估计了类似于KL散度的证据下界(ELBO) |
| GAN |
两个称为生成器的神经网络之间的相互作用 随着训练的进行，生成器逐渐学习生成逼真外观图像的策略，而鉴别器学习区分生成的样本和真实样本 |
3.4损失函数
VGG loss：更深层次的特征地图VGG-16网络，即具有16层的VGG网络，可以用于比较图像的知觉相似性。。。。
相关性CLi，j被认为是VGG损失函数
4.基于深度生成模型的逆映射
在这一部分中，我们将讨论如何将这些网络（生成性网络：GAN,贝叶斯）用于MR重建。
4.1生成性对抗网络(GANS)
K-空间的逆映射：目前基于GAN的k空间方法大致可以分为两类：
- 直接在k空间y上操作的方法，并通过学习非线性映射
- 归因于在欠采样的k空间测量中丢失的k空间线条的方法来重建图像x。
在接下来的段落中，我们首先讨论了最近基于GAN的直接k空间到MR图像的生成方法，然后是欠采样k空间到全k空间的生成方法。
k空间—图像空间：通过非线性内插估计k空间直线即
该GAN框架用于(Oksuz等人，2018)使用类 AUTOMAP 网络校正心脏成像中的运动伪影
类 AUTOMAP 生成器架构不仅提高了重建质量，而且有助于其他下游任务，如MR图像分割。虽然基于自动映射为生成器的方法解决了更广泛的运动伪影问题，但它们在很大程度上没有解决沿相位编码方向的带状伪影
为了解决这个问题，一种名为通过对抗性训练去除MRI条带的方法(DeFazio等人，2020年)利用了感知损失以及鉴别器损失
尽管它们在基于k空间的可行采样模式的MR重建中取得了成功，但到目前为止我们所讨论的模型存在以下限制：
- 它们需要用于训练的未混叠图像，
- 它们需要成对的k-空间和图像空间数据，或者
- 需要完全采样的k-空间数据。相反，我们注意到最近的一项名为使用Gans进行无监督MR重建的工作(Cole等人，2020)，该工作只需要来自接收器线圈的欠采样K空间数据，并优化了用于图像重建的网络。
图像空间校正方法：
通过更新方程4来学习减少噪声和/或混叠伪影。
| K-空间的逆映射 |
类 AUTOMAP 网络校正心脏成像中的运动伪影（Oksuz等人，2018） |
没有解决沿相位编码方向的带状伪影 |
| 通过对抗性训练去除MRI条带的方法(DeFazio等人，2020年)利用了感知损失以及鉴别器损失 |
解决了沿相位编码方向的带状伪影 |
|
| 对抗性神经网络（AMRI）方法的加速磁共振成像(Shitrit and Raviv，2017) |
使用条件GAN，来生成缺失的k空间线。组合的k空间线被傅里叶变换并传递给鉴别器 |
|
| 生成性对抗神经网络方法(SUBGAN)的亚采样脑MRI重建(Shaul等人，2020) |
讨论了时间背景的重要性以及如何减轻与目标运动相关的噪声。 |
| 图像空间校正方法 |
基于自我注意和相对平均判别器的GAN(SARAGAN) (袁等人，2020) |
SARAGAN方法采用了相对论鉴别器以及自我注意网络 |
| 压缩传感GAN（GANCS）（Mardani等，2018）RefineGAN（Quan等人，2018） 结构保护GAN（Doora等人，2020；Lee等人，2018） |
基于稀疏性的约束被作为正则器施加到公式中。 |
|
| PIC-GAN（Lv等人，2021） MGAN（Zhang等人，2018a） |
使用类似SENSE的重建策略，利用GAN框架结合从平行接收线圈重建的MR图像。 |
|
| K空间和图像空间相结合的方法 |
"用于MR图像重建的非相干结构的采样增强神经网络"（SANTIS）的方法（Liu等人，2019年） |
除了利用GAN损失，还利用循环一致性损失 |
| 协作GAN方法（CollaGAN）（Lee等人，2019年） |
没有从单一图像的K空间和图像域之间进行周期一致性，而是考虑了T1加权和T2加权数据等域的集合，并试图在所有域中以周期一致性重建MR图像。 |
|
| InverseGAN（Narnhofer等人，2019年） |
使用一个单一的网络来执行周期一致性，该网络同时学习来自K空间和到K空间的正向和反向映射。 |
贝叶斯：
贝叶斯定理将后验p(x|y)表示为k-空间数据似然p(y|x)和先验p(X)的函数
在(Tezcan等人，2018)中，使用计算密集型的蒙特卡罗抽样技术估计先验
为了克服计算代价，几位作者提出了使用VAE学习从欠采样k空间到图像空间的非线性映射。
PixelCNN+(Oord等人，2016)将每个像素视为随机变量，并将图像x上像素的联合分布估计为条件分布的乘积
(Luo等人，2020)中提出的方法考虑了PixelCNN+的生成回归模型来估计先验p(X)。这种方法表现出了非常好的性能。
(Lonning等人，2018)：用于加速MRI重建的递归推理机(RIM)是一种通用的逆问题求解器，它执行最大后验估计的逐步重新评估，并推断正向模型的逆变换。效果良好但计算成本高
4.3主动获取方法
K空间和图像相结合的方法：
上述方法都考虑由用户预先确定的固定k空间采样。这一抽样过程与重建管道隔离开来。最近的工作调查了采样过程本身是否可以作为重建优化框架的一部分。这些作品的基本概况可以描述如下：
该算法可以访问全采样的训练MR图像{x1，x2，···，xN}
编码器Gθg(·)通过优化参数θg学习采样模式。
解码器Dθd(·)是由θd参数化的重建算法
通过最小化训练MR图像上的经验风险来优化编码器Gθg(·)
Huijben等人(2019)中的深度概率次采样(DPS)方法使用基于Softmax的方法和MR重建开发了一种任务自适应的概率欠采样方案。另一方面，联合模型的工作
基于深度学习(J-MODL)(Aggarwal和Jacob，2020)使用公式21和22优化了采样和重构，以联合优化数据一致性网络和正则化网络。数据一致性网络是作为去噪器的残差网络，而正则化网络决定采样方案。Pilot(Weiss等人，2021年)方法还联合优化了k空间采样和重建。
该网络有一个子采样层来确定一条k空间直线的重要性，而重建层和任务层共同重建图像。通过贪婪的旅行商问题或施加采集机约束来选择最优的k-空间线路。K空间采样和重构的联合优化也出现在最近的方法中(恒宇，2021；罗冠雄，2021)。
5.使用非生成模型的逆映射
在本节中，我们讨论使用以下优化框架的非生成性模型：非生成性模型不假定数据的任何基本分布，并通过使用方程进行参数优化来学习逆映射。
5.1基于感知器的模型
Kwon等人，2017年；Cohen等人，2018年)的工作开发了一种基于多层感知器(MLP)的学习技术，该技术学习k空间测量、混叠图像和期望的未混叠图像之间的非线性关系。MLP的输入是混叠图像和k空间测量的实部和虚部，输出是对应的未混叠图像。我们给出了该方法(Kwon等人，2017)与图8中的SPIRIT和GRAPPA方法的直观比较。在不同的欠采样因子下，该方法显示出更好的性能和更低的RMSE。
| 基于感知器的模型 |
基于多层感知器(MLP)的学习技术（Kwon等人，2017年；Cohen等人，2018年) |
学习k空间测量、混叠图像和期望的未混叠图像之间的非线性关系。 |
| 未经培训的网络 |
用于k空间内插的稳健人工神经网络(RAKI)(AK 等人，2019年) |
通过ACS线训练CNN，与GRAPPA有一些共同之处区别是GRAPPA中的卷积核的线性估计，而CNN中的卷积核被非线性核所取代。 |
| 残差RAKI(RRAKI) (Zhang等人，2019a) |
在残差网络结构的帮助下提高了RMSE分数。 |
|
| LORAKI方法(Kim等人，2019年) |
使用经常性的CNN网络将自动校准的LORAKS和RAKI方法结合在一起 |
|
| sRAKI-RNN(Hosseini等人，2019b) |
提出了一个统一的框架，该框架使用比LORAKI更简化的RNN网络通过校准和数据一致性来执行正则化 |
5.2未经培训的网络
到目前为止，我们已经讨论了各种深度学习体系结构及其使用给定训练数据集的训练策略。人们可以问的最令人兴奋的问题是“是否总是有必要训练DL网络以在测试时获得最佳结果？”或者“我们是否可以使用类似于经典方法的DL来解决逆问题，这些方法不一定需要训练阶段来学习参数先验”？
我们注意到使用ACS线或k空间测量y的其他k空间线来训练DL网络而不是MR图像作为基本事实的几种最先进的方法。
用于k空间内插的稳健人工神经网络(RAKI)(AK ee cakaya等人，2019年)通过使用ACS线训练CNN。Raki方法与grappa有一些共同之处。然而，主要的区别是GRAPPA中的卷积核的线性估计，而CNN中的卷积核被非线性核所取代。CNN内核使用以下内容进行了优化
RAKI
残差RAKI
LORAKI
Sraki-RNN
深度图像先验(DIP)及其变体在计算机视觉任务中表现出了出色的结果，如去噪、内绘、超分辨率、域转换等。Vanilla DIP网络使用随机加权的自动编码器Dθd(Gθg(Z))，它在给定固定噪声向量z∈RW×H×D的情况下重建干净的图像x∈RW×H×D。网络使用“地面真实”噪声图像ˆx进行优化。作为优化，需要手动收敛或用户选择“提前停止”优化，直到与图像中的噪声过度适应。最近的一项名为深度解码器(Heckel and Hand，2018)的工作表明，一个参数不足的解码器
最近人们了解到，这种进步可以直接应用于磁共振图像重建(Mohammad Zalbagi Darestani，2021)
5.3CNN
根据MR图像的重建方式，我们将所有基于CNN的空间方法分为以下类别: 来自k-空间的逆映射：用于图像纠正的逆映射：
| 来自k-空间的逆映射 |
AUTOMAP(朱等人，2018) |
使用具有三个完全连接层(3个FC)和两个卷积层(2个卷积)的网络来学习重建映射 |
| 使用复值ResNet(CNN的一种)网络(Wang等人) |
使用具有复值核的CNN网络来从复值k-空间测量重建MR图像 |
|
| 图像空间校正方法 |
DeepADMM网模型(Sun等人，2016） 深级联CNN(DCCNN)(Schlemper等人，2017) |
基于公式的正则化 |
| 一种基于模型的MRI重建（Aggarwal等人，2019) |
使用了基于卷积神经网络(CNN)的正则化先验。 |
|
| GRappaNet(Sriram等人，2020) |
开发了一个完整的端到端CNN模型，是CNN网络中GRAPPA集的非线性版本 |
来自k-空间的逆映射:
AUTOMAP (朱等人，2018)使用具有三个完全连接层(3个FC)和两个卷积层(2个卷积)的网络来学习重建映射，其输入维度为128×128。任何大小超过128x128的图像都会被裁剪并子采样到128x128。
与这些方法不同的是，有一些工作(Wang等人，2020b；Cole等人，2019)使用具有复值核的CNN网络来从复值k-空间测量重建MR图像。(Wang等人，2020a)中的方法使用复值ResNet(这是CNN的一种)网络，并被证明在12通道全采样k空间数据集上获得了良好的结果(有关与其他方法的可视比较，请参见图9)。另一种方法使用基于拉普拉斯金字塔的复杂神经网络(梁等人，2020b)用于MR图像重建。
用于图像纠正的逆映射
在基于CNN的序列空间模型中，例如Deep ADMM网模型(Sun等人，2016；Schlemper等人，2017)和深级联CNN(DCCNN)(Schlemper等人，2017)，使用以下方程组在图像空间中完成正则化：
Aggarwal等人，2019年)提出了一种基于模型的MRI重建，其中他们使用了基于卷积神经网络(CNN)的正则化先验。后来，Biswas等人提出了一种使用基于MODL的深度学习的动态MRI(Biswas等人，2019年)。优化，即优化。
Arg minx 1 2||Ax−y||22+λ||C(X)||22，使用cnn网络C(·)作为正则化先验来去除混叠伪影和噪声，而λ是一个可训练的参数。为了解决这一问题，开发了一个完整的端到端CNN模型，称为GRappaNet(Sriram等人，2020b)，它是CNN网络中GRAPPA集的非线性版本。CNN网络具有两个子网络；第一个子网络F1(Y)使用类似于GRAPPA的基于非线性CNN的内插函数来填充缺失的k空间线。随后，第二网络f2将填充的k空间测量映射到图像空间。GRappaNet模型在FastMRI数据集上表现出了良好的性能(40.74PSNR，0.957 SSIM)，是性能最好的方法之一。图10显示了定性的比较。沿着类似的路线，深度变分网络(Hammernik等人，2018)被用于MRI重建。
5.4递归神经网络
来自k-空间的逆映射:
通过设计，时间方法被分为两类，即(I)正则化方法和(Ii)变量分裂方法。
| 来自k-空间的逆映射 |
使用的迭代硬阈值(IHT)方法将时间方法作为正则化的一种方式 |
|
| 一种局部-全局递归神经网络(Guo等人，2021年) |
它使用两个递归网络，一个网络捕获高频分量，另一个网络捕获低频分量。 |
|
| 使用双向RNN并替换的密集网络结构(oh等人，2021年) |
同时去除重建图像中的混叠伪影 |
|
| 卷积递归神经网络或CRNN(Qin等人，2018)方法 |
提出了一种使用基于RNN的模型的变量拆分和交替最小化方法。 |