DuDoDR-Net：双域的同时解决稀疏视图和金属伪影的网络

目录

摘要

介绍

方法

综述

网络架构

数据一致性层

总体目标函数

实验

---

摘要

前人分别研究了稀疏视图和金属伪影的清晰重建。但两者并不能直接统合，相互存在条件独立，为此，作者研究如何同时实现两者。

在这项工作中，作者为SVMAR提出了一种双域数据一致递归网络，称为DuDoDR-Net。作者的DuDoDR-Net旨在通过递归的图像域和正弦图域恢复来重建无伪影的图像。为了确保采集到的投影数据中的非金属部分得到保留，作者还开发了图像数据一致性层(IDCL)和正弦图数据一致性层(SDCL)，它们在递归框架中是交错的。

介绍

稀疏视图的意义：通过减少穿透人体的X射线剂量来减少对人体的伤害。

去金属伪影的意义：很多患者体内有植入金属义肢，这会使得由于稀疏视图出现的条纹伪影更加严重。

图1. 稀疏条件下金属种植体CT图像一例。左图：全视角采集的无金属CT图像。中：无伪影CT图像，覆盖金属分割(红色掩模)用于模拟。右图：金属植入物的稀疏CT图像。采用×4欠采样率。
显示窗口为[-10 0 0 10 0 0]HU。

作者提出了一种新的双域数据一致性递归网络(DuDoDR-Net)，DuDoDR-Net如图2所示。

作者提出了一种嵌入卷积递归单元的注意力剩余密集UNet(AttRDUNet)，通过递归图像域和正弦图域恢复来重建无伪影的图像。为了防止递归学习中的过拟合度，并确保所获取的投影数据中的无金属部分被保留，作者还开发了图像数据一致性层(IDCL)和正弦图数据一致性层(SDCL)，将图像和正弦图恢复网络的递归输出连接起来。

作者的DuDoDR-Net是以端到端的方式训练的，在图像域和正弦图域都进行了损耗监测。作者的实验结果表明，DuDoDR-Net可以在不同的稀疏视图采集协议下为金属种植体患者生成高质量的CT重建。

方法

综述

图2. 双域数据一致性递归网络(DuDoDR-Net)示意图，用于同时减少稀疏视图和金属伪像。我们的DuDoDR-Net由图像恢复网络G_IMG和正弦图形恢复网络G_SINO组成，图像和正弦图形数据一致性层交错(iDCL/sDCL)。给出一幅含有稀疏视点和金属伪影的输入CT图像，用FBP重建，迭代地通过G _IMG和G_SING恢复图像和正弦图域中的信号。G_IMG和G_SINO的输出经过iDCL和sDCL，以确保所采集的投影数据的无金属部分被保留。最后的重建I_OUT是最后一个循环阶段的输出。

DuDoDR-Net流程如图2所示。我们的DuDoDR-Net旨在通过递归的图像域学习和正弦图域学习来同时减少稀疏视点和金属伪影。

由稀疏视图&金属影响正弦图重建的FBP图像，首先输入进行图像域恢复。由于图像内容高度退化(图1)，来自图像域的图像预测可能遭受较差的图像内容保真度。为了改进这一点，我们首先将输入到 iDCL(图像数据一致性层) 中，然后将图像向正弦图投影，并将已获得的投影数据中的无金属部分整合到正弦图中，以确保投影数据的一致性。然后，将生成的与正弦域一致的数据  输入到  进行正弦内容细化。与iDCL类似，将精化后的正弦图  输入到sDCL中，将已获得的正弦图数据中的非金属部分积分到整个正弦图中，以确保正弦图数据的一致性，并通过滤波反投影将输出的正弦图转换为恢复图像。

单步图像重建容易出现过拟合，泛化性能差的问题。于是作者采用了递归学习方法。具体地说，将来自前一阶段的恢复图像再次输入到DuDoDR-Net。和的编码器(E)和解码器(D)的参数在不同的阶段保持一致，因此模型的大小是恒定的。在和的瓶颈中，我们使用卷积门控递归单元(VvGRU)，使得图像和正弦图的恢复状态在不同的学习阶段进行传递。最终恢复的图像是DuDoDR-Net的最后阶段的输出。

网络架构

我们提出了一种针对和的注意残差密集UNet(Attention Residual Dense UNet，AttRDUNet)。网络架构如图3所示。AttRDUNet是一个U型网络，在编码器和解码器的每一级都有注意残差块(AttRDB)，而vGRU在瓶颈处。每个AttRDB包含密集连接的卷积层、压缩激发(squeeze-and-excitation，SE)层和残差连接。

图3. DuDoDR-Net中用于图像恢复网络G_IMG和正弦图恢复网络G_SINO的注意剩余密集UNet(AttRDUNet)的网络结构(图2)。我们的AttRDUNet由不同分辨率的注意残留密集块(AttRDB)和处于递归学习瓶颈的卷积GRU(convGRU)组成。

在给定输入要素的情况下，密集连通层的第 t 个卷积输出可写为：

  （公式1）

其中表示第 t 个卷积，然后是Leaky-relu，{}表示沿特征通道的级联。这里是卷积的个数t≤4。然后，我们使用一个1×1的卷积层，来融合和所有的密集特征，并可以写成： 

（公式2）

然后，我们通过通过SE层来重新校准的特征通道。重新校准的特征是以为单位的元素求和，以生成输出特征。因此，attRDB输出可以写成：

图中的SE层可能有的读者看不懂，这里做个简单解释：将执行全局平均池化得到C长的向量，把这个向量投入一个单隐藏层的MLP，输出同长C的向量，将这个向量的每个值取乘以中对应的特征通道。说白了就是增加各通道之间的“对比度”。

  （公式3）

在编码路径中，每个AttRDB的输出在馈送到下一个AttRDB之前经过2x2的平均池层。编码路径的输出被馈送到ConvGRU用于递归学习。给定先前的隐藏状态和输入，输出可以写为：

其中 σ 和 ∗ 分别是元素式的Sigmoid和卷积运算。W和U是大小为3×3的二维卷积核。这里，我们使用两层结构，将两个卷积GRU堆叠成一个堆叠的卷积GRU，第二个卷积GRU接收第一个卷积GRU的输出并计算最终输出（这里说的是图2体现的过程）。在下一个图像/正弦图恢复阶段，隐藏状态被传递给 和 的堆叠的卷积GRU，而卷积GRU的最终输出用于解码。在解码路径中，每个AttRDB的输入是来自编码路径的跳过连接和来自前一解码块的转置卷积特征的逐个元素求和。

数据一致性层

数据一致性层(DCL)的目的是确保所获取的投影数据中的无金属部分在最终重建中得到保留。如图2所示，我们建议在  和 的输出端分别使用iDCL和sDCL。iDCL和sDCL的详细结构如图4所示。给定金属迹线(受金属影响的正弦图区域等于真)和稀疏视图正弦图掩码(未获取的正弦图区域等于真)，我们首先通过以下方法为需要恢复的正弦图区域生成二进制掩码： 

图4. DuDoDR-Net(图2)中使用的图像数据一致性层(IDCL)和正弦图数据一致性层(SDCL)的体系结构。我们使用金属轨迹Mmt和稀疏视点掩模Msv的并集来生成组合掩模Ma，它指示需要从网络合成中获得数据的正弦图区域，而其他正弦图区域中的数据是所获取的投影数据中应该保留的非金属部分。在IDCL和SDCL中，使用Ma来组合稀疏视图正弦图S_svma和网络预测正弦图S_fp/S_syn，以产生数据一致的输出。

（公式8）

然后，不需要恢复的正弦图区域的二进制掩码是。

对于 iDCL，在给定输入图像的情况下，我们首先执行正向投影以生成其正弦图，方法是：

（公式9）

其中是正向投影层。然后，我们将正向投影的正弦图与已经获得的正弦图通过：

iDCL的最终输出是一个数据一致的正弦图，然后输入进行正弦图精化。

对于sDCL，给定一个精化的正弦图，我们通过以下方式计算数据一致性正弦图：

然后，我们应用滤波反投影来重建数据一致的图像：

（公式12）

iDCL和sDCL被嵌入到我们的DuDoDR-Net中，以确保所获取的投影数据中的非金属部分在反复学习阶段的恢复输出中得到预计的保证。

总体目标函数

损失函数由三部分组成，包括图像域损失、正弦图域损失和最终重建损失。图像域损失通过以下方式直接监督的递归输出：

其中是第i个递归阶段的图像恢复输出，总次数为n个递归阶段(图2)。是没有金属植入物的真实图像，由全采集重建而成。另一方面，正弦图的主要损失通过以下方式直接监督的递归输出：

式中，是第i次迭代阶段的正弦图恢复输出。是一种无金属植入物的真实全角度正弦图。在DuDoDR-Net的最终输出中，我们通过以下方式进一步监督了最终的重建：

其中S是图像域中的金属植入物分割掩模。的目标是监督非金属区域的图像恢复。最后，总损失函数可以写成：

其中系数  都设为1可以取得最佳结果。

实验

老规矩，感兴趣者读论文去，我会不会更新实验内容取决于会不会二次阅读本文。

实验小细节记录：

1. 作者在稀疏视图方面选了18、19年的网络做对比，还说为了公平起见，改用他的图像域损失函数，个人认为可能是一个遮盖瑕疵的好办法。