VoxelMorph: A Learning Framework for Deformable Medical Image Registration论文阅读(图像配准的)

VoxelMorph [vksmɔːf] : A Learning Framework for Deformable Medical Image Registration
一个可变形的医学图像配准的学习框架–深度学习配准的经典方法
Abstract
亮点：我们通过卷积神经网络(CNN)对函数进行参数化，并在一组图像上优化神经网络的参数。
训练策略(损失函数)：在第一种(无监督)设置中，我们训练模型以最大化基于图像强度的标准图像匹配目标函数。在第二个(有监督)设置中，我们利用训练数据中可用的辅助分割。
一、Introduction
传统的方法：传统的配准方法通过对齐外观相似的体素，同时对配准映射施加约束，来解决每个卷对的优化问题。不幸的是，解决成对优化可能需要大量的计算，因此在实践中很慢。
有监督的神经网络训练的方式虽然提升了速度，但需要大量的标注信息。无监督的神经网络训练具有速度快、不需要标注信息的特点。
我们的方法： 从卷集合中学习参数化配准函数。我们实现这个函数使用的是CNN，它接受两个n-D输入卷，并输出一个卷的所有体素到另一个卷的映射。
本质上：我们在训练阶段用一个全局函数优化替换了为每个测试图像对求解的代价高昂的优化。
文章整体架构：第2节介绍医学图像配准，第3节介绍相关工作。第4节介绍了我们的方法。第5节给出了MRI数据的实验结果。第6节讨论结果的见解和结论。
二、Background
现有的大多数变形配准算法都是基于能量函数迭代优化变换。
变形配准策略：用于全局对齐的初始仿射转换(刚性变换)，然后是具有更多自由度的较慢的可变形转换。本文主要关心第二步。
可变形配准可以实现跨模态（不同检查影像）和跨患者的结构比较和分析，这对于疾病的诊断具有十分重要的意义。
我们通过在体积对数据集上最小化形式的期望能量来优化函数参数。基本上，我们用共享参数的全局优化代替了变形场的对特定优化，这在其他领域被称为摊销。
三、Related Work
A. Medical Image Registration (Non-learning-based)医学图像配准(非学习型) 训练就是学习
微分同胚的拓扑结构的保持；
微分同胚是两个可微曲面之间的连续、可逆、结构保持映射。可见：https://vdn3.vzuu.com/SD/c869414a-233c-11eb-b298-1a9bc020c8fb.mp4?disable_local_cache=1&bu=078babd7&c=avc.0.0&f=mp4&expiration=1669810118&auth_key=1669810118-0-0-78f98c59c857fd7119137f16b76f5147&v=tx&pu=078babd7
B. Medical Image Registration (Learning-based)医学图像配准(基于学习的)
虽然有监督的方法呈现出一个很有前途的方向，但是通过常规配准工具得到的地面真相扭曲场ground truth获取起来很麻烦，并且会限制所学习到的变形类型。相比之下VoxelMorph是无监督的，并且还能够利用辅助信息，如训练期间可用的分割。
无监督学习不需要标准扭曲图或标签，并且该框架适用于多维度，对各种成本函数优化，适用于各种任务。
C. 2D Image Alignment2D图像对齐
光流估计是二维图像的配准问题，光流量算法返回一个描述2D图像对的小偏移密集位移向量场。传统的光流量法使用变分方法解决优化问题，它的扩展（基于特征的匹配和最近邻域）可以更好地处理大位移或外观上的显著变化。有研究使用主成分分析学习自然图像中的低维基础；还有学者使用CNN学习一个参数函数研究光流量；但是这些都需要金标准图像。空间变换层神经元可以在无标签的情况下对齐二维图像，本文将它扩展到三维。
四、Methods
方法概述：该网络以f和m为输入，用一组参数θ计算φ。我们用空间转换函数将m变形为m◦φ，进行m◦φ和f的相似性评估。给定不可见的图像f和m在测试期间，我们通过评估gθ(f, m)获得配准域。

A. VoxelMorph CNN Architecture VoxelMorphCNN结构
是类似于UNet的卷积神经网络结构，由带有跳跃式连接的编码器和解码器部分组成。

卷积层捕获输入图像对的层次特征，用于估计φ。在编码器中，我们使用跨卷积将每层的空间维度减半。编码器的连续层因此在输入的粗糙表示上操作，类似于传统图像配准工作中使用的图像金字塔。
在解码阶段，我们在上采样（扩充图像尺寸）、卷积和跳跃连接（补充图像底层信息，防止在编码时丢失一些细节信息）之间交替进行，跳跃连接将在编码阶段学到的特征直接传播到生成注册的层。解码器的连续层在更精细的空间尺度上工作，从而实现精确的解剖定位。
最小层的内核应该至少与f和m中相应体素之间的最大预期位移一样大。
me：最后一次编码得到的图像（为原图像1/16的图像）应该体现出两幅图像对应结构的偏移关系，此时该接受场为最大可允许的偏移场。
B. Spatial Transformation Function空间变换函数
所提出的方法通过最小化m◦φ和f之间的差异来学习最优参数值。为了使用标准的基于梯度的方法，我们构造了一个基于空间变压器网络的可微分操作来计算m◦φ。
由F中的体素p计算M中对应位置的体素值ϕ§。采用下式进行邻域插值(相邻体素值进行线性插值)：
该操作处处可微，因此可以反向传播误差进行修改。

C. Loss Functions损失函数
分为无监督损失Lus和辅助损失La
无监督损失：
无监督损失由两个部分组成:惩罚外表差异的Lsim和惩罚φ局部空间变化的Lsmooth

两个常用的Lsim函数：第一个是均方体素差，适用于f和m具有相似的图像强度分布和局部对比度时。

第二个是f和m◦φ的局部交叉相关。较高的CC表示更好的对齐

最小化Lsim将鼓励m◦φ近似f，但可能产生不光滑的φ，这是物理上不现实的。我们在位移的空间梯度u上使用扩散正则化器来鼓励一个光滑的位移场φ:

辅助损失：
描述VoxelMorph如何利用在训练期间可用但在测试期间不可用的辅助信息。使用Dice评分来量化结构k的体积重叠。结构k上的分割损失为Lseg。

单独的Lseg并不鼓励图像外观的平滑和一致，而这对良好的配准是必不可少的。因此，我们将Lseg与Lus相结合，得到目标:

D. Amortized Optimization Interpretation平摊优化解释
首先解释正则化，正则化就是给损失函数加上限制条件，防止模型过拟合。
如何正则化，选取合适的正则化参数λ。
具体将在实验中演示和探讨这部分。
五、Experiments
1.数据集
获取多个公开数据库的脑部MRI图像，每个数据集的采集细节、受试者年龄范围和健康状况都不同。所有扫描都被重新采样到一个256×256×256网格，每格都是1mm的各向同性体素。采用仿射空间归一化、使用FreeSurfer提取大脑图像（去除多余黑色空间，进行解剖分割），将图像裁剪为160192224。本实验的F图像由外部数据集计算得到的atlas(地图集)图像作为F，随机选取数据集内的图像作为M，每次选一个M与F配对。
2.评价指标
使用DICE系数评估29个解剖结构配准的好坏。最后结果取29个结构DICE系数的平均值。DICE结果为1时表示完全对齐。
3.基线方法
我们使用对称归一化(SyN)，在比较研究中表现最好的配准算法作为第一基线。
高级标准化工具(Advanced Normalization Tools, ANTs)软件包中使用SyN实现，并使用互相关相似性度量。
作者使用ANTs软件包的平滑参数实验得到的并不是最优解，于是跨多个数据集获取改进的参数，并在实验中使用获得了较好的结果。使用ADAM优化器，学习率为1×1 0 − 4 ，使用不同正则化参数λ 的独立网络进行实验直到收敛，在验证集上优化DICE系数网络，在测试集上获取最终结果。
结论与总结：
具有无监督损失的VoxelMorph在Dice得分方面与最先进的ANTs软件相当，同时将CPU上的计算时间从几小时缩短到几分钟，在GPU上缩短到一秒钟。VoxelMorph具有灵活性，可在训练期间处理部分观察或粗略描绘的辅助信息，是一种通用学习模型，并不限于特定的图像类型或解剖结构，它还可在其他医学图像配准应用中发挥很好的作用，例如心脏MR扫描或肺部CT图像。