《Slice-to-volume medical image registration: A survey》论文阅读

2D/3D配准的Review Article

摘要

在过去几十年中，研究医学成像研究界已经见证了图像配准方法的不断进步，这些方法推动了最新技术的发展，并促进了新型医疗程序的发展。一种特定类型的图像配准问题，称为切片到体积配准，在图像引导手术和体积图像重建等领域发挥了重要作用。然而，到目前为止，尽管有关于该主题的大量文献，但没有编写任何调查来讨论这一具有挑战性的问题。本文首次对切片到体积的配准文献进行了全面的调查，根据临时分类法对算法进行了分类研究，并分析了各类的优缺点。我们从这一分析中得出一些一般性的结论，并提出我们对该领域未来的看法。

关键词：书目评论；切片到体积的配准；医学图像配准；医学图像分析

---

1. 介绍

图像配准是将来自多个图像源的数据对齐并组合成唯一坐标系的过程。这个问题已成为计算机视觉和医学成像的支柱之一。在过去十年中，切片到体积的配准（图像配准问题的特定情况）在医学成像领域受到进一步关注。在这种情况下，我们寻求从对应于输入2D图像的给定3D体积确定切片（对应于任意平面），而不是配准具有相同尺寸的图像。

已经出现了一些有从切片到体积映射需求的医疗应用，并推动社区开发向着更准确和有效的策略发展。这种医学成像任务可以分为两大类：那些与图像引导干预的图像融合相关的; 和那些与运动校正和体积重建有关的。在第一类中，需要融合术前3D图像和术中2D图像以在医疗干预期间指导外科医生。切片到体积的配准在此过程中起着关键作用，允许医生使用在手术期间实时采集的低分辨率2D图像来导航3D术前高分辨率带注释数据。在第二类中，目标是在重建特定模态的体积时校正未对准的切片。解决该任务的典型方法在于将各​​个切片映射到参考体积上，以便校正切片间的错位。同样，开发精确的切片到体积配准算法对于成功解决这个问题至关重要。

由于配准过程中涉及的图像的维度，切片到体积的配准也称为2D / 3D配准。然而，该术语是含糊的，因为它根据用于捕获2D图像的技术描述了两个不同的问题：它可以是投影（例如X射线）或切片/断层摄影（例如US）图像。即使两个问题在图像维度方面都有相似之处，但每个公式都需要不同的策略来估计解决方案。缺乏透视和两种模态固有的不同图像几何形状，这两种方式都是固有的，因此有必要提出解决这些配准问题的不同策略。此外，任何2D投影图像中的像素不仅对应于来自体积的一个体素（这是切片到体积的情况），而是对应于它们在一定视角中的一组投影。因此，用于测量图像之间的相似性的函数的类型在每种情况下都必然是不同的。虽然大多数投影2D / 3D图像配准方法需要将图像带入维度对应（通过投影，反投影或重建等不同策略），在切片到体积配准的情况下，可以直接将来自2D图像的像素与来自体积的体素进行比较。在这篇综述中，我们专注于切片到体积的配准，而Markelj等人在调查中提供了关于投影2D到3D图像配准的更全面的概述。

切片到体积的配准可以被认为是3D-3D配准的极端情况，其中一个3D图像仅包含一个切片。即使理论上正确，3D-3D配准方法也无法以直接的方式推断到切片到体积的情况。这尤其适用于基于图像信息的配准方法，因为用于量化图像之间相似性的描述符号通常假设两个图像中可用的信息量是平衡的。在问题公式化中应明确考虑单个切片（或甚至几个稀疏切片）提供的信息少于整个体积的事实。此外，特定的几何约束，如平面度满足和平面内变形在切片到体积配准的情况下出现限制，这些限制不适用于维度对应的设定。

尽管有大量有关切片到体积的配准的文献，但迄今为止还没有编写任何调查来讨论这一新兴领域。在这篇综述中，我们讨论了关于切片到体积的匹配的文献，提供了对解决这个具有挑战性问题的文章的全面调查，根据分类法提出了相关算法的分类研究，并分析了每个类别的优缺点。我们基于先前的图像配准调查提出了分类法，并根据特定的切片到体积情况进行了调整（见图1 ）。我们根据几个原则对相关工作进行了分类：（i）匹配标准（第2节），规定了定义图像之间相似性的策略; （ii）转换模型（第3节），指出用于将图像带入空间对应的模型的性质; （iii）优化（第4节），根据用于推断最优转换模型的策略区分方法; （iv）切片数量（第5节），根据它们是否需要单个或多个源图像切片，将方法分成两组; （v）应用（第6节），我们确定了推动该领域研究的主要临床情景; 最后（vi）验证策略（第7节）我们总结了用于验证所提出的切片到体积配准方法的替代方法。

---

图1. 分类法用于对本调查中分析的切片到批量注册出版物进行分类

---

系统地选择了本评论中包含的论文，搜索包含术语“切片到体积”和“匹配”（及其变体）的论文，并仔细选择那些既可以提供方法论贡献也可以应用切片到体积匹配的论文。引入一定程度新颖性的特殊问题。

1.1. 切片到体积匹配的定义

让我们首先给出切片到体积匹配的正式定义。给定2D图像$I$和3D体积$J$ ，我们寻求映射函数$\hat{\Theta }$通过最小化以下目标函数，最佳地将断层切片$I$与体积图像$J$对齐：
$\hat{\Theta }$ = $\underset{\Theta }{\mathrm{argmin}}$$\mathcal{M}$($I$,$J$;$\Theta$)+$\mathcal{R}$($\Theta$);（1）

$\mathcal{M}$表示图像相似性项（所谓的匹配标准）和$\mathcal{R}$表示正规化项。请注意，此映射可以是刚性或非刚性的，这取决于我们是否允许图像$I$（或其对应的来自$J$的重建切片）有没有变形。如果我们仅估计刚性映射（即我们计算6自由度刚性变换或更严格的变换），我们将问题命名为刚性切片到体积的配准。如果我们也推断某种变形模型或者我们认为更具表现力的线性变换（例如仿射变换），我们称之为非刚性配准。有关不同转换模型的更多信息，请参阅第3节。

匹配标准$\mathcal{M}$测量2D图像与其对应的映射（切片）到3D体积之间的相似性。通常，它使用来自$I$和$J$的强度信息或显著的结构来定义。关于在切片到体积匹配（我们还考虑不使用任何图像信息但依赖于外部传感器的方法）的完整讨论在第2节中介绍。

正规化项$\mathcal{R}$对解决方案施加约束，可用于解决问题。它还可以在扩展变换模型上（平面设定和非刚性配准的平面变形）编码几何属性。正则化项的选择取决于转换模型。虽然简单的模型，如刚体变换，即使没有正则化，也可以明确估计，项$\mathcal{R}$在更复杂的非刚性情景中变得至关重要，以确保实际结果。在切片到体积配准的环境中，正则化器可用于对解决方案施加平面性约束（当不允许面外变形时）或限制平面外变形幅度，保证现实的、合理的转换。当可用时，也可以通过正则化项编码关于组织弹性的先验知识。 此外，正如我们将在第5节中看到的，当同时处理多个切片时，可以使用正则化来强制它们之间的一致性。

我们的目标是优化方程式（1）中定义的能量，通过选择最好的$\hat{\Theta }$使2D和3D图像对齐。根据我们试图推断的变量及其最优性保证，它们可以分为不同的类别。第4节包含对该主题的全面研究。

方程式（1）中给出的一般定义，将单个切片视为配准过程的输入。然而，为了完整起见，在本次调查中，我们还考虑了所谓的多切片到体积配准方法，其中几个（但是稀疏的）切片被配准到完整的3D体积。值得注意的是，我们不包括在配准之前从输入2D切片执行先前3D重建的方法，因为这些方法将问题减少为经典的3D-3D场景，这不在我们的工作范围内。相反，我们考虑那些直接配准2D切片子集的方法（可以是正交，平行，任意或甚至没有先验已知的空间关系），而不是重建体积。根据该标准对方法的讨论和分类见第5节。

2. 匹配标准

所述匹配准则（也称为（DIS）的相似性度量，评价函数或距离函数）量化的图像之间的对准的水平，它通常用来引导优化过程中的变换模型。根据匹配过程中利用的信息的性质，注册方法可以被分类为标志性的（我们使用体素强度来量化相似性），几何（我们使用一组稀疏的显着图像位置来指导注册）或混合方法（我们将这两种策略结合起来）。在切片到卷注册的特定情况下，还有一些方法，而不是使用图像信息，依赖于其他非图像技术; 我们将它们称为基于传感器的方法。

除了基于图像的方法（即基于传感器的切片到体积配准）之外的切片到体积配准主要使用两种不同的技术来执行：光学（OTS）和电磁（EMTS）跟踪系统（ Birkfellner等人，2008 ）。光学系统采用不同类型的相机（例如红外（IR），标准RGB或激光相机）来跟踪有助于识别物体当前位置的标记。电磁定位系统基于发射器，传感器和处理单元系统执行跟踪，通过测量电磁场来定位目标物体的位置和方向属性。两种方法都继承了对它们可以估计的转换性质的约束，因为只能通过这些技术获得刚性转换。此外，由于通过估计相对位移来完成定位，因此通常在开始时需要精确的初始校准从前一个开始，因此可以通过所有过程传播和累积错误。相反，利用基于图像的信息（特征或几何）的配准算法可以处理弹性解剖学变化，并且它们对初始误差不太敏感（因为在注册过程中迭代地校正它们很简单）。在消极方面，这些方法可能对图像噪声更敏感，图像噪声经常出现在术中，实时和低质量模态中，通常对应于输入的2D图像。另外，与体积图像相比，图像切片的信息量是稀疏的，导致图像匹配方面的模糊性这使得注册问题变得不适应。已经开发了不同的策略来根据匹配标准的选择来处理这些问题。

图像配准可以是单峰的（当使用相同类型的图像技术捕获切片和体积时）或多模式（当切片和体积指的是不同的模态时，例如US切片和MRI 或CT体积）。在前一种情况下，测量图像之间的相似性的任务更简单，因为对应于相同解剖结构的像素/体素强度值在两个图像中高度相关或甚至相同。因此，标志性方法可能表现得更好，因为与它们相关的主要问题 - 使用像素/体素对应解释图像相似性的困难 - 已经得到解决。在多模态的情况下，其中的关系像素强度并不明显，有两个主要的选择：继续使用标志性匹配标准，但定义更复杂的相似性度量，或采用几何或基于传感器的策略，在处理不同的图像模态时看起来更健壮。

2.1. 标志性的

使用图像强度信息定义标志性匹配标准。使用作用于像素/体素强度水平的函数来测量图像之间的相似性。可以考虑为特定图像模态定义的标准信号处理工具，信息理论方法或甚至相似性度量。挑战在于描述可以轻松比较的公共空间上的两个图像。特别地，在多模态配准的背景下，对应于相同解剖或功能结构的体素强度是不同的。有两个理想的属性寻求任何标志性相似性度量的定义：（i）是凸的，因为它简化了优化过程，并且（ii）具有辨别力，因为它为不同的组织或解剖结构赋予不同的值。凸性也是相关的。

典型地，在切片与体积的配准，一个标志性的匹配准则的上下文δ（我1，我2）：Ω 1 × Ω 2 →ℜ被定义为量化两片（或小片之间的相似性，根据是否我们指定全局或本地函数）。这种相似性度量取决于我们试图注册的方式。在单峰情景中，简单的相似性度量，如绝对差值之和（SAD），方差之和（SSD），甚至是方差的平均值。可以使用强度值。在矢量符号中，SAD也可以看作矢量化图像的L 1范数，而SSD则对应于L 2规范。这些度量假设两个图像中的强度值之间的直接对应，这不一定是这种情况。在诸如图像引导手术的真实临床病例中，在手术期间捕获的图像往往是嘈杂的，低分辨率的，有时甚至不同的模态必须融合。在这些情况下，SSD和SAD的性能会很差。

还提出了更复杂的度量，利用两个图像中观察到的强度值的统计特性。除了处理身份变换之外，这些方法可以处理要登记的图像中的强度之间的分段线性关系。在这些情况下，两个图像中的图像像素被视为两个随机向量X和Y的条目。互相关（CC）是在信号处理和统计领域中广泛使用的众所周知的函数，也应用于几个切片到- 体积配准研究。CC测量X和Y的条目之间的相关性。计算简单，更重要的是，强度域中的移位和缩放不变。另一个指标是相关比（CR），即使在多模态图像配准中也显示出有希望的结果。它测量X和Y之间的函数依赖性，取0（无函数依赖）和1（纯确定性依赖）之间的值。CR本质上是不对称的，因为两个变量（图像）在功能关系中不起相同的作用。换句话说，与CC不同，CR根据图像的顺序提供不同的值。CR已经被用作 Marami等人的切片到体积配准的标志性标准。

信息理论相似性度量通常是多模态注册的首选项选择，而片到卷注册也不例外。最受欢迎的是互信息（MI），其测量两个图像中相应分布的图像强度之间的统计依赖性或信息冗余，如果图像是几何对齐的，则假定为最大。它需要估计联合和边际概率密度函数（PDFs）每张图片的强度。鉴于与体积 - 体积情景相比，切片到体积配准的信息稀疏性质，每个切片的这些联合PDF的估计 - 特别是在低图像分辨率/样本数量的切片中 - 是一项艰巨的任务，可能会导致基于MI的注册结果不佳。通过在fMRI 时间序列登记的背景下整合信息丰富的PDF先验，开发了一种改进基于MI的切片到体积登记的替代方法。首先，显示位于头部扫描中间附近的切片提供更可靠的PDF和MI估计，因为它们指的是比末端切片（顶部或底部）更丰富的信息空间。然后，基于来自注册的中心切片的强度计数，通过联合PDF先前引导端切片配准。或者，当将2D MR侦察扫描记录到完整的3D MR时，通过使用从较高分辨率的解剖数据集保留尽可能多的关于体素强度的信息的PDF估计，可以实现切片到体积配准中的更好的MI计算。脑容积。MI是一种广泛使用的切片到体积配准的相似性度量，在过去几十年中采用了许多方法。MI的主要缺点之一是当图像之间的重叠区域改变时它变化，即它在整个配准期间对重叠区域的变化不变。可能会发生这样的情况：在估算转换模型时，一些潜在的解决方案不在于数量。在这种情况下，可以选择重叠不变函数。为此，可以应用MI的修正版本，即归一化互信息（NMI），其简单地是边缘熵和联合熵之和的比率。NMI在MI方面的另一个优势是它的范围：它方便地取0到1之间的值.NMI也被用于切片到体积的配准。

在图标注册过程中使用像分割掩模之类的先验知识可能是有用的。这些方法（也称为基于区域的方法）使用强度信息或统计来描述预分割区域。例如，Chan-Vese度量旨在最小化给定分割轮廓内外区域的强度差异。Nir和同事将这种匹配标准应用于将多个组织学图像切片与前列腺的体内MR图像对齐的问题。

边界信息是另一种低级视觉提示，被标志性方法所利用。通常根据图像的强度梯度确定，其给出了由强度变化定义的图像结构的概念，与其实际值无关。可以在两个图像的梯度幅度之上应用MI以及SAD或SSD 。在Brooks等人。例如，使用美国切片和MRI体积的梯度幅度之间的MI。苏等人。在图像强度和梯度上应用SSD，将它们组合在一个独特的相似性度量中。在Xu等人。，使用归一化梯度场定义匹配标准对于图像，而Xu等人采用了强度和梯度幅度的CC 。在Lin等人。使用称为加权边缘匹配分数（WEMS）的优值函数来评估2D实时图像和相应的重新格式化切片的相似性以搜索骨骼模型的3D姿势。

最近引入了更强大的相似性度量来处理医学图像配准中的问题，特别是在切片到体积的情况下。Wein等人做出了显着的贡献。和Fuerst等。到这个领域。他们基于来自MRI和CT的美国图像的模拟提出了不同的相似性度量，这可以处理这些具有挑战性的多模式配准问题。在Wein等人。，提出了一种模拟CT数据超声波效应的新方法，以及一种新的线性组合线性相关的相似性度量（LC 2）），它对于缺少模拟细节是不变的，产生平滑的属性和对应于正确对齐的全局最优。由于它们模拟了与探头几何形状相关的美国成像效果，因此使用扫描的原始B模式扫描平面代替3D重建，使其适用于多切片到体积的配准。Fuerst等人使用LC 2 。，虽然没有模拟过程：相似性测量是通过将美国强度局部匹配到MRI强度和梯度幅度来定义的。最近，LC 2 的变体名为BOXLC 2Pardasani等人提出，当在GPU上运行时，其在LC 2 上产生可测量的速度改进（同时在单片到体积配准的背景下保持相似的性能）。

Heinrich等人提出了另一种稳健的相似性度量，即模态独立邻域描述符（MIND）。用于多模式刚性和可变形注册。它基于局部自相似性的概念在补丁级别。它们通过对两个图像的局部强度分布进行排序来创建多维描述符，因此提供了图像特征的局部形状的非常好的表示。它可以以密集的方式在图像的所有像素（或体素）上计算; 一旦计算出来，MIND表示的SSD可以用作相似性度量。由于其逐点（像素或体素）计算性质，它可以适用于几乎任何配准算法。MIND的扩展，称为自相似性上下文（SSC），也使用基于补丁的自相似性进行估计（Heinrich等，2013）。在Cifor等人。MIND成功地用于多切片到体积的配准框架，以将未经跟踪的2D美国扫描对准CT卷。

Rivaz等人引入了最后一类强相似性度量。在mutlimodal US / MRI图像配准的背景下。在Rivaz等人。，提出了一种称为上下文条件互信息（CoCoMI）的度量。该度量旨在解决基于经典MI的方法的主要缺点之一，即考虑相应像素的强度值而不考虑邻居的强度值。图像被视为“单词包”，因此忽略上下文信息。CoCoMI通过调整对上下文信息的MI估计来克服此限制。在Rivaz等人。，自相似性α提出了-MI（SeSaMI） - 另一种基于MI的匹配标准。α- MI通常根据强度及其梯度等多个特征计算，而标准MI通常仅根据强度计算。芝麻结合此多特征α -MI制剂与一个kNN的自相似性α -MI登记框架由是不自相似惩罚簇（即，最近的邻居）。最后，在Rivaz等人。，引入CR相似性度量。基于鲁棒补丁的相关比（RaPTOR）计算小补丁上的局部CR值，并将它们相加以形成全局成本函数。作者声称一种产生合适的方法的属性：它们的度量对于重要的空间强度不均匀性是不变的。这在由于波衰减，阴影和增强伪像处理US图像时特别有用。这些Rivaz指标（CoCoMI，SeSaMI和RaPTOR）的主要优点之一是它们的梯度可以通过分析得出，因此可以使用随机梯度下降方法有效地优化成本函数。

2.2. 几何

几何登记发现有意义的解剖学位置或凸标记。这些方法旨在最小化能量函数，对于给定的变换，该能量函数测量在2D切片和体积图像中检测到的关键点之间的差异。一旦标记被适当确定，注册过程的简单性，对初始化没有敏感性并且在变形方面具有更宽的捕获范围是这些方法的主要优点。另一方面，具有里程碑意义的检测并且匹配过程并不是那么简单，其位置上的错误会影响注册过程的准确性。此外，由于关键点的稀疏性，变形的质量可能变得不足（由于对插值的有限支持）。

Gourdon和Ayache（1994）的早期工作提出了一种在曲线和曲面之间进行切片到体积配准的几何方法。在这项工作中，Gourdon和Ayache利用关于在曲线和曲面上计算的微分属性的知识来约束刚性匹配问题。这项工作最相关的贡献是他们讨论如何使用微分约束来严格记录曲面上的曲线。然而，他们使用了基本的Marching Cubes算法（Lorensen和Cline，1987）从模拟和医疗数据中提取它们。对于具有低分辨率的图像，这些结构的提取仍然是一项艰巨的任务，这种情况通常在切片到体积的配准中是有效的。在这些情况下，可以使用替代方法（例如超分辨率重建（Oktay等人，2016 ）或基于配准的插值方法（Penney等人，2004b））来提高原始图像的质量，然后再提取感兴趣的结构，在应用几何配准过程后产生更准确的结果。

对于医学图像（与自然图像相反），提取独特特征变得更加复杂，因为第一个通常不像最后一个那样具有辨别力（缺乏纹理）。对于缩放，旋转和照明或亮度变化的不变性构成了寻求提取显着点的方法的有用属性。高度独特的功能（在空间和频率域中）简化了匹配任务，因为它们可能正确匹配。成功应用于不同计算机视觉任务的此类描述符的经典示例是尺度不变特征变换（SIFT）（ Lowe，1999），Harris检测器（Harris和Stephens，1988）），方向梯度直方图（HOG）（Dalal和Triggs，2005），加速鲁棒特征（SURF）（Bay et al。，2008）等。最近，使用深度学习学习的特征已成功应用于场景涉及大量注释数据用于培训（Long et al。，2014）。这些特征用于提取将指导几何配准过程的显着标志。一旦在切片和体积图像中建立了界标，就有两种选择。首先，我们可以执行匹配过程，这导致建立来自两组的点对之间的对应关系。匹配过程完成后，可以使用对应关系来估计所需的 - 刚性 - 非刚性 - 变换模型。或者，也可以应用直接估计变换模型而不推断任何对应关系的方法。有时候，可以同时推断出对应关系和转换模型，就像Iterative Closest Point（ICP）一样（Besl和McKay，1992））算法。ICP是随后改进点对匹配的算法。它最小化了变换的源图像界标集与目标界面中最接近的检测到的界标之间的几何距离之和。这是一种简单快速的方法，遵循最近邻原则来执行匹配任务，但通常会收敛到局部最小值。

Dalvi和Abugharbieh（2008）提出了一种使用ICP的切片到体积的配准方法。首先，它使用定向的2D Gabor小波从切片/体积中提取相位一致性信息。然后，使用局部非最大抑制，自动获得稳健且精确的特征点集，随后通过ICP推断刚体变换来匹配这些特征点。Nir等人。（2014）使用几何匹配标准呈现粒子过滤框架，其中应用最近点原理（它们在两组中的最近点对之间使用SSD）。在他们的提议中，推断的变换模型涉及9-DOF（仿射）矩阵而不是6-DOF变换（刚体）。Nir的方法由Moradi和Mahdavi（2013）应用为基于肿瘤检测学习的框架中的预处理步骤，以将US登记为前列腺图像的整体组织病理学参考，将肿瘤的位置映射到美国图像域。Yavariabdi等人提出了另一种使用ICP的方法。（2015）用于可变形注册。他们使用3D MRI体积记录2D经阴道美国（TVUS）图像，以定位子宫内膜植入物。他们通过一种新的变分一步可变形ICP方法使用轮廓与表面对应，找到平滑的变形场，同时自动建立点对应。这种方法的主要缺点是它依赖于用户来分割器官。手动盆腔器官分割是一项费时费力的工作，因此适用性强在真实场景中的方法是有限的。请注意，在本段讨论的论文中，不同类型的变换模型基于最近点原理进行估计，显示了这种方法的灵活性。

当执行形状和点的非刚性配准时，可以使用有符号距离函数（或带符号的距离图）来避免界标匹配步骤。在这种情况下，地标或形状被指定为零距离，而图像的其余像素被标记为到最近的几何图元（界标或边界）的距离。一旦创建了距离图，就可以通过标准图标注册（例如在距离图上使用SSD）来估计最佳转换模型（Paragios，Rousson，Ramesh，2003，Huang，Paragios，Metaxas，2006，Taron，Paragios， Jolly，2009）。在Boer等人。（2007年）有符号距离函数用于利用预重建的3D模型来记录组织学图像的切片。作者建议使用朴素强力方法进行优化，这会导致极高的计算成本。

2.3. 基于传感器的方法

基于传感器的系统是基于图像的方法的替代方案（即使图像经常用于初始化），其中切片位置和方向使用传感器不断更新。假设初始对应，这种信息可用于从给定体积中提取相应的切片。光学（OTS）和电磁（ETMS）跟踪系统是执行此任务的最广泛使用的技术。OTS系统通过跟踪附着在物体上的有源或无源标记的位置，实时确定物体的位置。它需要在跟踪设备之间保持视线以及要跟踪的工具。这可能会给医生带来不便 - 尤其是在他的工作期间的图像引导干预 - 导致非常不方便。EMTS系统通常由三个基本组件组成：电磁场发生器，与PC连接的系统控制单元，跟踪传感器线圈及其与系统控制单元的接口。通过测量每个线圈的行为，可以确定物体的位置和方向。EMTS不会继承与视线要求相同的约束，但它对来自附近金属源的失真很敏感，并且与光学跟踪相比表现出有限的精度（ Birkfellner等人，2008 ）。此外，OTS和EMTS都无法处理体积和切片之间的弹性变形。通常，可以声称基于传感器的方法比基于图像的方法更可靠（当它们被正确校准时），因为它们不受在图像解释过程期间出现的模糊度的影响。

在Gholipour等人。（2011），三维 磁场传感器用于在MRI扫描期间跟踪对象的运动。它允许估计切片的位置以进行体积重建。使用MRI扫描仪的原生梯度场实时计算三维（6-DOF）传感器的刚性6-DOF变换。通过切片采集时的传感器运动参数计算每个切片的相对3D位置。其他利用EMTS系统的工作可以在Hummel等人的文章中找到。（2008） ; Olesch等。（2011） ; Olesch和Fischer（2011年） ; 徐等人。（2008年）。

光学跟踪系统还可以取代基于经典图像的切片到体积配准算法。在Schulz等人。（2014）通过光学跟踪系统实现了用于fMRI 图像重建的逐片运动校正（关于该问题的完整讨论，参见第6.2节）。作者建议使用三个带有嵌入式图像处理的跟踪摄像机，使用护目镜跟踪附着在头骨上的三个光学标记的位置。然后使用跟踪信息来代替在fMRI图像重建期间考虑运动校正所必需的经典切片到体积配准步骤（ Kim等人，1999）。在鲍等人。（2005），基于红外相机，光学跟踪用于将腹腔镜US注册到幻像肝脏的CT图像。红外摄像机的优点是位置传感器不会受到反射和环境光的干扰。但是，视线要求仍然存在，因此不能阻挡传感器。其他使用OTS跟踪图像切片在用体积图像进行记录时的位置的论文可以在这里找到黄等人。（2009） ; Penney等人。（2006） ; 2004a）; 舒尔茨等人。（2014年）。

最近（Eresen等，2014 ），智能手机跟踪技术被认为是一种导航工具，用于初始化组织学2D切片和MR体积之间的切片到体积的配准过程。智能手机的惯性测量单元（IMU）（也可作为独立组件提供）用于定义切片的方向。给定IMU传感器的方向和位置数据，然后可以从MR体积内插相应的切片。这种交互式对齐用于确定2D切片的初始方向，并使用通过强力优化的基于MI的标志性注册过程进行细化。IMU跟踪系统使用加速度计的组合和陀螺仪分别测量加速度和角速度。由于加速度是相对于时间的位置的二阶导数，并且角速度是一阶导数，因此从已知的起始位置产生平移和旋转（即6-DOF变换）随时间积分的角度变化（ Birkfellner等人2008 ） 。这些传感器价格便宜且可广泛使用。然而，使用IMU进行跟踪的主要问题是错误的累积（系统或统计），导致随时间的退化估计。卡尔曼滤波器（Kalman，1960）可以用来处理这类问题，并且经常被科学界采用。在 Marami等人。（2016B）; 例如，2016a），卡尔曼滤波器与切片到体积配准相结合以估计头部运动参数。

请注意，如下一节所述，几篇提出基于传感器的方法的论文实际上是这种技术与一些基于图像的配准技术的结合，从而产生了我们所谓的混合方法。

2.4. 混合动力

索蒂拉斯等人。（2010）指出，混合匹配标准利用标志性和几何方法，以努力获得两全其美。此类别可以通过包括基于传感器的技术进行扩展，因为它也可以与标志或几何方法结合使用。在这种情况下，传感器用于初始化配准过程或提供切片位置的实时更新，然后可以使用基于图像的配准来细化。

Mitra等人。（2012）提出了一种混合切片 - 体积配准方法，在概率框架中结合几何和标志性匹配标准，以将经直肠美国（TRUS）与前列腺的MR图像配准。几何分量基于分段前列腺轮廓的形状 - 上下文（Belongie等，2002 ）表示。在两个形状的形状 - 上下文直方图之间的Bhattacharyya距离（Bhattachayya，1943 ）用于在每个轴向MR图像中找到点对点对应。TRUS之间的卡方距离计算切片和每个MR切片并用于确定匹配切片。一旦确定了具有最小卡方距离的TRUS-MR切片对，它就用于检索它们之间的2D刚性变换（平面内旋转和平移）。该变换应用于剩余的MR切片，以确保与2D TRUS切片类似的2D平面内刚性对准。通过测量TRUS图像与MRI的每个旋转的轴向切片之间的相似性（NMI和CC用作度量）来执行图标步骤。最后，将形状和图像相似性度量转换为概率密度函数，并映射到统计相似性框架，以检索类似于TRUS图像的MR切片。两个问题限制了这种方法在临床实践中的适用性。第一，注册由两个图像上的前列腺的手动分割确定。其次，该方法假设TRUS切片与MR平行轴向平面 ; 因此，登记的结果不考虑任何可能在现实场景中发生的平面外旋转。

跟踪信息（来自EMTS或OTS系统）可以通过混合方法与标志或几何标准组合以执行切片到体积的配准。在这种情况下，跟踪信号可以用于初始化过程或计算新2D切片相对于前一个切片的附加位置，将它们带到相同的坐标系。然后可以结合标志性或几何注册来补充该过程。在 Penney等人。（2004年例如，基于图像的配准用于计算将该独特坐标系与体积图像相关联的初始变换，以及用于执行跟踪的切片的相对位置的基于传感器的更新。Penney等人使用了这种方法。（2004a）将术中US图像登记到术前MR体积。该算法在Penney等人的文章中进行了扩展。（2006）处理2D US到体积CT注册。SanJoséEstépar等。（2009年）改进由连接到腹腔镜或内窥镜探头的EM系统提供的刚性跟踪信息。使用基于边缘的图标配准方法结合相位相关技术，根据平移参数进行细化。在Xu等人。（2008年），EM跟踪和术中图标图像配准用于将MRI数据叠加在前列腺的TRUS图像上。为此，应用三步算法，其中中间算法对应于切片到卷的配准。在TRUS手术开始时，操作者执行从前列腺基部到其顶点的2D跟踪轴向扫描，其用于产生前列腺体积的体积US重建。重建的美国体积和MRI是手动对齐的。因此，2D TRUS切片被登记到US重建体积（将MRI / US多模态问题减少到US / US单峰性），而估计的变换仍可用于恢复相应的MRI切片。在干预期间，平面外运动补偿使用近乎实时的2D US图像和3D US图像之间的间歇多切片到体积配准来实现。这种刚体注册基于使用Simplex算法最小化SSD 。最后一步是指US的2D-2D注册（使用CC和基于梯度的相似性度量），并且它试图考虑平面内未对准。在此工作流程中，EM跟踪信息用于简化从多个单模态注册的问题，并结合标志性的切片到卷注册以考虑运动补偿。将跟踪信息与标志性或几何配准方法相结合的其他混合方法是 Sun等人。（2007））; 严等人。（2012）;肖等人。（2016）。

在Ghanavati等人。（2010）在全髋关节置换（THR）手术的背景下，提出了一种方法，该方法将来自跟踪的徒手2D US 换能器的信息与基于US图像模拟的图标匹配标准相结合。他们使用骨盆的统计形状模型（SSM），由几个CT图像构成。他们开发了一种多切片到体积的配准方法，将多个2D US切片注册到骨盆的统计图谱。基于美国的模拟方法，地图集的平均形状首先严格地记录在徒手2D美国图像上（Wein et al。，2008a）。然后，通过测量从地图集实例模拟的实际美国和美国图像之间的图标相似性来实例化地图集。这种两步算法估计刚性变换并随后优化可变形参数，在Ghanavati等人中被转化为一次性优化方法。（2011年）。

在Wein等人。（2008b ），附着在患者皮肤上的位置传感器用于提取标量替代测量，其代表用于检测和补偿肝脏呼吸运动的前 - 后翻译。该信息与标志性标准相结合，以估计仿射12-DOF转换模型，该模型将术前计划和成像映射到介入场景中。

黄等人。（2009）提出了利用多个时间帧的混合切片到卷注册策略。引入了多模态图像导航系统，其使用心电图（ECG）信息，光学跟踪和基于图标MI的配准将2D美国图像与术前心脏CT体积集成。该心电图用于使US图像与相应的术前动态3D CT同步，这取决于ECG指示的心脏相位。由光学跟踪器给出的空间信息用于为每个切片产生接近最佳的起始点，其通过最大化MI相似性度量来改进。这种方法可以实时工作，使其适用于真正的介入场景。Hummel等人提出了一种不同的传感器组合来解决配准问题。（2008），EM和OTS传感器与标志性注册相结合，将内窥镜US注册到CT数据。

3. 转型模型

转换模型解释了切片和正在注册的卷之间的关系，并且是注册过程的结果。它们通常根据其自由度进行分类。刚性变换处理全局旋转和平移，而可变形模型 - 复杂情况 - 可以产生局部面内和面外变形（见图 3）。变形模型的丰富程度与我们需要指定的参数数量成正比，因此可以在模型复杂性和表达能力之间找到折衷。

当对给定图像应用变换时（在配准过程的最后步骤或在中间优化步骤期间），必须使用插值方法来在重采样期间推断变换图像的空间中的每个像素的强度值。在这方面，在切片到体积配准时有两种选择：使用估计的变换重新取样切片或体积。最常采用的策略包括重新采样体积图像，因为在3D中重新采样切片的定义不如卷的定义。但是，在某些特殊情况下，变换模型只允许在2D图像的空间内进行平面内变形（如（Ferrante，Paragios，2013，Ferrante，Fecamp，Paragios，2015）），可以进行切片重采样。

3.1. 死板

最简单的转换模型考虑了旋转和平移参数。它通常表示为6个自由度（6-DOF）变换的Θ [R 3旋转和3个平移参数组成。这种基本模型是文献中用于切片到体积配准的最常见选择。刚性变换足以表达简单的切片与体积关系（见图2 ）。他们可以处理平面内和平面外的平移和旋转。不继承图像失真的临床场景- 如简单的片间运动校正（Jiang，Xue，Glover，Rutherford，Rueckert，Hajnal，2007b，Kim，Hansen，Habas，Rousseau，Glenn，Barkovich，Studholme，2008b，卢梭，格伦，2005年，SmolíkováWachowiak，Wachowiak，芬斯特，Drangova，2005 ）或基本性质图像引导手术（圣何塞埃斯特帕尔，威斯汀，Vosburgh，2009年，Birkfellner，Figl，Kettenbach，胡默尔，Homolka，Schernthaner，瑙，贝格曼，2007，Gill，Abolmaesumi，Vikal，Mousavi，Fichtinger，2008） - 可以用刚性变换建模。

图2. 刚性切片到体积的注册。在这种情况下，变换$\Theta$参数化一个简单的6-DOF变换，它只能模拟旋转和平移。即使很简单，这种类型的转换也已经被本次调查中审查的工作大量采用（见表1）。

图3. 根据应用，切片到体积配准算法可以允许面外，面内或零变形。

当避免平面外运动时，甚至可以使用更简单的模型。Zakkaroff等。（2012）提出使用堆栈比对变换恢复心脏MR系列中的平面内切片旋转。沿着X和Y的平面内平移以及围绕用户提供的各个切片的旋转中心的旋转被独立地参数化。它还包括沿Z方向进行全局平移的参数。因此，它将各个切片变换组合成一个独特的参数空间 - 每个切片包含3-DOF而不是6-，这样所有参数都可以同时优化。这种类型的模型在很大程度上受到批评，表明（特别是在体积重建的背景下）精确对应的切片只能通过切片到体积的配准来找到，该配准也考虑了平面外的旋转和平移。在肖等人。（2011年）作者考虑了切片到切片匹配的初始步骤，其中来自组织学体积的每个2D图像通过基于组的MI比较与一个轴向MRI 切片匹配。它意味着涉及简单切片对应（1-DOF）的受限变换模型。随后，他们校正每对匹配切片应用2D-2D仿射配准的面外偏差，以及组织学伪体积（在转换每个2D切片后重建）和MRI体积之间的后三维仿射配准。受限制的刚体转换可以是完整的切片到卷注册管道的方便初始化组件。

6-DOF刚体转换是几乎所有切片到体积配准算法的一部分。寻求可变形配准的文献通常在执行局部可变形映射之前通常采用刚性对齐来解释大范围位移（应用这种两步法的例子可以在Tadayyon等人（2011） ; Xu等人（2014a）中找到） ; Fuerst等人（2014） ; Hallack等人（2015） ; Murgasova等人（2016））。估算6-DOF刚性变换的标准方法包括通过持续优化最小化能量函数（基于图标或几何匹配标准）算法（参见4.1节），其中搜索空间是刚性变换的欧几里得群SE（3）的一部分。第2.3节中描述的传感器也可用于许多论文中提出的刚性对准。

3.2. 非刚性

在这篇综述中，我们将非刚性转换称为那些在某种程度上执行图像结构变化的模型。这些变化不同于简单的操作 - 它们仍然可以使用线性变换（例如缩放，翻转或剪切）建模到更复杂的模型，从而产生局部变形。

3.2.1. 线性模型

线性变换是非刚性配准的第一步。在Wein等人。（2008a ），作者提出仿射模型可以在将术中2D US切片记录到CT图像时消除大部分大规模变形。在不同呼吸配置的CT和US检查之间特别观察到这些变形，并且可以通过仿射变换来处理。然而，在前列腺的组织学切片记录到MRI体积的不同情况下，Nir等人。（2014）得出结论，仿射变换模型无法捕捉变形，特别是在直肠中区域。这是因为局部变形不能用全局仿射模型表示。在这种情况下，需要进行可变形登记（在下一节中进一步说明）。

最近，仿射模型用于记录骨骼的2D切片和3D图像（Hoerth等人，2015 ）。他们的提议包括一种新的方式来启动2D切片和骨骼的3D图像之间的配准。该方法使用广义霍夫变换（GHT）（Ballard，1981 ）来识别合适的起始位置。他们通过对其梯度矢量场进行阈值处理来创建2D切片的模板版本，用于通过GHT形状检测过程探索3D体积，提供一组初始位置。然后使用标准仿射登记过程根据初始配置使图像变形GHT空间的使用并使用基于MI的标准进行更新。可以考虑这样的原则来处理替代转换模型。估计用于解决切片到体积配准的仿射模型的其他论文是 Gefen等人。（2008）; Micu等人。（2006）; Museyko等人。（2014））; Wein等。（2008b）; 肖等人。（2011）; 2016）。

3.2.2. 可变形模型

弹性变形是强大的变换，在切片到体积的映射中得到了广泛的应用。这些模型的表现力取决于用于定义它们的参数数量。Sotiras等人提出了用于非刚性配准的不同类型和类别的可变形模型的详尽描述。（2013年）和（ Holden，2008年）。在这里，我们专注于应用于切片到体积映射的模型。

薄板样条（TPS）经常用于从稀疏的控制点集生成密集的变形场。这些方法涉及一组可以位于任意位置的控制点，这些控制点通常通过检测显着结构来获得。径向基函数（RBF） - 其中任何插值点处的值作为其与控制点的距离的函数给出 - 以控制点为中心并与仿射项组合以定义插值函数。TPS 基于此插值函数最小化弯曲能量，这提供了封闭形式的解决方案，其在大多数情况下保证其唯一性。TPS可以分解为仿射和局部组件。在Osechinskiy和Kruggel（2011a）; 2011b ），TPS用于参数化2D表面（切片）的平滑3D变形。控制点放置在2D图像域上的规则网格中，并且使用三个独立的TPS函数定义3D扭曲。同样，在Miao等人。（2014），控制点的几个常规2D网格在多切片到体积的配准场景中定义每个切片的一个TPS变形模型。Kim等人。（2000年）还将TPS应用于单个切片到体积的配准问题，并且使用刚体配准算法比较弹性映射的两个变体（涉及支持TPS模型的不同数量的控制点）。作者提出了两个主要结论：（i）基于TPS的登记优于刚体登记，至少在他们的多切片fMRI情景中，由于局部场引起的变形或局部的平面外运动伪影而遇到局部变形 ; （ii）控制点的数量和位置对最终结果有重大影响。

自由变形（FFD）模型也广泛应用于医学图像配准。起源于计算机图形学（Sederberg和Parry，1986），由于Rueckert等人的开创性工作，它们开始流行起来。（1999）。在该模型中，加权函数是三次B样条。控制点具有有限的局部支持（与TPS相反，其中控制点在插值期间影响完整域）并且以类似网格的方式均匀地分布在图像域上（Glocker和Sotiras，2011）。在Ferrante和Paragios（2013年） ; 费兰特等人。（2015）），FFD用于基于图的离散优化框架，用于执行切片到体积的可变形映射。在该模型中，2D网格状图同时编码平面位置（刚体变换）和切片相对于其在3D处的对应位置的平面内变形。通过FFD插值获得平面内变形，其中图的节点起控制点的作用。类似地，但在连续设置中，Osechinskiy和Kruggel（2011b）优化了在2D网格上定义的控制点的位置，其中未知变量对应于3D位移。在另一种情况下，Fuerst等人。（2014）提出在边界框内使用基于3D网格的FFD跟踪美国扫描。因此，他们估计了3D网格中的单个3D变形场，可用于变形US扫描中包含的所有切片。FFD优于TPS的主要优点是它不需要求解线性系统来计算位移的权重。然而，FFD在建模方面施加了约束，因为控制点必须放置在规则网格中并且必须包围域边界，而对于TPS，控制点原则上可以任意放置在域中（ Osechinskiy和Kruggel， 2011b）。其他有趣的工作结合了B样条以在切片到体积配准的背景下对可变形转换进行建模，这可以在 Brooks等人的文章中找到。（2008年）; Honal等。（2010） ; Museyko等人。（2014））; 苏等人。（2013） ; Rivaz等人。（2014c）; 2014b）; 2014a）; Tadayyon等。（2010） ; 2011）; 徐等人。（2014a）。

基于有限元（FE）网格的替代模型已经在Marami等人中使用。（2011）模拟动态线性弹性变形场。它基于图标图像相似性标准对允许的体积变换施加正则化约束。有限元模型的优点在于它们允许通过物理上有意义的约束将组织变形的动态行为结合到配准过程中。

4. 优化方法

优化方法旨在确定基于上述匹配标准最小化函数的变换模型的实例（参见第2节）。根据所涉及变量的性质，这些方法可以分为连续或离散。连续方法利用整个参数空间，而离散方法利用可允许解决方案的离散化/量化版本。

计算机视觉和医学成像中的许多问题本质上是离散的（如语义分割）; 然而，这不是切片到体积图像配准的情况，其中搜索空间是连续的。关于切片到体积配准的大多数已发表的方法采用连续配方。尽管如此，最近关于图像配准的工作主要集中在离散公式。下一小节介绍了现有工作，并讨论了在切片到卷注册的上下文中连续和离散推理方法的局限性。我们还考虑了第三类启发式方法，这些方法独立于变量的性质，可以应用于更广泛的问题，但代价是不提供最优保证。考虑到问题目标函数的性质，当找到最优解不可能或不切实际时，通常应用这些方法。

4.1. 连续

连续优化算法通常是迭代方法。它们通过迭代更新它们来推断一组参数的最佳值。该策略的常见数学公式由下式给出：
（2）
其中Θ是参数的向量，d 吨是在迭代搜索方向吨和ω 是步大小或增益因子。可以使用不同的策略来计算搜索方向。

可以根据不同的标准对连续优化方法进行分类（例如，凸或凹最小化，线性或非线性函数的求解器，平滑或非平滑问题等）。在这里，我们简单地根据它们是执行基于梯度或非梯度的优化来对它们进行分类，即，它们是否利用能量函数的第一（或更高阶）导数来计算搜索方向，或者它们是否依赖于其他策略。Osechinskiy和Kruggel（2011b）提出了一个有趣的比较分析，其中来自两个类的方法用于解决组织切片与MR图像的切片到体积配准。

4.1.1. 基于梯度的方法

梯度驱动方法使用目标函数的导数来指导优化过程。在凸函数和可微函数的情况下，这些方法被赋予最优保证。否则，可以收敛到局部最小值，并且它们对初始化是明智的。它们的主要缺点是需要对能量函数导数进行分析推导或数值估计，从而降低其适用性，因为它通常很复杂。

梯度下降是此类别中最简单的策略，其中搜索方向d t由能量函数的负梯度给出。它指的是标准的连续优化方法，并已广泛应用于切片到体积配准的问题。

共轭梯度方法使用共轭方向而不是局部梯度来估计d t。能量函数具有长而窄的波谷形状，可以使用比标准梯度下降方法更少的步骤进行优化，从而实现更快的收敛。Elen等人。（2010） ; Osechinskiy和Kruggel（2011b ）分别应用这种策略来估计刚性和非刚性切片到体积映射函数。

当能量函数的雅可比行列式或Hessian不能被计算或者计算得太昂贵时，使用准牛顿优化策略。在这种情况下，基于使用先前迭代提供的信息计算的Hessian的估计来计算时间 t 处的搜索方向。 。使用几种相似性度量，应用准牛顿优化来在Kim（2005）中对脑切片进行可变形的 MR 切片配准。它还用于在 Brooks等人的术前体积中记录2D术中US图像。（2008年）。最流行的准牛顿方法之一是Honal等人使用的Broyden-Fletcher-Goldfarb-Shanno（BFGS）算法。（2010）在MRI采集期间校正呼吸运动伪影。有限内存版本的BFGS（L-BFGS）特别适用于涉及大量变量的问题，并应用于解决多片到卷的注册问题。Fogtmann等。（2014） ; 徐等人。（2014a）。

Gauss-Newton方法可以处理非线性最小二乘函数。使用Hessian矩阵的近似值，一旦与梯度组合，就提供对这些函数的搜索方向的良好估计。因此，它只需要计算一阶导数（与必须计算实际Hessian矩阵的标准牛顿方法相反）。在 Heldmann等人。（2010） ; Olesch等。（2011） ; Olesch和Fischer（2011），Gauss-Newton方法用于多模式配准，其中2D US切片的肝脏被登记到术前CT体积。它们的匹配标准计算平方差的和（SSD）对 3D和2D切片中肝脏血管结构的分割。SSD是最小二乘函数，因此可以有效地应用Gauss-Newton方法。该方法也用于Lasowski等人。（2008），解决了迭代重加权最小二乘（IRLS）过程，以估计fluoroCT和CT图像之间的刚性变换。该Levenberg-Marquardt算法是解决非线性最小二乘问题的另一种方法，它也只需要一阶导数。对于表现良好的平滑函数，该算法比标准Gauss-Newton方法花费更多时间。然而，该方法比标准Gauss-Newton更稳健，这意味着即使初始化不良也可以找到解决方案。据我们所知，这种优化算法仅用于估计刚体变换 ; 然而，它已被用于优化多个领域的几个标志性匹配标准，如重建3D细胞图像（ Yu等，2011），内镜干预（Hummel等，2008）和胎儿脑成像（Kim，Hansen，Habas，Rousseau，Glenn，Barkovich，Studholme，2008b，Kim，Habas，Rousseau，Glenn，Barkovich，Studholme，2010b）。

4.1.2. 非基于梯度的方法

无导数方法消除了目标函数的可微分条件。它们适用于更广泛的功能，包括噪声，不可微分或甚至未知功能，其中我们只有一个黑盒子，在给定一组输入参数的情况下返回输出值。这些是在处理医学图像登记时经常出现的情况。

用于解决切片到卷注册的最简单的基于非梯度的方法是本地搜索或最佳邻居方法。在这种情况下，使用步长ω依次扰动要估计的每个参数，并计算目标函数的值。然后，搜索方向d t被估计为产生目标函数的最大改进的方向。这种方法的主要缺点是它依赖于初始步长ω 的选择。大步长可能导致算法移动到其捕获范围之外。另一方面，对于太小的步长，优化可能陷入局部最优（Penney et al。，2004a））。这种贪心算法已被应用于估计刚体和仿射变换映射切片到体积，其具有比可变形模型更少的DOF 。不同的图像模式，如美国到MRI（ Penney等，2004a）或CT（Penney等，2006 ; Sun等，2007）图像，以及fluoroCT图像（Micu等，2006）被认为是临床上。

Nelder-Mead（Nelder和Mead，1965）（也称为下坡单纯形法或变形虫法）是最流行的无衍生物方法。它依赖于单纯形的概念（a生活在n 维空间中的多面体，以系统的方式探索解决方案的空间。在每次迭代时，该方法在搜索表面上构造一个单纯形，并在其顶点上计算目标函数。该算法通过在每次迭代时将通过剩余n 个点的质心反射的点替换当前集合的最差顶点而在表面上移动。该方法可以收敛到局部最优值，用于平滑和单峰的目标函数。然而，与基于标准梯度的方法相比，它在复杂参数空间中表现出更强大的行为，在鲁棒性和收敛时间之间提供了良好的折衷（Leung等，2008））。它已被广泛用于切片到体积的配准应用。

另一种流行的基于非梯度的方法是众所周知的Powell方法。它通过沿N个不同向量执行双向搜索来探索搜索空间。通常，这些向量最初指的是canoninc方向。然后，使用先前的线性组合更新搜索方向。算法迭代直到没有进行显着改进。SmolíkováWachowiak等。（2005）应用Powell的方法将二维心脏图像记录到术前3D图像。作者声称，与所有本地技术类似，Powell的方法收敛于局部最小值，但它通常稳健且准确，并且表现出快速收敛。Wein等。（2008B利用鲍威尔方法在特定方向上执行线搜索的事实。他们对仿射变换的12个参数应用主成分分析（PCA），将搜索空间减少到3个最重要的PCA模式。因此，Powell方向搜索以最重要的PCA模式启动，这确保了良好的性能和稳健性。其他将Powell方法应用于我们问题的论文可以在这里找到Fei等人。

4.2. 分离

在离散场景中，切片到体积的配准可以表示为马尔可夫随机场（MRF）上的离散标记问题（Wang等，2013 ）。MRF的离散优化通常是NP难问题（Shimony，1994 ）。但是，在特殊情况下，它可以从非常有效的解决方案中受益。普通的强力算法（即为每个变量尝试所有可能的标签组合）具有指数复杂性，使得这种方法不适合。在过去的二十年中，已经开发出更有效的算法，这促进了计算机视觉领域中图形模型的使用。根据它们，它们可分为三大类Kappes等。（2013）：
1。
多面体和组合方法，解决了离散能量最小化问题的连续线性规划（LP）松弛。中心思想是放宽变量的完整性条件以简化问题。放宽完整性约束后，可以应用标准线性规划方法来解决优化问题，并使用舍入策略来恢复积分解。这种方法的示例是局部多面体上的线性规划松弛，二次伪布尔优化（QPBO）（ Rother等人，2007）和双重分解（ Komodakis等人，2011）。

2。
消息传递方法，其中消息在图中的节点之间计算和传播。这种传播可以看作是原始问题的重新参数化，旨在在重新加权函数中建立特殊属性，使得推理更容易。例子是标准的Loopy Belief Propagation（LBP）（Murphy等，1999）和Three Re-weighted Belief Propagation（TRBP）（ Wainwright et al。，2005）。

3。
最大流量和移动算法利用图论中众所周知的最大流量最小切割（Boykov和Kolmogorov，2004 ）算法，该算法可以最优地解决离散能量的某些情况。这些方法通常与贪婪策略相结合，通过求解一系列max-flow min-cut子问题迭代地最小化标签空间。例子是α-扩张，αβ交换（Boykov等，2001）和FastPD（Komodakis和Tziritas，2007）算法。更简单的移动算法不使用max-flow，但仍然应用以初始标记开始并迭代地移动到更好的标准直到满足收敛标准的策略，是经典的迭代条件模式（ICM）（Besag，1986）及其概括Lazy Flipper（Andres et al。，2012）。

图形模型和离散优化是过去几年在计算机视觉领域成功使用的强大形式（Wang et al。，2013）。通常，图形模型表示为图形 在哪里顶点 对应于变量而 是一个邻域系统（成对和高阶集团），它编码这些变量之间的关系。在离散优化问题，其目的是为离散标签分配升v ∈ 大号到每个变量 通过最小化以下能量函数：
（3）
其中g v（l v）是一元势， 是成对的术语和 是高阶集团C i的高阶项，取决于两个以上的变量。请注意，此等式可视为等式的离散版本。（1），其中通过标记{ l p }对变换映射函数Θ进行参数化，并且在能量项中编码相似性和正则化项。

基于方程式1的一般公式，已经提出了几种模型。（3 ）。最近，Porchetto等人提出了一种切片到体积刚性配准的离散方法。（2016）。受先前使用图形模型进行线性变换离散估计的工作的启发（Zikic等，2010a ），他们通过完全连接的成对MRF来制定它，其中节点与刚性参数相关联，并且边缘编码之间的关系变量。可变形图像配准也可以表示为最小成本图问题，其中图的节点对应于变形网格的控制点和图形连通性强加正规化约束。即使这种技术主要应用于单维情况（2D-2D或3D-3D）（ Glocker和Sotiras，2011），在过去的几年中发表了一些工作，将这一理论扩展到切片到体积的情况注册（ Ferrante，Paragios，2013， Ferrante，Fecamp，Paragios，2015， Ferrante，Paragios，2015）。

Ferrante和Paragios（2013）提出了使用图形模型和离散优化进行可变形切片到体积配准问题的第一个解决方案。同时模拟平面位置和平面内变形的规则网格被解释为图形模型，其中每个网格点对应于离散变量。使用在5维标签空间上的耦合公式内组合线性和可变形参数的成对模型。这种模型的主要优点是其成对结构提供的简单性，而主要缺点是维度标签空间的计算低效和近似（搜索空间的有限采样）。考虑到能量函数的特性（成对项和非子模块），采用FastPD作为优化算法。由 Shekhovtsov等人的工作所激发。（2008年），为了减少标签空间的维度，Ferrante等人的工作。（2015年）提出了一个不同的模型（所谓的解耦模型），其中线性和可变形参数现在被分成两个互连的子图，这些子图指的是较低维度的标签空间。它通过增加边和顶点的数量来减少标签空间的维度，同时保持成对图。在这种情况下，循环置信传播被用作优化算法，因为FastPD通常需要所有节点的相同数量的标签，这在给定标签空间的不同维度的情况下是它们的设置中的问题。最后，在Ferrante等人。（2015年），提出了一种高阶方法，其中标签空间维数减少是通过增加图形模型的顺序来实现的，使用利用这种类型的变量交互的表达能力的三阶集团。这样的模型以非常具有挑战性的推理为代价提供了对全局变形约束的更好满足。在这种情况下，Loopy置信传播也被用作优化算法。

与用于图像配准的连续方法相比，离散方法具有若干优点。首先，它们本质上是无梯度的，而大多数连续方法要求目标函数是可微分的。其次，当函数不凸时，连续方法常常容易陷入局部最小值。然而，在离散方法的情况下，甚至可以使用大邻居搜索方法来优化复杂的功能。第三，并行架构可用于执行若干离散算法（例如LBP中的消息计算）所需的非顺序任务，从而实现更高效的实现。第四，通过使用离散标签空间，可以明确地控制其范围和分辨率，这对于引入先验信息是有用的。与连续方法相比，离散方法的主要限制是精度，其由连续空间的离散化限制。然而，正如Glocker（2010）所建议的那样，即使最优性受离散化的限制，通过智能细化策略，也可以实现连续方法的准确性。

4.3. 杂

无论变量是连续的还是离散的，都可以使用不同的策略来探索解决方案的空间。启发式或元启发式可以获得可接受的解决方案，特别是在我们处理非线性，非凸或黑盒优化问题的情况下，即使我们知道没有提供最优性保证。在某些情况下（例如，初始化更复杂的注册程序）具有近似良好的解决方案就足够了; 在这些情景中，可以设想不同的策略。

进化算法是最受欢迎的生物启发元启发式算法。在进化计算中，生物进化的概念被用来探索搜索空间。特定人群的个体是我们问题的候选解决方案，并且它们根据不同的法则（例如突变，重组和选择）发展。通过适应度函数来执行对给定解决方案的质量的评估，这实际上是我们的目标函数。这个想法是，在生成序列中，生成具有更好和更好适应性的个体，从而产生良好的解决方案。这些算法通常是随机的。如果是这种情况，则可以根据参数空间中的多元正态分布对新的候选解进行采样。Lin等人使用遗传算法。（2013）估计膝关节的 2D MRI实时切片和3D MRI体积之间的6-DOF变换。在几个切片到体积配准问题中应用的一种进化算法是协方差矩阵 自适应进化策略（CMA-ES）。该方法通过估计类似于逆Hessian矩阵的近似的基础目标函数的二阶模型来更新前述分布的协方差矩阵。Gefen等人提出了另一种基于遗传算法来解决我们感兴趣的问题的案例。（2005） ; 2008）。根据参数空间，也可以组合不同的优化策略。在Tadayyon等人。（2010） ; 2011例如，应用CMA-ES来优化刚性变换模型的平移参数，而使用标准梯度下降方法估计旋转和可变形的参数。在它们对前列腺MR图像的应用中，CMA-ES无法优化6-DOF搜索空间，因为无论是否缩放，它都在旋转时发散。

另一种流行的元启发式方法是众所周知的模拟退火（SA）方法。它模仿金属原子在材料被加热然后缓慢冷却时所遭受的物理过程。为了避免局部最小值，该算法探索降低目标函数的新方向，但也以一定的概率探索提高目标的那些方向。这种概率随着迭代次数的增加而减少，因此它在早期迭代中远离局部最小值，并且能够在全球范围内探索更好的解决方案。Birkfellner等人。（2007）使用这种方法将fluroCT切片登记到CT体积，优化了几个标准的标志性匹配标准，而Cifor等人。（2013） 将其应用于多切片到体积的配准情况，其中优化了与鲁棒模态无关的相似性度量。

5. 切片数量

在本次审查中，我们包括单片和多片到体积的配准方法。而在第一种情况下，估计的切片到体积映射函数仅考虑单个2D切片，而在第二种情况下，几个切片被映射到3D体积。

通过简单地将算法独立地应用于每个输入切片，可以实现对多切片情况的任何单个切片到体积配准方法的简单扩展。它将允许并行化过程 - 因为每个注册可以并行执行 - 但同时，由于不考虑输入切片之间的关系，因此将丢失上下文信息。已经提出了几种这种类型的方法。我们可以引用费等人的话。（2003a）; 费兰特等人。（2015）; Osechinskiy和Kruggel（2011b）; Yavariabdi等人。（2015年）等。

可以采用不同的策略来将多个切片注册到给定的体积。在这里，我们只审查对输入切片集执行一致转换的方法，但仍然将该过程视为基于切片而不将其视为完整且唯一的卷。不考虑使用输入切片重建新体积然后执行标准3D-3D 注册过程的方法。请注意，在一些像布鲁克斯等人的作品中。（2008） ; 严等人。（2012） ; 徐等人。（2014a），已经进行了实验以比较多切片与体积与体积与体积配准的性能。在Xu等人。（2014A），在MR前列腺图像的背景下进行比较，以显示多切片到体积的配准足以在术中捕获前列腺运动。结论是，多片到卷的注册能够产生足够接近体积到体积注册的结果。考虑到仅使用几个切片而不是完整卷时实现的数据计算减少，这是一个令人鼓舞的结果。布鲁克斯等人。（2008）和Yan等人。（2012）在不同的医疗情景中得出了类似的结论。这一共识表明在可能的情况下使用稀疏切片而不是完整体积的可靠性。该策略有几个优点：（i）由于要处理的数据量减少（只有几个切片与完整的体积），计算要求较低，（ii）遗漏了潜在的复杂重建步骤，（iii）相似性度量的适应性更强，以及（iv）更容易并行化（Brooks et al。，2008）。

在存在多个切片的情况下，多切片到体积的过程 - 与单切片过程相反 - 极大地提高了匹配的质量，从而导致更稳健的配准方法（Yu等人，2011）。当切片之间的相对位置已知时，这甚至更有趣。在钱德勒等人。（2006） ; 2008年）中，例如，多切片与体积的配准来校正在短轴（SA）的图像未对准的心脏解剖结构通过注册两个平行的切片（假设它们之间要对齐）的堆叠到高分辨率3D MR轴心容量。在其他情况下，不同的配置，如正交切片，切片在任意位置对齐（使用跟踪系统获得）甚至是时间序列的切片（Miao et al。，2014），已注册成卷。另一个案例是Yu等人。（2008） ; 2011 ），其中提出了双重协议来重建细胞的微观体积。双协议由对相同单元成像的两组多个切片组成，这两个切片用两种不同的几何形状捕获。然后将两组切片相互配准，并使用简单的插值策略重建最终体积。

让我们回想一下，与3D-3D配准方法相比，多切片到体积的配准涉及更低的计算复杂度。此外，与单切片方法相比，多切片到体积的配准通过增加图像支持确实提高了配准过程的稳健性。处理多个切片需要比单切片情况更多的计算能力 ; 然而，在像徒手美国扫描的情况下，切片包含可以避免的冗余信息。从这个意义上说，由于方案的复杂性与输入切片的数量成正比，Wein等人。（2008a ）提出了一种策略，首先只选择几个关键切片。这些用于估计刚性或仿射变换模型，将美国切片映射到CT卷。由于徒手US扫描的相邻帧包含重叠信息，因此仅选择几个关键切片。他们通过选择具有最高图像熵的那些切片来选择信息量最大的切片。Olesch等。（2011）将相同的关键切片选择技术应用于Heldmann和Papenberg（2009）提出的变分可变形配准框架。为此，考虑了整个体积中分布均匀的切片，其包含关于熵的有意义的信息。在另一部作品中， Olesch和Fischer（2011） 通过引入仅考虑在给定感兴趣区域（ROI）中的切片的聚焦注册策略来扩展该关键切片选择技术。

在江等人。（2007b ），提出了一种多切片到体积的配准方法- 带有体积重建（SVR）的快照磁共振成像- 用于处理MRI的重建移动主题 在重复地对感兴趣的目标对象进行成像（产生相同移动物体的多个重叠的切片堆叠）以保证足够的采样之后，选择其中一个堆叠。然后，应用迭代mutli切片到卷注册策略，其中堆栈随后（以刚性方式）注册到参考。一旦所有堆栈都被注册，它们将被平均以产生新的引用。然后，减少每个堆栈中的时间上连续的切片的数量，使得数据被分成在时间上连续的子包，尽管每个子包中的切片可能在空间上不相邻。然后重复该过程：将子包注册到平均图像，再次更新，并且每个堆栈的切片数量再次减少; 重复该过程直到每个切片被单独处理（减少到单个切片到体积的情况）并且重建最终平均体积。在江等人。（2007a）; 2009 ）这个想法被扩展到允许在同一场景中重建扩散张量图像。在同样的工作中，江等人。（2007b）测试了使用前瞻性获取的数据和模拟病例同时使用平行和正交获取切片的益处。最近，提出了一种快速的多GPU加速框架来执行SVR（Kainz等，2015 ）。他们提出了一种完全并行的SVR方法，用于从运动损坏的图像堆栈重建高分辨率体积数据。并行化在两个级别执行：（i）在切片级别，多个切片被分别处理以用于大部分重建过程和（ii）由于基于像素/体素的操作彼此独立，所以它们也可以并行执行。作者声称他们的方法比目前最快的多CPU框架快5到10倍。

Rousseau和Glenn（2005）以及Rousseau等人。（2006）提出将多组正交2D MRI切片注册到高分辨率MRI体积中。江等人的工作。（2007b ）与他们有一些相似之处。然而，不是在每个切片被单独处理之前减少每个子包的切片数量，而是执行两步法。在该设置中，低分辨率图像的全局对齐之后是将每个切片的低分辨率图像配准到重建的高分辨率体积。仅考虑正交的切片组用于重建。

Kim等人的工作。（2008b）; 2010b）（建立在Rousseau，Glenn，2005，Rousseau，Glenn，Iordanova，Rodriguez-Carranza，Vigneron，Barkovich，Studholme，2006之上），提出了一种名为切片交叉运动校正（SIMC）的新方法。它直接根据堆栈中每对切片的交叉点来考虑注册过程，从而避免了中间体积估计过程。通过最小化由不相似度量之和定义的全局能量函数来估计独立的每切片刚性变换任何两个正交切片之间的所有交叉轮廓。SIMC可以在这种情况下使用，考虑交叉的体素线而不是标准补丁或基于全局的计算。Kim等人。（2008b）; 2010b）将SIMC应用于重建移动的人胎脑的MR图像的问题。从那以后，已经发表了对这项工作的一些扩展，例如Kim等人提出的工作。（2010c）将该方法扩展到Diffusion Tensor Images和Kim等人的案例。（2010a）; 2011）修改它以便考虑胎儿脑MR图像的偏差场不一致性校正。

在Nir和Tannenbaum（2011）和Nir等人的研究中，考虑了一种基于粒子滤波（PF）的方法。（2014）处理组织学图像到MR或US卷的多切片到体积的配准。PF框架以贝叶斯方式推导出参数的最优估计，解决了多模态配准中出现的两个主要问题，例如初始化易感性和最优解。在 Chen等人的基于EPI的fMRI运动校正的背景下，PF框架被应用于头部运动跟踪的问题。（2016）。陈和他的同事使用这种策略在注册过程中连续连续EPI切片，与标准的体积 - 体积和单片 - 体积配准方法相比，可以提高性能。

6. 应用

大量的临床设置和应用程序可以从切片到卷的注册中受益。在本次审查中，我们将它们分为两大类。

6.1. 图像融合和图像引导干预（IGI）

一些医疗程序，如图像引导手术和治疗（Fei等，2002 ），活组织检查（Xu等，2014a ），射频消融（Xu等，2013），跟踪特定器官（Gill等。 ，2008 ）和微创手术（Liao，Zhang，Sun，Miao，Chefd’Hotel，2013，Huang，Moore，Guiraudon，Jones，Bainbridge，Ren，Peters，2009 ）属于这一类。在这种情况下，切片到卷的注册将高分辨率的注释数据带入手术室。通常，术前3D图像如获取计算机断层扫描（CT）或磁共振图像（MRI）用于诊断并由专业医师手动注释。在外科手术过程中，使用不同技术（例如，fluoroCT，US或介入MRI切片）生成2D实时图像。术中图像与术前体积的对齐增强了医生可以访问的信息，并允许他们在执行操作时导航体积注释（参见图4）。这些术中图像比术前图像继承更低的分辨率和质量。此外，在手术过程中，组织移位塌陷以及呼吸和心脏运动图像中的弹性变形，使得切片到体积的配准成为极具挑战性的任务。在将自动方法与手动（人）结果进行比较时，已经证明了对齐的统计学显着改善，显示了在图像融合和IGI背景下自动切片到体积配准算法的重要性（ Frühwald等，2009）。

图4。需要切片到体积配准的主要应用之一是用于图像引导程序的图像融合。在该图中，我们可以观察到操作内的US切片被登记到术前CT图像的示例。然后并排显示图像，提供补充信息（并排的US / CT图像是从Ewertsen等人（2013）中提取的）。

费等人的开创性工作。（2001） ; 2002）; 2003a）; 2003c）; 2004 ）在图像引导手术的背景下引入了图像融合的标志性切片到体积配准。动机是低分辨率单光子发射计算机断层扫描（SPECT）可以通过预先注册高分辨率MRI体积来实现，后者可以随后与实时iMRI融合。这就是通过将高分辨率MR图像与实时iMRI采集相结合，Fei及其同事可以将功能数据和高分辨率解剖信息映射到实时iMRI图像，以改善热消融期间的肿瘤靶向。

Birkfellner等人。（2007）使用切片 - 体积配准将2D荧光CT与体积CT融合，这是用于介入放射学中的图像引导活组织检查的公知工具。在这种情况下，使用具有造影剂的介入前诊断高分辨率CT来定位肝脏中的病变。然而，在干预期间，病变不再可见。因此，定位对应于术中荧光CT的CT切片允许医生在活组织检查期间找到病变。这种方法只考虑严格的转换。但是，介入程序像射频消融（RFA）或使用fluoroCT作为图像引导技术的图像引导活检一样，在患者连续呼吸时进行。因此，在注册术前静态CT图像时也应考虑变形。Micu等人讨论了这种变形的影响以及在这种情况下进行非刚性配准的可靠​​性。（2006年）和Lasowski等人。（2008年）。据称，基于单一低质量荧光CT的2D-3D非刚性配准溶液不能像执行医疗程序那样精确。这主要是由于荧光CT切片提供的肝脏解剖学特征（主要是血管）支持不佳。他们提出通过提供围绕最小估计姿势的体积区域的自适应可视化（Lasowski等人，2008 ）来克服该限制。这种方法可以应对估计变形的不确定性，并且比单个注册切片带来更多信息。他们的方法执行严格的切片到体积配准，并包括沿平面外运动参数的平面方向确定的CT体积的视图 在最小姿势旁边。

腹腔镜和内窥镜介入手术也利用切片到体积的配准。SanJoséEstépar等。（2009），提出了一种实时记录内窥镜和腹腔镜US图像与术前计算机断层扫描体积的方法。它基于一种新的相位相关技术，称为LEPART，用于严格配准。在Heldmann等人的文献中可以找到在微创手术中应用切片到体积配准的其他方法。（2010） ; 鲍等人。（2005年）。

6.2. 运动校正和体积重建

第二类是运动校正和体积重建。这里，目标是在重建特定模态的体积时校正未对准的切片（参见图5 ）。解决此任务的典型方法包括将体积内的各个切片映射到另一个参考体积上，以便校正切片间未对准。流行的地图切片到体积（MSV）方法引入了这个想法（Kim等，1999 ）。最近，在心脏磁共振（CMR）等不同背景下，切片到体积配准应用于同一问题（Chandler，Pinder，Netsch，Schnabel，Hawkes，Hill，Razavi，2008，Elen，Hermans，Ganame，Loeckx， Bogaert，Maes，Suetens，2010胎儿图像（Seshamani等，2013 ）和弥散张量成像（DTI）（Jiang等，2009）已经显示出有希望的结果。在这些问题中，通常假设单个切片是相干的，在空间不一致性仅发生在切片间级别的意义上。

---

图5。在进行体积重建的运动校正时，切片到体积的配准是一项关键任务。在该图中，我们可以观察到典型的情况，其中患者在逐片采集3D图像的同时移动，导致切片堆积体积损坏。通过切片与体积登记运动校正是改善重建的体积的质量的常用技术（该图是基于图1中从Chen等人（2016） ）。

---

在体积重建的上下文中的切片运动校正通常涉及切片到目标体积的迭代配准。目标体积可以是解剖学参考，或者可以使用切片运动的当前估计在每次迭代时重建目标体积，考虑对象的所有可能视图。

Kim等人。（1999）引入了用于fMRI图像的时间序列中的切片间运动校正的地图切片到体积（MSV）方法。在这种情况下，头部运动是测量fMRI时间序列中与给定刺激相关的强度变化的主要误差来源（ Yeo et al。，2004））。MSV的目的是使用解剖学MRI体积作为参考，回顾性地将通过头部运动移位的切片重新映射到其空间正确的位置。MSV方法通过使用Nelder-Mead下坡单纯形法进行优化，通过最小化基于互信息的能量，为每个fMRI切片独立估计6-DOF刚性变换。该方法被用作切片堆栈方法的替代方法。不考虑切片方式的配准，而是假设切片的堆叠已经在它们之间进行了登记，并且忽略了多切片回波平面成像（EPI）采集序列固有的切片间运动（因为每个切片以连续的时间间隔被激发） 。MSV表现出比以前的音量更好的性能登记方法，但由于较小区域的信息支持有限（纹理区域较少，背景较多），端盖切片的估计位置参数的可靠性较低。Park等。（2004）提出使用切片到体积的联合映射（JMSV）来克服这种限制。JMSV是一种多切片配准方法，其联合估计每个切片的刚体变换，同时惩罚对象的运动轨迹中的隐含加速度- 顺序获取的切片的运动参数的突然变化。标准MSV的其他扩展包括（i）可变形注册的计算（ Kim等，2000）通过TPS 转换模型 ; （ii）通过并发迭代场校正重建来改善MSV的运动校正能力（Yeo，Fessler，Kim，2004，Yeo，Fessler，Kim，2008 ）; （iii）广泛评估MSV的激活检测性能和运动参数估计的时间滤波效果（ Yeo等，2006 ）和自旋饱和效应（Kim等，2008a ）; （iv ）通过结合关节改进低复杂性末端切片（头部扫描顶部或底部附近的切片，呈现较差信息）中的MI 匹配标准估计在同一时间序列中从成功登记的中心切片估计的图像强度的概率密度函数。

在Kim等人的基础工作之后。（1999）及其扩展（其中大多数与fMRI图像重建有关），另一个需要校正切片间运动的问题开始引起社区的注意：胎儿脑MR成像。在这种情况下，没有可用作目标体积的解剖学参考; 因此，在注册过程中使用切片的当前估计来计算参考体积。江等人。（2007a）和Rousseau等。（2006）建立了一系列新方法的基础，这些方法依赖于切片到体积配准和散乱数据插值的迭代（SDI）执行移动物体的超分辨率重建 - 特别是胎儿脑MRI-。两种方法共享一个类似的迭代切片到体积注册方案，但在SDI方法上有所不同：而Rousseau等人。（2006）使用基于高斯核的SDI，Jiang等。（2007a ）依靠一个控制点的规则网格，作为一个立方B样条函数来执行SDI。在最近的一项工作中，Gholipour和Warfield（2009）以及Gholipour等人。（2010）批评基于SDI的方法，指出这些技术都不能保证重建的收敛，至少是局部最优解决方案。因此，他们提出使用最大似然（ML）误差最小化方法，其保证重建图像的收敛以通过最速下降误差最小化来匹配运动校正切片。Gholipour等人提出了这种方法的扩展。（2011），使用基于实时传感器的跟踪（即，基于非图像的方法）来估计每个切片的初始位置，然后通过基于ML误差最小化的回顾性切片到体积配准方法来细化。

7. 验证切片到卷的注册方法

本研究中发现的一个主要问题是缺乏开放/公共基准，其中金标准注释专门用于验证切片到批量注册方法。这种类型的数据集通常可用于大多数医学图像分析问题，1可以将新方法与最新技术进行比较，从而产生更具建设性的贡献。几个切片到体积登记研究中使用的少数公共数据集之一（ Rivaz，Karimaghaloo，Fonov，Collins，2014c， Rivaz，Karimaghaloo，Collins，2014b， Rivaz，Chen，Collins，2014a， Ferrante，Paragios，2013，Pardasani，Baxter，Peters，Khan，2016 ）是Mercier等人介绍的MNI BITE（蒙特利尔神经病学研究所的肿瘤脑图像评估数据库）。（2012）。它包含几个患者的2D US，3D US和MRI脑图像，以解剖学标志的形式提供地面实况。即使该数据集用于多个研究，也不是专门设计用于验证切片到体积的配准方法，特别是在单切片方法的情况下。如Pardasani等人所述。（2016），有一点需要注意的是，这些地标是在重建的美国卷（不是独立的切片）中确定的，因此有不同的解决方法（参见第7.2.2节）必须使用它来使其适应单个切片到体积的配准验证（我们需要2D和3D图像中的同源注释）。

专门设计用于评估切片到体积配准方法的新验证数据集应包括解剖标志形式的注释，感兴趣结构的手动分割以及在2D和3D图像中映射切片到体积的金标准转换。用于基准测试的公共数据集被证明对围绕视觉问题构建社区至关重要（如用于对象类识别的Pascal VOC数据集（Everingham等，2010）或用于脑图像分割的IBSR数据集IBSR），它们肯定有助于切片到 - 体积登记是一个完善的问题。

在下文中，我们分析了用于验证本评论中考虑的方法的标准方法，讨论了切片到卷注册的优缺点。

7.1. 图像类型

有两种主要类型的图像用于验证：幻像和临床图像。模体是人造物体，可以在受控条件下扫描以模拟患者真实图像的采集。它们通常设计用于模拟人体或动物组织的某些特性，并用于校准医学成像设备的参数或用于基准测试目的。不仅是人工解剖结构（如乳房（Marami等，2011），心脏（黄等人，2009），腹部结构（杨，丁，康，朱，王，杨，丁，王，康，朱， Shen，2015， Birkfellner，Figl，Kettenbach，Hummel，Homolka，Schernthaner，Nau，Bergmann，2007），腰椎（Yan et al。，2012 ），盆腔器官（Fei等，2004）等）以及其他类型的非传统物体（如乐高积木（Xiao et al。，2016 ）甚至菠萝（Gholipour等，2011））被认为是在切片到体积配准的背景下成像的模型。此外，数字模拟的模型（如Ghostipour等人（2010）中考虑的BrainWeb（Cocosco等，1997）或Kim等人采用的着名的分析型Shepp-Logan模型（Shepp和Logan，1974）（ 2011））也被使用过。数字模拟模型的主要优点之一是，由于我们详细了解图像是如何生成的，因此我们可以为某些感兴趣的结构提供额外的信息，如分割掩模或概率图，然后可以用于验证，因为我们将见7.2节。可以考虑的其他类型的图像是临床研究。这是最常见和最有价值的案例，其中捕获真实患者的图像并用于验证注册方法。

本综述中考虑的大多数方法都使用临床图像进行验证，因为它证明了该方法在实际临床环境中应用的潜力。但是，必须指出的是，临床数据集的主要缺点之一是缺乏注释。寻找临床图像的注释比模型更难，因为我们通常需要能够手动注释它们的专家。因此，徐等人等几位作者采用了一种共同的策略。（2008） ; 黄等人。（2009） ; SanJoséEstépar等。（2009） ; Kim等人。（2011） ; Gholipour等。（2011） ; 舒尔茨等人。（2014） ; 凯恩斯等人。（2015） 将虚拟和临床数据集结合起来，努力实现两全其美：基于幻像数据的精确测量，以及使用临床数据的实际验证。

7.2. 测量切片到体积配准方法的性能

已经考虑了替代指标来量化切片到批量注册的性能。虽然其中一些测量全局属性（如刚性配准中的估计参数），但其他方法关注于局部方面（例如，特定解剖标志中的误差或注册前后图像强度方面的局部差异）。表3包括用于验证本调查所包含方法的最相关指标的摘要。在这里我们详细讨论它们。

7.2.1. 转换参数之间的距离

给予单一切片或多个切片和音量，如果变换Θ GT两个图像映射是已知的，我们可以估算之间的距离Θ GT和估计的转换。该方法主要用于验证全局线性变换（参见例如Kim等人（1999） ; Park等人（2004） ; Dalvi和Abugharbieh（2008） ; Ferrante和Paragios（2013） ; Lin等人（2013） ））其中要估计的参数数量低，每个参数的距离可以报​​道。但是，在Su等人。（2013），应用相同的策略来测量估计的变形场的准确性。在这种情况下，他们只考虑每个像素中变形场组成部分上欧氏距离的平均值，由下式给出： 哪里 是位置x中的地面实况和估计变形场的相应位移矢量，N是像素的总数，Ω是图像域。

请注意，这个策略需要事先知道确切的转换（刚性或非刚性）Θ GT绘图片与体积。在幻像和临床情景中，这种情况很少发生。为克服这一局限，在一些工作中应用了一种常见的策略（例如Kim等人（1999） ; Park等人（2004） ; Yeo等人（2004） ; SmolíkováWachowiak等人（2005） ; Yeo等人（2006） ; Birkfellner等人（2007） ; Dalvi和Abugharbieh（2008） ; Gefen等人（2008） ; Kim等人（2008a）; Yeo等人（2008） ;Elen等人。（2010） ; Gholipour等。（2010） ; Zakkaroff等。（2012） ; Ferrante和Paragios（2013年） ; 费兰特等人。（2015）; 2015）; Porchetto等。（2016））包括通过从给定3D图像的已知变换中提取任意切片来生成合成地面实况。然后扰动这些参数以初始化注册过程，并用作地面实况来计算关于估计变换的误差。另一种方法是生成青铜标准注释。在这种情况下，想法是尽可能使用更可靠的配准方法（例如，当多个切片可用时进行体积到体积的配准，或者在提供准确的解剖学界标时进行基于地标的配准）以获得变换，然后将其视为地面实况。在 Fei等人的文章中可以找到制备用于切片到体积配准的青铜标准注释的替代方法。（2002） ; 2003a）; 2004）; 2003c）; Penney等人。（2006） ; 江等人。（2009年）。

7.2.2. 基于点的注册错误

文献中经常使用的另一种常见策略是基于地标。我们的想法是注释在切片和体积图像中都可见的兴趣点，以便我们可以在注册前后测量相应点之间的距离。地面实况与登记的解剖标志之间的平均距离通常称为目标登记误差（TRE），并计算如下：
（4）
哪里 是源域和目标域中的相应地标，M是地标的数量和 是注册参数化后的估计变换 。该系数有时称为均方根误差（RMS）。如果使用基准标记而不是解剖学点，那么该度量被称为基准配准误差（FRE）。这两个概念最初都是在 Fitzpatrick等人的开创性工作中引入的。（1998）测量几何配准方法的性能，但已被注册社区采用作为一般验证度量。已经使用TRE的不同变体来验证Bao等人的切片到体积配准方法。（2005） ; 卢梭和格伦（2005年） ; Penney等人。（2006） ; Rousseau等。（2006） ; Hummel等人。（2008年）; Leung等。（2008） ; Wein等。（2008a）; 黄等人。（2009） ; Tadayyon等。（2011） ; 严等人。（2012） ; Cifor等。（2013） ; Fuerst等。（2014） ; Nir等人。（2014） ; Rivaz等人。（2014c）; 2014b）; 2014a）; 徐等人。（2014a）; 2014b）; Yavariabdi等人。（2015） ; 肖等人。（2016），包括基准和解剖标志。

基于地标的错误是注册质量的可靠指标。然而，必须注意的是，在切片到体积的配准情况下，切片太稀疏，注释这些感兴趣的点可能是非常困难的并且有时是不可能的。Pardasani等人采用了一种简单的解决方法。（2016）使MNI BITE数据集（在重建的美国体积和3D MRI图像中识别地标）适应切片到体积的配准情况：它们仅使用距专家0.3毫米范围内的美国切片 -确定了地标。这减少了可用切片的数量，但允许他们计算TRE指标。

即使没有地标，也可以采用基于点距离的替代测量。在这种情况下，在注册之前和之后将感兴趣区域内的体素的位置与目标中的对应体素进行比较。考虑到体素之间的距离的方法已经用于几种切片到体积的配准方法，如Fei等人。（2002） ; 2004）; 2003c）; 2003a）; 钱德勒等人。（2006） ; Kim等人。（2008b）; Tadayyon等。（2010） ; Kuklisova-Murgasova等。（2012） ; Fogtmann等。（2014）。然而，我们仍然需要一种方法来在两个图像中的体素之间建立对应关系，这并不总是可用的。

7.2.3. 基于细分的指标

当分割掩模可用于切片和体积图像中的某些感兴趣结构时，在注册之前和之后计算的基于分段的统计可用于验证。理性的是，在注册之前未对齐的结构应该在之后。因此，通常的策略在于从初始位置的体积中提取切片，并在注册后进行相同的切片。此时，问题减少到在两个2D图像之间计算基于分段的统计。已经考虑了基于分段的替代系数来处理切片到卷的配准验证。

Dice系数（Dice，1945）（DSC，也称为Sørensen-Dice系数或相似性指数SI）量化了两个给定的分段掩模A和B之后的重叠量。其值范围从0（表示无空间重叠）到1，表示完全重叠。该系数已被广泛应用于几种切片 - 体积配准方法，其中肝肿瘤的分割掩模（Cifor等，2013 ），脑结构（Ferrante，Paragios，2013，Ferrante，Fecamp，Paragios，2015，Kainz， Steinberger，Wein，Kuklisova-Murgasova，Malamateniou，Keraudren，Torsney-Weir，Rutherford，Aljabar，Hajnal，Rueckert，2015），前列腺（Nir等，2014 ），心脏左心室（Xu et al。，2014b）和骨盆器官（Yavariabdi等，2015） 被认为是。Brooks等人在切片 - 体积研究中使用了替代重叠测量。（2008） ; 钱德勒等人。（2008） ; Osechinskiy和Kruggel（2011a）; Museyko等人。（2014））。正如Yavariabdi等人所述。（2015），请注意，高骰子并不意味着良好的轮廓重叠，这是在注册感兴趣的结构之后的期望属性。在这种情况下，可以报​​告诸如Hausdorff距离（轮廓之间的最大距离）和轮廓平均距离（CMD）的指标（在切片到体积配准的情况下的示例可以在Sun等人（2007）中找到）; 布鲁克斯等人。（2008） ;Elen等人。（2010） ; Tadayyon等。（2010） ; 2011）; Zakkaroff等。（2012） ; Nir等人。（2014） ; Yavariabdi等人。（2015））。

使用分段掩码进行切片到体积注册验证的主要优点是它们的可用性：分割掩码形式的注释比地标或地面实况转换更频繁。此外，如果我们的目标是评估非刚性配准，估计的变形域可用于扭曲分割掩模，从而可以对可变形配准误差进行量化。然而，正如Rohlfing（2012）所讨论的，必须注意用于验证的感兴趣的结构。使用宽和非良好定位的结构分割（例如脑组织）计算的统计数据可能无法提供足够的证据来验证配准准确性。根据作者的观点，只有较小的，更局部化的感兴趣区域近似点标志，才能提供这样的证据，因为它们的重叠近似于基于点的配准误差。结合区域重叠和基于轮廓距离的系数（其提供关于配准质量的补充信息）已被建议作为减轻这种不一致性的方式（ Ferrante，Paragios，2015， Yavariabdi，Bartoli，Samir，Artigues，Canis，2015）。

7.2.4. 基于外观的指标

外观信息也可用于验证。当切片到体积配准方法是朝向执行运动校正/体积重建的中间步骤时，评估配准质量的间接方式是通过量化重建精度。在这种情况下，重建误差通过的强度差（通常是测量的均方根差异或RMSD）或信噪比（SNR）估计，并用于地面实况体积。在一些作品中考虑的另一种选择是衡量重建的锐度。的直觉的是，当未校正的运动或误差残差之间输入图像采集都存在时，平均图像将被成像的结构（的离焦运动模糊版本 Gholipour和沃菲尔德，2009年）。这种测量的主要优点之一是它不需要地面实况重建图像，因为它是直接在估计的体积上计算的。

可以使用估计和目标切片之间的简单强度差异或相关度量的另一种情况是在执行单峰切片到体积配准时。在这种情况下，SAD，SSD或CC可用于通过视觉误差量化来测量配准精度，因为切片和体积强度倾向于线性相关（参见例如Marami等人（2011）和Porchetto等人（2016））。在多模式情况下，也可以采用更复杂的度量（例如MI或NMI）或甚至针对特定模态定义的临时相似性度量（如Wein等人（2008b）使用的LC 2度量）进行验证。

最后一种策略包括量化的视觉检查，其中要求一个或多个专家在视觉上评估根据给定比例分配分数的注册质量。这种方法采用Birkfellner等人的方法。（2007） ; 波尔等人。（2007） ; Frühwald等人。（2009） ; Kim等人。（2010b）; 苏等人。（2013年）。这种策略的主要缺点是它非常耗时并且需要人为干预。但是，这种方法可以与本调查中列出的任何其他方法结合使用，因为它提供了从专家知识获得的补充信息，这很难通过客观/数学指标进行量化。

8. 讨论和未来方向

在本次调查中，我们回顾并讨论了与切片到卷注册相关的文献中的一些最重要的工作。根据不同原理对这些论文进行分类，包括匹配准则，转换模型，优化方法，切片数量，应用和验证策略。

在分析表1和表2 （其中提供了该工作的简要总结）时出现的结论之一是，本调查中讨论的大多数方法都集中在刚性配准，使用标志性匹配标准和连续优化技术。因此，值得一提的是，在处理切片到卷的注册时，为什么这种趋势如此清晰和明显。大多数作品估计刚性变换的事实可能与两个主要原因有关。第一个问题与应用程序角度的简单要求有关。如第3.1节所述这种基本的变换模型足以表达简单的切片到体积映射，因为它可以处理平面内和平面外的平移和旋转。在不继承图像失真的临床场景中- 类似于切片间运动校正的基本情况 - 这种类型的模型可能就足够了。在更复杂的情况下，如图像引导手术事实上，由于在手术期间组织移位塌陷和呼吸/心脏运动，术中图像相对于术前体积变形。此外，不仅在术中病例中而且在非介入成像期间，许多身体器官（例如心脏，肺或舌）具有自然弹性运动。即便如此，刚性模型仍然在文献中占主导地位。这与我们发现的第二个原因有关：医生之间对非刚性转变的普遍不信任。从医学的角度来看，有时候提供可靠但近似的线索比不切实际的解决方案更可取。非刚性和弹性模型可能导致从几何角度来看是正确的解决方案，但它们在解剖学上没有意义。现实的进一步研究反映物理组织特性的变形模型肯定会提高我们估计的准确性，并在医学界内对我们的方法建立信任。

---

表1。比较表：它包括本调查中引用的那些论文的选择，这些论文发表在与医学图像分析相关的最重要的期刊和会议上。它们根据本工作中使用的分类法进行分类，即匹配标准（第2节），转换模型（第3节），优化方法（第4节）和切片数（第5节）。

---

标准匹配标准（基于替代相似性度量）被证明是描述解决方案质量的偏好选择。如果我们认为缺少与切片到体积配准自然相关的图像支持，并且在操作中，实时和低质量模态中经常出现的图像噪声（通常对应于输入的2D图像），这在某种程度上是出乎意料的。这使得解释图像相似性变得困难完全基于强度信息。从这个意义上讲，我们确定了两种有助于缓解这种局限的策略。第一个是使用（如果可能）多个切片而不是单个切片。通过这种方式，可以通过增加图像支持来提高匹配质量，同时与标准3D-3D 配准方法相比保持较低的计算复杂度（如第5节所述，此策略在处理运动校正时特别有用）影像重建）。第二个是将标志性匹配标准与几何或基于传感器的策略相结合（如第2.4节所述）。虽然最后一个对图像变化和不连续性更加稳健，但前者有助于产生更多准确的方案。当与基于传感器的方法结合使用时（例如，在传感器可以连接到成像设备或手术工具的图像引导干预中），标志性相似性测量显示有助于改进初始刚性估计并提供更精确的结果。

在优化策略方面，即使计算机视觉和医学成像的社区在过去十年中开始大量采用离散方法，但在片到体积注册的特定情况下也没有发生同样的情况。虽然大多数已发表的方法采用连续优化器（基于梯度和非梯度），但最近发表的一些作品开始从离散的角度来设想这个问题。连续方法已经很好地建立并且显示出足够好以处理基本的切片到卷的配准问题。然而，在其他生物医学图像分析问题中获得的结果通过离散方法建模（Paragios等人，2016 ）表明这些策略具有很大的潜力，仍有待用于切片到体积的注册。在要估计的参数数量太多的情况下（例如，采用密集变形场作为变换模型的可变形配准），能量函数不是凸的（例如多模态图像配准）或者搜索空间非常宽（例如差的初始化），离散方法可能会有所作为。

计算机视觉和医学成像的研究团体已经做出了重大努力来开发更准确的切片到体积的配准策略，主要考虑这个问题的几何方面。然而，我们在21世纪目睹的大量图像数据产生，再加上人工智能的最新进展，特别是深度卷积网络（ LeCun等，2015），开启了设想切片的可能性。 - 在完全不同的范例内注册体积图像。使用大量数据训练的深度卷积网络在其他基本视觉任务（如图像）中优于所有现有的最先进策略分割（Long et al。，2015）和物体检测（ Szegedy等，2013）。最近一些关于使用CNN的图像配准和矢量流估计的工作（不仅有相似性度量，还有实际注册过程从实例中学习）表明这些问题不是例外。在这种范例下的切片到体积图像配准的制定刚刚开始被探索并且仍然在很大程度上未被探索。从这个意义上说，已经取得的有希望的结果表明转向基于学习的切片到体积的注册范例可能会导致更快，更准确的预测，从而在该领域打开新的大门。