基于GAN的图像配准汇总
基于GAN的图像配准汇总
- 1、 Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration
-
- 1.1、 简介
- 1.2、、记号
- 1.3、网络结构
- 2、Adversarial learning for mono- or multi-modal registration
-
- 2.1、相关工作
- 2.2、网络结构
1、 Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration
（基于深度学习的配准中用相似性对抗网络来评估图像的对齐）
1.1、 简介
一般的无监督配准模型是需要指定相似性指标，然后通过神经网络来最大化两幅图像之间的相似性，从而达到配准的目的。常用的相似性指标有平方差（SSD）和互相关（CC）等。但是这些相似性指标不是对所有数据集都适用的。
本文提出了一种基于生成对抗网络（GAN）的无监督配准模型，在训练时不需要 ground-truth，也不需要指定图像之间的相似性度量指标。
上图是该模型与其他模型的配准结果对比示意图，对比 黄色方框中的区域可以看出，本文提出的模型输出结果更接近于 template image。
1.2、、记号
本文中 fixed image 被称为 template image，记作 T T T；moving image 被称为 subject image，记作 S S S；形变场 ϕ \phi ϕ就是使得 S S S和 T T T 最相似的形变场，可表示为：
ϕ = a r g ϕ m i n M ( S ∘ ϕ , T ) + R e g ( ϕ ) \phi = arg_{\phi} minM(S \circ \phi,T) + Reg(\phi) ϕ=argϕminM(S∘ϕ,T)+Reg(ϕ)
其中 S ∘ ϕ S \circ \phi S∘ϕ表示形变场作用在 S S S 上生成扭曲后的图像 M ( S ∘ ϕ , T ) M(S\circ \phi, T) M(S∘ϕ,T) 表示两幅图像的差异性， R e g ( ϕ ) Reg(\phi) Reg(ϕ)是正则项，表示形变场 ϕ \phi ϕ的平滑性。
在该模型中，生成器是一个配准网络 R R R，它用来预测一个形变场 ϕ \phi ϕ；判别器是一个判别网络 D D D，它用来判断两幅图像之间的相似性概率 p p p， p ∈ [ 0 , 1 ] p \in [0,1] p∈[0,1]。
1.3、网络结构
该网络模型由三部分组成——配准网络、变形转换层和判别网络。
1. 配准网络
采用的是类似于 U-Net 的网络结构，使用三维的 patch 作为输入，图像对 ( S , T ) (S,T) (S,T) 通过配准网络可以得到一个位移向量场（形变场） ϕ \phi ϕ。
2. 变形转换层
根据配准网络预测出的形变场 ϕ \phi ϕ，对图像 S S S做变换，得到扭曲后的图像 S ∘ ϕ S \circ \phi S∘ϕ。
3. 判别网络
判别网络用来判别输入的两个图像块是否相似，并输出一个相似性概率 p p p。
上图是判别网络的结构示意图，每个卷积层后面跟着一个 ReLU 激活函数，并且卷积采用 0 填充的方式。
上图是整个网络的结构示意图。如上图所示，一个变形转换层起到了连接配准网络和判别网络的作用，它可以把配准网络产生的形变场 ϕ \phi ϕ 和图像 S S S 作为输入，得到根据形变场扭曲后的图像 S ∘ ϕ S\circ\phi S∘ϕ，再将扭曲后的图像和图像 T T T输入到配准网络。输入时，不是输入整幅图像，而是输入大小为 64 × 64 × 64 64\times64\times64 64×64×64 的图像块（patch），并得到一个大小为 24 × 24 × 24 24\times24\times24 24×24×24 的形变场。
参考：【论文笔记】基于生成对抗网络（GAN）的无监督医学图像配准模型
2、Adversarial learning for mono- or multi-modal registration
本文是论文《Adversarial learning for mono- or multi-modal registration》的阅读笔记，是范敬凡老师的工作，是文章《Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration》中工作的延续。关于后一篇文章，可以查看我的博客。
文章提出了一个基于GAN（生成对抗网络）的无监督配准模型，需要任何ground-truth形变场，也不需要指定相似性度量标准。
2.1、相关工作
配准算法是来获取一个可以配准图像的空间变换，空间变换通常包括线性变换（平移、旋转、缩放、shearing）和非线性变换（体素到体素的关系）。配准问题可以表示为一个获取使得图像不相似性最小的形变场 ϕ ∗ \phi^* ϕ∗ ，表示为下式：
传统的医学图片配准方法通常是高维的数学优化，所以很耗时间。基于深度学习的有监督配准方法多聚焦于预测体素到体素的映射，即密集形变场（dense deformation fields），但是它们效果又被ground-truth形变场所限制。而无监督的配准方法旨在通过最大化图像之间的相似度来学习一个形变场，这里的图像相似度通常采用SSD（平方误差和）、CC（互相关）等，但是很难决定在不同的配准问题中采取哪种特定的相似性度量才会达到最好效果。无监督的方法另一个优点是没有有监督信息，所以节省了内存/显存，进一步同样的显存可以容纳更大的图像，使得大尺度的无标签图像的配准变成可能。
2.2、网络结构
该模型实现了基于patch和基于图像的单模和多模3D图像的配准，单模图像选用的是脑部MR图像，多模选用的是骨盆的MR图像和CT图像。文章的贡献如下：
- 与传统的配准方法相比，该方法更鲁棒，更快，并且是端到端的；
- 与有监督配准方法相比，该方法不需要ground-truth形变场；
- 该方法可以自动学习图像之间的相似性度量，而不需要任何先验假设；
- 可以同时处理单模和多模配准问题。
文章提出的基于GAN的无监督配准模型包括一个配准网络（生成器）、一个判别器和空间变换网络。下图是网络的整体结构示意图。
参考：【论文笔记】ASNet：基于生成对抗网络（GAN）的无监督单模和多模配准网络（范敬凡老师）