Translating and Segmenting Multi-modal Medical Volumes with Cycle- and Shape-Consistency GAN(简介)

这篇论文提出了医学volume-to-volume的转换,包括对抗性、循环一致性和形状一致性损失,以及双模态分割。

这篇论文主要用到CycleGAN。

一、本论文提出的方法

Translating and Segmenting Multi-modal Medical Volumes with Cycle- and Shape-Consistency GAN(简介)_第1张图片
上图描述了该结构的两个部分:生成器部分和分割器部分(判别器部分没有特别之处,所以没介绍)

1. 生成器部分:

两个生成器,采用U-Net结构,使用步长为2、核为3×3×3的卷积进行3次下采样,上采样与下采样对称,且对每个分辨率使用两个连续的 3×3×3 卷积。将反卷积替换为步长为2的nearest upsampling,然后是一个3×3×3的卷积来实现上采样和通道道变化。
生成器用于学习域A和B之间的交叉域迁移,该学习过程由循环一致性loss、判别loss和形状一致性loss进行监督。

2.分割器部分:

两个分割器,采用U-Net结构,但没有任何归一化层,总共3次对称的步长为2的下采样(max-pooling)和上采样(nearest upsampling),对于每个分辨率使用两个连续的 3×3×3 卷积。
分割器由真实数据和生成器用该真实数据生成的合成数据进行训练。

3. 判别器部分:

二、非成对volume-to-volume转换存在的问题

Translating and Segmenting Multi-modal Medical Volumes with Cycle- and Shape-Consistency GAN(简介)_第2张图片

三、该结构用到的Loss

Translating and Segmenting Multi-modal Medical Volumes with Cycle- and Shape-Consistency GAN(简介)_第3张图片
原文连接

你可能感兴趣的:(生成对抗网络)