[深度学习从入门到女装]Robust Multi-modal MR Image Synthesis

论文地址:Robust Multi-modal MR Image Synthesis

 

这是MICCAI2017上一篇使用多模态MRI进行合成的论文

论文有两个创新点,一个是使用多个模态MRI进行另一个模态的合成,还有就是对于缺失和未对齐的数据也可以用于合成

 

[深度学习从入门到女装]Robust Multi-modal MR Image Synthesis_第1张图片

整个思路如上,

Encoders:对于多模态的输入,先使用f转换为多模态的隐变量z,

Alignment:随后使用这多模态的隐变量使用spatial transformer进行对齐,也就是使用Z_{2}...Z_{n}分别与Z_{1}作为spatial transformer的输入,将Z_{2}...Z_{n}Z_{1}分别对齐,得到Z_{1}^*...Z_{n}^*,其中Z_{1}^*=Z_{1}

Fusion:随后对Z_{1}^*...Z_{n}^*使用voxel-wise max进行融合成为Z_{\alpha }

Decoder:使用decoder网络将Z_{\alpha }恢复为最终结果

[深度学习从入门到女装]Robust Multi-modal MR Image Synthesis_第2张图片

 

loss:

其中MAE=mean absolute error,MVV=mean voxel-wise variance

你可能感兴趣的:(深度学习)