论文阅读笔记：Multimodal Self-Supervised Learning for Medical Image Analysis

来源	arxiv
标题	Multimodal Self-Supervised Learning for Medical Image Analysis
作者单位	德国波茨坦大学Hasso Plattner研究所
方法简介	关键词：自监督学习，图像拼接（Jigsaw puzzle），名义任务（pretext），下游任务（downstream  task），多模态图像   方法本质：自监督学习算法中的图像拼接算法。该算法将一张图像切成大小均匀的patch并打乱顺序，训练网络将打乱后的patch拼成原图像的样子，类似解决拼图问题。训练网络解决拼图问题，可以使网络自监督地学习到图像的深层特征，从而提升网络在下游任务中（分割、分类等）的表现。   本研究创新点：将图像拼接算法运用到医学图像中；对多模态图像使用了将图像拼接算法。
试验数据和主要结果	在两个数据集上进行实验：the BraTS and the Prostate semantic segmentation datasets。   共三个任务：针对BraTS数据集有两个任务，分割脑肿瘤的三个区域和生存天数预测；针对Prostate数据集是分割前列腺的中央带和外周带。即两个分割任务，一个回归任务。   以上的任务只是该自监督算法的下游任务，目的是验证本研究提出的自监督算法的有效性。   主要结果：在三个任务上，加入本研究提出的自监督算法后，网络的性能都得到了提升。将多模态图像进行混合打乱，比打乱单模态图像，提升更大。
研究借鉴意义	1. 本研究主要是提出了一种自监督算法，针对小数据集，或者标注量较少的数据集，可以提升网络分割、分类性能。   2. 即使数据量足够大，也可以通过这种自监督方式，对网络进行预训练。然后用标注好的图像进行微调。   3. 除了本文使用的图像拼接（Jigsaw puzzle）这种自监督方式外，自然图像中常用的自监督方式还有：图片旋转（Rotation），图像着色（Image Colorization），图像修复（Image inpainting），可以尝试将这几种方法与多模态医学图像相结合进行研究。