【医学图像】研究方向笔记整理

今天是2022年12月1日，距离下一次汇报还有19天，要在下一次汇报前确定自己的研究方向，故写下这篇博客记录一下，希望今后的学习过程都能养成在这上面记录的习惯。

本文内容：记录看到的几篇公众号分享内容

1. U-Net及相关变种

综述文献：Medical Image segmentation review: The success of U-Net
（这是一篇对Unet模型在医学图像应用上的整体回顾，并对主流模型进行了分类整理）

图像分割任务分为两类：语义分割和实例分割

• 语义分割：像素级的分类，将图像中所有像素划分为相应的类别
• 实例分割：也需要基于语义分割识别同一类别中的不同对象。

常见的医学成像方式：x射线、正电子发射断层扫描(PET)、计算机断层扫描(CT)、磁共振成像(MRI)和超声(US)

U-Net网络由两部分组成。第一部分是收缩路径，使用由几个卷积块组成的下采样模块提取语义和上下文特征。在第二部分中，扩展路径应用一组具有上采样操作的卷积块，在降低特征维数的同时，逐步提高特征图的空间分辨率，通常提高两倍，从而产生按像素划分的分类分数。U-Net最重要的部分是跳跃连接，它将收缩路径中每个阶段的输出复制到扩展路径中相应的阶段。这种新颖的设计沿着网络传播必要的高分辨率上下文信息，这鼓励网络在重复使用低级别表示和高上下文表示的同时进行精确定位。自2015年以来，这种新结构成为医学图像分割领域的骨干，并派生了该模型的几个变体，以推进基于它的最先进技术

文章将UNET分为以下几类：

1. Skip Connection Enhancements
2. Backbone Design Enhancements
3. Bottleneck Enhancements
4. Transformers
5. Rich Representation Enhancements
6. Probabilistic Design

2. 图神经网络在医学图像上的应用

https://mp.weixin.qq.com/s/DRiM8fIKfIYptBlONx3RAg
图像分割因为是pixel-level的分类，CNN明显是更适合的，上面的一些工作也可以看出，用GNN做分割或重建还是一些辅助性的或对精度要求不那么高的场景，实际的实验也发现，GNN很难得到非常精确边缘，只能得到大致的轮廓。
相比而言，分类问题会更适合GNN发挥所长，特别是存在多模态输入的时候，graph对于关系的建模和GNN的学习能力会起到很好的作用。

医学图像半监督分割

图像医学标注需要专业只是和临床经验，使得大量获得标准数据变得困难和昂贵，如何利用少量标准数据和大量未标注数据来开发模型进行快速迭代变得尤为重要。
相关方法被提出：半监督学习、自监督学习、无监督学习、对比学习、主动学习、人在回路等。
第一，医学图像半监督分割任务也已经变得非常卷了，基于排列组合的方法越来越难说服审稿人了，或许融入一些领域知识或者是数据特性的方法更容易获得审稿人的青睐。
第二，不要错过每一篇计算机视觉领域顶会的相关文章，或许其中一篇就能给您启发，助您做出有意思的工作。
第三，多去跑一跑已有方法的代码，不管是在公开数据集和私有数据集上，然后分析实验结果，看看不同方法有没有差异或者差异是什么，我觉得医学图像由于数据特性可能不同的数据适合不同的方法。
第四，或许可以讲半监督学习和域适应或者是域泛化结合起来，进一步降低数据标注和提高泛化性。

参考：
https://mp.weixin.qq.com/s/C5UgDWzgffbEY3C4xdSgkw