【论文汇总】CVPR2020语义分割&医学图像分割paper汇总
语义分割&医学图像分割 segmentation@CVPR2020
CVPR2020语义分割和医学图像分割文章总结
文章目录
- 语义分割&医学图像分割 segmentation@CVPR2020
- 前言
- 语义分割
-
- 1.CascadePSP: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and Local Refinement
- 2.Context Prior for Scene Segmentation
- 3.Strip Pooling: Rethinking Spatial Pooling for Scene Parsing
- 4.Learning Dynamic Routing for Semantic Segmentation
- 5.FDA: Fourier Domain Adaptation for Semantic Segmentation
- 6.Super-BPD: Super Boundary-to-Pixel Direction for Fast Image Segmentation
- 7.Single-Stage Semantic Segmentation from Image Labels
- 8.Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision
- 9.Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
- 10.Temporally Distributed Networks for Fast Video Segmentation
- 11.MSeg: A Composite Dataset for Multi-domain Semantic Segmentation
- 医学图像分割
-
- 1.Synthetic Learning: Learn From Distributed Asynchronized Discriminator GAN Without Sharing Medical Image Data
- 2.Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary
- 3.What can be transferred: Unsupervised domain adaptation for endoscopic lesions segmentation
- 4.Organ at Risk Segmentation for Head and Neck Cancer using Stratified Learning and Neural Architecture Search
- 5.Iteratively-Refined Interactive 3D Medical Image Segmentation with Multi-Agent Reinforcement Learning
- 6.Deep distance transform for tubular structure segmentation in ct scans
- 7.LT-Net: Label Transfer by Learning Reversible Voxel-wise Correspondence for One-shot Medical Image Segmentation
- 8.CPR-GCN: Conditional Partial-Residual Graph Convolutional Network in Automated Anatomical Labeling of Coronary Arteries
- 9.C2FNAS: Coarse-to-Fine Neural Architecture Search for 3D Medical Image Segmentation
前言
文章分为两个部分，分别为CVPR语义分割相关文章，和医学图像分割相关的文章，包括文章的title，code，abstract和methods。
语义分割
1.CascadePSP: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and Local Refinement
- code：https://github.com/hkchengrex/CascadePSP
我们提出了一种无需使用任何高分辨率训练数据即可解决高分辨率分割问题的新颖方法。CascadePSP网络会在可能的情况下完善和纠正局部边界。尽管我们的网络使用低分辨率分割数据进行了训练，但我们的方法适用于任何分辨率，即使对于大于4K的高分辨率图像也是如此。
2.Context Prior for Scene Segmentation
- code：https://git.io/ContextPrior
在这项工作中，我们直接监督特征聚合以清楚地区分类内和类间上下文。具体来说，我们在亲和度损失的监督下开发了上下文先验。给定一个输入图像和相应的基本事实，“亲和力损失”会构建一个理想的亲和力图来监督上下文先验的学习。所学习的上下文先验提取属于同一类别的像素，而相反的先验则专注于不同类别的像素。嵌入到传统的深CNN中，拟议的上下文先行层可以有选择地捕获类内和类间上下文相关性，从而实现可靠的特征表示。
3.Strip Pooling: Rethinking Spatial Pooling for Scene Parsing
- code：https://github.com/Andrew-Qibin/SPNet
事实证明，空间池化在捕获用于场景分析等像素级预测任务的远程上下文信息方面非常有效。在本文中，除了通常具有规则形状N×N的常规空间池化之外，我们通过引入一种称为长条池化的新池化策略来重新考虑空间池化的公式，该策略考虑了一个长而窄的核，即1×N或N×1。基于条带化池，我们进一步研究空间池化体系结构的设计，方法是：1）引入一个新的条带池化模块，该模块使骨干网能够有效地建模远程依赖关系； 2）提出一种具有多种空间池化的新颖构建块3）系统地比较建议的条带池和常规空间池技术的性能。两种新颖的基于池的设计都是轻量级的，并且可以在现有场景解析网络中用作有效的即插即用模块。
4.Learning Dynamic Routing for Semantic Segmentation
- code：https://github.com/yanwei-li/DynamicRouting
最近，许多手工制作和搜索的网络已被用于语义分割。但是，以前的工作打算在预定义的静态体系结构（例如FCN，U-Net和DeepLab系列）中处理各种规模的输入。本文研究了一种在概念上减轻语义表示中尺度差异的新方法，称为动态路由。所提出的框架生成依赖于数据的路由，以适应每个图像的比例分布。为此，提出了一种称为“软条件门”的可微分门控功能，以动态选择比例变换路径。另外，可以通过给选通功能赋予预算约束，以端对端的方式进一步降低计算成本。我们进一步放宽了网络级路由空间，以在每个转发中支持多路径传播和跳过连接，从而带来了可观的网络容量。
|
|
5.FDA: Fourier Domain Adaptation for Semantic Segmentation
- code：https://github.com/YanchaoYang/FDA
一种用于无监督域自适应的方法，该方法通过交换一个目标的低频频谱和另一个目标的低频频谱来减少源分布和目标分布之间的差异。在语义分割中说明了该方法，其中密集注释的图像在一个域（例如，合成数据）中足够多，但在另一个域（例如，真实图像）中却很难获得。
6.Super-BPD: Super Boundary-to-Pixel Direction for Fast Image Segmentation
- code：https://github.com/JianqiangWan/Super-BPD
提出了一种基于新型超边界像素方向（super-BPD）和基于super-BPD的定制化分割算法的快速图像分割方法。准确地说，我们将每个像素上的BPD定义为从其最近边界指向像素的二维单位向量。在BPD中，来自不同区域的附近像素具有彼此相反的方向，并且同一区域中的相邻像素具有彼此指向的方向（即，在中间点附近）。我们利用这种特性将图像划分为超级BPD，这是新颖的信息性超像素，具有鲁棒的方向相似性，可快速分组为分割区域。
7.Single-Stage Semantic Segmentation from Image Labels
- code：https://github.com/visinf/1-stage-wseg
在这项工作中，我们首先定义了弱监督方法的三个理想属性：局部一致性，语义保真度和完整性。使用这些属性作为准则，我们然后开发基于分段的网络模型和自我监督的训练方案，以在单个阶段中训练来自图像级注释的语义蒙版。
8.Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision
- code：https://github.com/feipan664/IntraDA
从图形引擎生成的自动注释数据用于训练分割模型。但是，从合成数据训练的模型很难转换为真实图像。为了解决这个问题，以前的工作已经考虑将模型从源数据直接适配到未标记的目标数据（以减少域间差距）。在这项工作中，我们提出了两步自监督域自适应方法，以最小化域间和域内的间隙。首先，我们进行模型的域间适应，从这种适应中，我们使用基于熵的排名函数将目标域分为容易和困难的分裂。最后，为了减少域内间隙，我们建议采用从容易子域到硬子域的自监督自适应技术。
9.Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
- code：https://github.com/YudeWang/SEAM
在本文中，我们提出了一种自监督的等方注意机制（SEAM），以发现更多的监督并缩小差距。我们的方法基于这样的观察：在完全监督的语义分割中，等方差是一个隐式约束，在数据扩充过程中，其像素级标签的空间变换与输入图像的空间变换相同。但是，这种约束在通过图像级监督训练的CAM上丢失了。因此，我们建议对来自各种变换图像的预测CAM进行一致性正则化，以为网络学习提供自我监督。此外，我们提出了一种像素相关模块（PCM），该模块利用上下文外观信息并通过其相似邻居细化当前像素的预测，从而进一步提高CAM的一致性。
10.Temporally Distributed Networks for Fast Video Segmentation
- code：https://github.com/feinanshan/TDNet
我们介绍了TDNet，这是一个为快速，准确地进行视频语义分段而设计的时间分布式网络。我们观察到，可以通过组合从几个较浅的子网提取的特征来近似估算从深CNN的某个高级层提取的特征。利用视频中固有的时间连续性，我们将这些子网分布在顺序的帧上。因此，在每个时间步骤中，我们只需要执行轻量级计算即可提取子特征来自单个子网的组。然后，通过应用新颖的注意力传播模块来补偿用于分割的全部特征，该模块可以补偿帧之间的几何变形。还引入了一组知识蒸馏损失，以进一步提高完整和子功能级别的表示能力。
11.MSeg: A Composite Dataset for Multi-domain Semantic Segmentation
- code：https://github.com/mseg-dataset/mseg-api
我们提出了MSeg，这是一个组合数据集，可以统一来自不同领域的语义细分数据集。由于分类法和注释操作不一致，构成数据集的简单合并会产生较差的性能。我们通过重新标记超过80,000张图像中的220,000个对象蒙版来协调分类法，并使像素级注释对齐。生成的复合数据集可以训练单个语义细分模型，该模型可以跨域有效运行，并可以泛化为训练期间未看到的数据集。
医学图像分割
1.Synthetic Learning: Learn From Distributed Asynchronized Discriminator GAN Without Sharing Medical Image Data
- code：https://github.com/tommy-qichang/AsynDGAN
- blog：https://blog.csdn.net/flj19951219/article/details/107380582
在本文中，我们提出了一种数据保护和通信有效的分布式GAN学习框架，称为分布式异步鉴别器GAN（AsynDGAN）。我们提出的框架旨在训练中央生成器从分布式鉴别器中学习，并仅使用生成的合成图像来训练分割模型。
2.Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary
我们提出了一种新颖的结构边界保留分割框架。为此，提出了边界关键点选择算法。在提出的算法中，估计目标对象的结构边界上的关键点。然后，将具有边界关键点图的边界保留块（BPB）用于预测目标对象的结构边界。此外，为了将专家知识嵌入全自动分割中，我们提出了一种新颖的形状边界感知评估器（SBE），其具有专家指示的地面真实结构信息。所提出的SBE可以基于结构边界关键点向分割网络提供反馈。
3.What can be transferred: Unsupervised domain adaptation for endoscopic lesions segmentation
为了应对这些挑战，我们开发了一种新的无监督语义转移模型，其中包括用于内窥镜病变分割的两个互补模块（即TD和TF），这些模块可以替代地确定在何处以及如何探索标记源病灶数据集之间的可转移领域不变知识（例如， 胃镜）和未标记的目标疾病数据集（例如，肠镜）。具体来说，TD专注于通过残留可感知转移的瓶颈在哪里翻译医疗病变的可转移视觉信息，而忽略了不可转移的视觉特征位置。此外，TF强调了如何增强各种病变的可转移语义特征并自动忽略不可转移的表示形式，从而探索了领域不变的知识，从而提高了TD的性能。最后，对医学内窥镜数据集和一些非医学公共数据集的理论分析和广泛实验很好地证明了我们提出的模型的优越性。
4.Organ at Risk Segmentation for Head and Neck Cancer using Stratified Learning and Neural Architecture Search
在这里我们引入了分层的风险器官分割（SOARS），这种方法将OAR分为锚，中级和小型（S＆H）类别。 SOARS跨两个维度分层。第一个方面是每个OAR类别使用不同的处理框架。特别是在临床实践的启发下，锚定OAR用于指导中级和S＆H类别。第二个方面是，不同的网络体系结构用于管理不同OAR之间明显的对比度，大小和解剖结构差异。我们使用差分神经体系结构搜索（NAS），允许网络在2D，3D或伪3D卷积中进行选择。
5.Iteratively-Refined Interactive 3D Medical Image Segmentation with Multi-Agent Reinforcement Learning
我们在这里提出将交互式图像分割的动态过程建模为马尔可夫决策过程（MDP），并通过强化学习（RL）进行求解。不幸的是，由于探索空间大，使用单代理RL进行体素明智的预测很困难。为了将探索空间减小到易于处理的大小，我们将每个体素视为具有共享体素级行为策略的代理，以便可以通过多代理强化学习来解决它。这种多主体模型的另一个优点是可以捕获体素之间的依存关系，以进行细分任务。同时，为了丰富以前的分割信息，我们在MDP的状态空间中保留了预测不确定性，并导出了一个调整作用空间，从而可以进行更精确，更精细的分割。另外，为了提高勘探效率，我们设计了一个基于交叉熵的相对奖励，以在约束方向上更新策略。
6.Deep distance transform for tubular structure segmentation in ct scans
医学图像中的管状结构分割。我们提出了一种几何感知的管状结构分割方法，即深距离变换（DDT），该方法结合了用于骨架化的经典距离变换和现代深度分割网络的直觉。 DDT首先学习一种多任务网络，以预测管状结构和距离图的分割蒙版。图中的每个值表示从每个管状结构体素到管状结构表面的距离。然后，通过利用从距离图重新构造的形状来细化分割蒙版。我们将DDT应用于六个医学图像数据集。
7.LT-Net: Label Transfer by Learning Reversible Voxel-wise Correspondence for One-shot Medical Image Segmentation
主要思想是将单次分割视为经典的基于图集的分割问题，在该问题中可以学习从图集到未标记数据的体素方向对应关系。随后，可以将图集的分割标签与学习到的对应关系一起传输到未标记的数据。但是，由于通常无法获得图像之间的地面真理对应关系，因此必须对学习系统进行良好的监督，以避免模式崩溃和收敛失败。为了克服这个困难，我们诉诸于前后一致的方法，这种方法在对应问题中得到了广泛的应用，并且还学习了从扭曲图集到原始图集的后向对应关系。这种周期对应学习设计可实现各种额外的，基于周期一致性的监督信号，以使训练过程稳定，同时还可以提高性能。
8.CPR-GCN: Conditional Partial-Residual Graph Convolutional Network in Automated Anatomical Labeling of Coronary Arteries
由于图神经网络在结构化数据中的广泛应用，本文提出了一种条件部分残差图卷积网络（CPR-GCN），该模型将位置和CT图像都考虑在内，因为CT图像包含大量信息例如分支大小和跨度方向。 CPR-GCN中包含两个主要部分，即部分残余GCN和条件提取器。条件提取器是包含3D CNN和LSTM的混合模型，可以沿着分支提取3D空间图像特征。在技术方面，部分残差GCN将分支的位置特征（以3D空间图像特征为条件）预测每个分支的标签。在数学方面，我们的方法将偏微分方程（PDE）扭曲到图形建模中。
9.C2FNAS: Coarse-to-Fine Neural Architecture Search for 3D Medical Image Segmentation
在本文中，我们提出了一种从粗到细的神经体系结构搜索（C2FNAS），可以从头开始自动搜索3D分割网络，而不会出现网络大小或输入大小不一致的情况。具体来说，我们将搜索过程分为两个阶段：1）粗略阶段，其中搜索网络的宏级别拓扑，即每个卷积模块如何连接到其他模块； 2）好的阶段，我们在微型级别，用于根据先前搜索的宏级别拓扑在每个单元中进行操作。从粗到精的方式将搜索过程分为两个连续的阶段，同时解决了不一致的问题。
