【论文汇总】 ECCV 2020 语义分割paper汇总
语义分割 segmentation paper@ECCV 2020
ECCV 2020语义分割文章总结，文章下载链接。
文章目录
- 语义分割 segmentation paper@ECCV 2020
- 前言
- 边缘语义分割
-
- 1.JSENet: Joint Semantic Segmentation and Edge Detection Network for 3D Point Clouds
- 2.Improving Semantic Segmentation via Decoupled Body and Edge Supervision
- 弱监督语义分割
-
- 3.Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation
- 4.Splitting vs. Merging: Mining Object Regions with Discrepancy and Interp Loss for Weakly Supervised Semantic Segmentation
- 5.Weakly Supervised Semantic Segmentation with Boundary Exploration
- 6.Employing Multi-Estimations for Weakly-Supervised Semantic Segmentation
- 7.Box2Seg: Attention Weighted Loss and Discriminative Feature Learning for Weakly Supervised Segmentation
- 8.Regularized Loss for Weakly Supervised Single Class Semantic Segmentation
- 半监督语义分割
-
- 9.Negative Pseudo Labeling using Class Proportion for Semantic Segmentation in Pathology
- 10.Semi-supervised Semantic Segmentation via Strong-weak Dual-branch Network
- 少样本语义分割
-
- 11.Prototype Mixture Models for Few-shot Semantic Segmentation
- 12.Part-aware Prototype Network for Few-shot Semantic Segmentation
- 13.Few-Shot Semantic Segmentation with Democratic Attention Networks
- 3D语义分割
-
- 14.Image-to-Voxel Model Translation for 3D Scene Reconstruction and Segmentation
- 15.Virtual Multi-view Fusion for 3D Semantic Segmentation
- 16.Efficient Outdoor 3D Point Cloud Semantic Segmentation for Critical Road Objects and Distributed Contexts
- 17.Deep FusionNet for Point Cloud Semantic Segmentation
- 跨域语义分割
-
- 18.Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation
- 域自适应语义分割
-
- 19.Domain Adaptive Semantic Segmentation Using Weak Labels
- 20.Unsupervised Domain Adaptation for Semantic Segmentation of NIR Images through Generative Latent Search
- 21.Content-Consistent Matching for Domain Adaptive Semantic Segmentation
- 22.Contextual-Relation Consistent Domain Adaptation for Semantic Segmentation
- 23.Label-Driven Reconstruction for Domain Adaptation in Semantic Segmentation
- 24.Learning from Scale-Invariant Examples for Domain Adaptation in Semantic Segmentation
- 攻击策略 异常检测 信息泄露
-
- 25.Synthesize then Compare: Detecting Failures and Anomalies for Semantic Segmentation
- 26.Indirect Local Attacks for Context-aware Semantic Segmentation Networks
- 27.Segmentations-Leak: Membership Inference Attacks and Defenses in Semantic Image Segmentation
- 28.Increasing the Robustness of Semantic Segmentation Models with Painting-by-Numbers
- 语义分割
-
- 29.Object-Contextual Representations for Semantic Segmentation
- 30.The Semantic Mutex Watershed for Efficient Bottom-Up Semantic Instance Segmentation
- 31.Intra-class Feature Variation Distillation for Semantic Segmentation
- 32.GMNet: Graph Matching Network for Large Scale Part Semantic Segmentation in the Wild
- 33.Class-wise Dynamic Graph Convolution for Semantic Segmentation
- 34.Tensor Low-Rank Reconstruction for Semantic Segmentation
- 35.SideInfNet: A Deep Neural Network for Semi-Automatic Semantic Segmentation with Side Information
- 36.Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation
- 37.Attend and Segment: Attention Guided Active Semantic Segmentation
- 38.Learning to Predict Context-adaptive Convolution for Semantic Segmentation
- 39.EfficientFCN: Holistically-guided Decoding for Semantic Segmentation
- 40.Document Structure Extraction using Prior based High Resolution Hierarchical Semantic Segmentation
- 41.SNE-RoadSeg: Incorporating Surface Normal Information into Semantic Segmentation for Accurate Freespace Detection
前言
文章汇总了ECCV 2020语义分割相关文章，包括文章的title，code，abstract和methods。汇总文章下载链接。
边缘语义分割
1.JSENet: Joint Semantic Segmentation and Edge Detection Network for 3D Point Clouds
- code：https://github.com/hzykent/JSENet
在本文中，我们首次解决了3D语义边缘检测任务，并提出了一个新的两流全卷积网络，该网络可以共同执行语义分割和语义边缘检测两项任务。特别是，我们设计了一个联合修饰模块，该模块显式地连接区域信息和边缘信息以改善两个任务的性能。此外，我们提出了一种新颖的损失函数，该函数鼓励网络产生具有更好边界的语义分割结果。
2.Improving Semantic Segmentation via Decoupled Body and Edge Supervision
- code：https://github.com/lxtGH/DecoupleSegNets
本文提出了一种语义分割的新范式。我们的见解是，吸引人的语义分割性能需要对对象的主体和边缘进行显式建模，这与图像的高频和低频相对应。为此，我们首先通过学习流场使对象部分更加一致来使图像特征变形。通过显式采样不同部分（身体或边缘）像素，在去耦监督下进一步优化了生成的身体特征和剩余边缘特征。
弱监督语义分割
3.Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation
- code：https://github.com/GuoleiSun/MCIS_wsss
文章挖掘跨图像的语义信息，用于减少标注，实现弱监督的语义分割。针对综合对象模式挖掘的跨图像语义关系的价值，分类器中加入了两种神经求知功能，以互补地捕获跨图像的语义相似性和差异。特别是，给定一对训练图像，一个共同注意会强制分类器从共同注意对象中识别共同的语义，而另一个被称为对比共同注意，则驱动分类器从中识别未共享的语义。其余的不常见的对象。这有助于分类者在图像区域中发现更多的对象模式和更好的地面语义。除了促进对象模式学习之外，共同注意还可以利用其他相关图像的上下文来改善定位地图推断，从而最终受益于语义分割学习。更重要的是，我们的算法提供了一个统一的框架，可以处理非常不同的WSSS设置。
4.Splitting vs. Merging: Mining Object Regions with Discrepancy and Interp Loss for Weakly Supervised Semantic Segmentation
在本文中，我们专注于在图像级标签的监督下的弱监督语义分割的任务。在本文中，我们旨在从优化过程的新颖角度解决这个问题。我们提出了分离与合并优化策略，该策略主要由差异损失和交叉口损失组成。提出的差异损失旨在挖掘出不同空间模式的区域，而不仅仅是最有区别的区域，这会导致分裂效果。交叉口损失旨在挖掘不同地图的公共区域，从而导致合并效果。我们的拆分与合并策略有助于将区域挖掘模型的输出热图扩展到对象比例。最后，通过使用分割与合并策略生成的蒙版训练分割模型。
5.Weakly Supervised Semantic Segmentation with Boundary Exploration
为了在弱监督下获得语义分割，本文提出了一种简单而有效的方法，该方法基于从训练图像中显式探索对象边界以保持分割和边界一致的思想。具体来说，我们通过利用从CNN分类器获得的粗略定位图来合成边界注释，并使用注释来训练提议的网络BENet，该网络进一步挖掘更多的对象边界以提供分割约束。最后生成的训练图像伪注释用于监督现成的分割网络。
6.Employing Multi-Estimations for Weakly-Supervised Semantic Segmentation
- code：https://github.com/CWanli/RecoNet
基于图像级标签的弱监督语义分割（WSSS）旨在采用图像级标签来训练语义分割模型，从而节省大量人力来进行昂贵的像素级注释。解决此问题的典型方法是首先采用带有图像级别标签的类激活图（CAM）生成伪蒙版（也称为种子），然后将其用于训练分割模型。主要困难是种子通常稀疏且不完整。相关的作品通常尝试通过采用许多铃铛来增强种子来减轻这个问题。我们提出了一种新颖的方法，通过利用分割模型的鲁棒性从多个种子中学习，从而缓解了不准确的种子问题，而不是仅仅依靠一颗种子。我们设法为每个图像生成许多不同的种子，这是对基础事实的不同估计。分割模型同时利用这些种子进行学习，并自动确定每个种子的置信度。
7.Box2Seg: Attention Weighted Loss and Discriminative Feature Learning for Weakly Supervised Segmentation
- code：https://github.com/vivkul/Box2Seg
我们提出了一种使用边界框注释的弱监督语义分割方法。边界框被视为前景对象的嘈杂标签。我们预测了一个基于类别的注意力图，该映射显着地指导每个像素的交叉熵损失以集中在前景像素上并细化分段边界。这样可以避免由于背景上的前景标签不正确而传播错误的渐变。此外，我们学习像素嵌入，以同时针对高类别内特征亲和力进行优化，同时增加不同类别之间特征之间的区别。
8.Regularized Loss for Weakly Supervised Single Class Semantic Segmentation
- code：https://github.com/morduspordus/SingleClassRL
我们提出了一种新的弱监督方法，用于训练CNN来分割单个兴趣类别的对象。我们用有规律的损失函数指导训练，而不是ground truth。正规化的损失对可能的物体形状属性的先验知识进行建模，从而引导分割走向更合理的形状。用定期损失训练CNN很难。我们制定了退火策略，这对于成功培训至关重要。我们方法的优点是简单：我们使用标准的CNN架构以及直观且计算效率高的损失函数。此外，我们对任何任务/数据集应用相同的损失函数，而无需进行任何调整。我们首先评估针对显着对象分割和共分割的方法。这些任务自然涉及一个感兴趣的对象类。
半监督语义分割
9.Negative Pseudo Labeling using Class Proportion for Semantic Segmentation in Pathology
在病理诊断中，由于腺癌亚型的比例与手术后的复发率和生存时间有关，因此在一些医院中已将病理图像中癌症亚型的比例记录为诊断信息。 在本文中，我们提出了一种子类型分割方法，该方法使用比例标签作为弱监督标签。 如果估计的分类率高于带注释的分类率，则我们将生成负伪标签，该伪伪标签表示“输入图像不属于此负标签”，除了标准伪标签外。它还可以消除减少样本样本数量并减轻无法标记低浓度未标记样本的正伪标记学习的问题，我们的方法优于最新的半监督学习（SSL）方法。
10.Semi-supervised Semantic Segmentation via Strong-weak Dual-branch Network
为了充分挖掘弱标签的潜力，我们建议通过强弱双分支网络对强注释和弱注释进行单独处理，从而将大量不准确的弱监督与那些强监督区分开来。我们设计了一个共享的网络组件，以利用强和弱注释的联合区分；同时，建议的双分支分别处理完全和弱监督学习，并有效消除它们的相互干扰。这种简单的体系结构在训练过程中只需要少量的额外计算成本，但与以前的方法相比却带来了重大改进。
少样本语义分割
11.Prototype Mixture Models for Few-shot Semantic Segmentation
- code：https://github.com/Yang-Bob/PMMs
在本文中，我们提出了原型混合模型（PMM），该模型将不同的图像区域与多个原型相关联，以实施基于原型的语义表示。通过期望最大化算法进行估计，PMM结合了有限支持图像中丰富的基于通道的语义和空间语义。 PMM既用作表示形式，又用作分类器，充分利用语义来激活查询图像中的对象，同时以双工方式压下背景区域。
12.Part-aware Prototype Network for Few-shot Semantic Segmentation
- code：https://github.com/Xiangyi1996/PPNet-PyTorch
在本文中，我们提出了一种基于原型表示的新颖的少量语义分割框架。我们的关键思想是将整体类表示分解为一组零件感知的原型，这些原型能够捕获各种细粒度的对象特征。此外，我们建议利用未标记的数据来丰富我们的零件感知原型，从而更好地建模语义对象的类内变体。我们开发了一种新颖的图形神经网络模型，以基于标记和未标记的图像生成和增强建议的零件感知原型。
13.Few-Shot Semantic Segmentation with Democratic Attention Networks
- code：https://github.com/YudeWang/SEAM
在本文中，我们提出了Democratic Attention Network（DAN）来进行几次语义分割。我们引入了democratized graph注意力机制，该机制可以激活对象上的更多像素以在支持图像和查询图像之间建立鲁棒的对应关系。因此，网络能够将更多前景对象的指导信息从支持传播到查询图像，从而增强其对新对象的鲁棒性和通用性。此外，我们通过设计细化融合单元以融合来自中间层的特征以进行查询图像分割，提出了多尺度指导。这提供了一种利用多级语义信息来实现更准确分段的有效方法。
3D语义分割
14.Image-to-Voxel Model Translation for 3D Scene Reconstruction and Segmentation
- code：https://github.com/vlkniaz/SSZ
人类可以轻易从一幅2D图像中感知物体的类别、深度、形状等，尽管现代深度模型分别解决了这些难题，但它们却难以同时执行场景3D重建和分割。 我们提出了单镜头图像到语义体素模型转换框架。我们对抗性地训练一个生成器，以验证该对象的姿势。 此外，梯形体素，体积残差块和2D到3D跳跃连接有助于我们的模型学习有关3D场景结构的明确推理。 我们收集了一个SemanticVoxels数据集，其中包含116k图像，真实的语义体素模型，深度图和6D对象姿势。
15.Virtual Multi-view Fusion for 3D Semantic Segmentation
- code：https://abhijitkundu.info/projects/multiview_segmentation/
在本文中，我们将重新审视3D网格的经典多视图表示形式，并研究使之有效用于3D网格语义分割的几种技术。给定从RGBD传感器重建的3D网格，我们的方法有效地选择了3D网格的不同虚拟视图，并渲染了多个2D通道以训练有效的2D语义分割模型。来自多个每个视图预测的要素将最终融合在3D网格顶点上，以预测网格语义分割标签。使用ScanNet的大型室内3D语义分割基准，我们证明了与以前的多视图方法相比，我们的虚拟视图能够更有效地训练2D语义分割网络。当在3D曲面上汇总每像素2D预测时，与所有先前的多视图方法相比，我们的虚拟多视图融合方法能够显着提高3D语义分割结果，并且与最近的3D卷积方法相比具有竞争优势。
16.Efficient Outdoor 3D Point Cloud Semantic Segmentation for Critical Road Objects and Distributed Contexts
在这项工作中，我们提出了一种新的神经网络模型，称为具有自注意全局上下文的基于注意的动态卷积网络（ADConvnet-SAGC），其中i）应用注意机制自适应地关注与任务最相关的邻近点，以学习3D对象的点特征，特别是对于形状多样的小型对象； ii）应用自我关注模块，以有效地从输入中捕获远程分布式上下文； iii）一种更合理，更紧凑的体系结构，以进行有效的推理。
17.Deep FusionNet for Point Cloud Semantic Segmentation
- code：https://github.com/feihuzhang/LiDARSeg
我们提出了一种深度融合网络架构（FusionNet），该架构具有一个独特的基于体素的“ mini-PointNet”点云表示形式和一个用于大规模3D语义分割的新功能聚合模块（融合模块）。与基于体素的卷积网络相比，我们的FusionNet可以学习更准确的逐点预测。与流行的逐点卷积相比，它可以实现更有效的特征聚合，具有较低的内存和较低的计算复杂度，可用于大规模点云分割。
跨域语义分割
18.Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation
- code：https://github.com/JDAI-CV/FADA
为了充分利用源域中的监督，我们提出了一种新的对抗性学习策略，用于类级特征对齐，同时保留了跨域语义的内部结构。我们采用了一个细粒度的域区分符，它不仅充当域区分符，而且还在类级别上区分域。传统的二进制域标签也被通用化为域编码作为监督信号，以指导新的特征对齐。使用类别中心距离（CCD）进行的分析验证了与其他最新方法相比，我们细粒度的对抗策略可实现更好的类别级别对齐。
域自适应语义分割
19.Domain Adaptive Semantic Segmentation Using Weak Labels
- code：http://www.nec-labs.com/~mas/WeakSegDA/
在这项工作中，我们提出了一种新的框架，用于在目标域中具有图像级弱标签的语义分段中进行域自适应。弱标签可以基于用于非监督域自适应（UDA）的模型预测来获得，或者从用于语义分割的新的弱监督域自适应（WDA）范式中的人类注释者获得。使用弱标签既实用又有用，因为（i）在WDA中收集图像级别的目标注释相对便宜，并且在UDA中不产生任何费用，并且（ii）为类别域对齐提供了机会。我们的框架使用弱标签来实现特征对齐和伪标签之间的相互作用，从而在域自适应过程中同时改善两者。具体来说，我们开发了一个弱标签分类模块，以强制网络参与某些类别，然后使用此类训练信号来指导所提出的按类别排列的方法。
20.Unsupervised Domain Adaptation for Semantic Segmentation of NIR Images through Generative Latent Search
- code：https://github.com/ambekarsameer96/GLSS
我们考虑从近红外图像中分割皮肤的问题。我们将皮肤分割问题归结为与目标无关的无监督域自适应（UDA）问题，其中我们使用可见范围红色通道的数据来开发NIR图像上的皮肤分割算法。
21.Content-Consistent Matching for Domain Adaptive Semantic Segmentation
- code：https://github.com/Solacex/CCM
本文考虑了语义分段从合成源域到实际目标域的适应。CCM的目标是获取那些与目标域中的真实图像具有相似分布的合成图像，以便通过采用内容一致的合成图像进行训练来自然缓解域间隙。具体而言，我们从语义布局匹配和逐像素相似性匹配两个方面促进CCM。首先，我们使用来自源域的所有合成图像来训练初始分割模型，然后使用该模型为目标域中的未标记图像生成粗糙的像素级标签。利用真实/合成图像的粗略/准确标签图，我们从水平和垂直方向构造它们的语义布局矩阵，并执行矩阵匹配，以找出语义布局与真实图像相似的合成图像。其次，我们选择那些具有高置信度的预测标签来为目标域中的所有类别生成特征嵌入，然后进一步对挖掘的布局一致的合成图像执行逐像素匹配，以获取外观一致的像素。利用提出的CCM，仅考虑那些内容一致的合成图像来学习分割模型，这可以有效地减轻那些与内容无关的合成图像所引起的域偏差。对两个流行的领域适应任务进行了广泛的实验，即GTA5-→Cityscapes和SYNTHIA-→Cityscapes。
22.Contextual-Relation Consistent Domain Adaptation for Semantic Segmentation
- code：https://github.com/jxhuang0508/CrCDA
本文提出了一种创新的**局部上下文关系一致域自适应（CrCDA）**技术，旨在在全局级别的一致性中实现局部级别的一致性。这个想法是要仔细研究区域级要素表示并将它们与局部级别的一致性对齐。特别，CrCDA通过基于反向传播的对抗性学习，在标记的源域的特征空间中显式地学习并执行原型局部上下文关系，同时将它们转移到未标记的目标域。自适应熵最大-最小对抗学习方案被设计为跨域最佳地对齐这数百个局部上下文关系，而无需区分或额外的计算开销。拟议的CrCDA已在两个具有挑战性的领域自适应分割任务（例如，针对Cityscapes的GTA5和针对Cityscapes的SYNTHIA）上进行了广泛的评估，并且实验证明了其与最新技术相比的出色分割性能。自适应熵最大-最小对抗学习方案被设计为跨域最佳地对齐这数百个局部上下文关系，而无需区分或额外的计算开销。
23.Label-Driven Reconstruction for Domain Adaptation in Semantic Segmentation
在这里，我们提出了一个创新的框架，旨在减轻图像转换的偏见，并使跨域特征与同一类别对齐。这可以通过以下步骤来实现：1）执行目标到源的翻译，以及2）从它们的预测标签重建源图像和目标图像。从合成到真实的城市场景理解的大量实验表明，我们的框架与现有的最新方法具有良好的竞争优势。
24.Learning from Scale-Invariant Examples for Domain Adaptation in Semantic Segmentation
在本文中，我们提出了一种利用语义分割模型的尺度不变性进行自我监督领域自适应的新方法。我们的算法基于一个合理的假设，即通常而言，无论对象和内容的大小（给定上下文）如何，语义标签都应保持不变。我们显示此约束在目标域的图像上受到侵犯，因此可用于在不同比例的补丁之间传递标签。具体来说，我们展示了与目标尺寸的原始图像相比，语义分割模型在按目标域的按比例放大补丁呈现时会产生高熵的输出。这些比例尺不变的示例是从目标域的最常见图像中提取的。提出了动态类特定熵阈值机制来滤除不可靠的伪标签。此外，我们还结合了焦点损失来解决自我监督学习中的班级失衡问题。
攻击策略 异常检测 信息泄露
25.Synthesize then Compare: Detecting Failures and Anomalies for Semantic Segmentation
- code：https://github.com/YingdaXia/SynthCP
文章将语义分割与图像合成用于缺陷检测和异常检测。在本文中，我们系统地研究了语义分割的失败和异常检测，并提出了一个由两个模块组成的统一框架，以解决这两个相关问题。 第一个模块是图像合成模块，它从分割布局图生成一个合成图像，第二个模块是一个比较模块，它计算合成图像和输入图像之间的差异。我们在三个具有挑战性的数据集上验证了我们的框架，并大幅度提高了最新技术水平。
26.Indirect Local Attacks for Context-aware Semantic Segmentation Networks
在本文中，我们表明，生成的网络不仅对扰动影响整个输入图像的全局攻击敏感，而且对扰动限于不与我们的区域重叠的小图像区域的间接局部攻击敏感。我们介绍了几种间接攻击策略，包括自适应本地攻击（旨在找到最佳图像位置来扰动）和通用本地攻击。 此外，我们提出了针对全局图像级别并获得欺骗区域的像素定位的攻击检测技术。
27.Segmentations-Leak: Membership Inference Attacks and Defenses in Semantic Image Segmentation
- code：https://github.com/SSAW14/segmentation_membership_inference
视觉数据可能包含私人或敏感信息，这同样不适合公开发布。不幸的是，最近在更广泛的对抗性机器学习领域中的成员推理和对机器学习模型的推理攻击方面的研究表明，即使是黑匣子分类器，也会在经过训练的数据集上泄漏信息。我们证明了这种隶属推理攻击可以成功地在复杂的，最新的语义分割模型上进行。为了减轻相关的风险，我们还研究了针对此类成员推理攻击的一系列防御措施，并找到了有效的对策，以应对现有风险，而对细分方法的实用性影响很小。
28.Increasing the Robustness of Semantic Segmentation Models with Painting-by-Numbers
我们基于图像分类的见解，可以通过增加针对对象形状的网络偏差来提高输出的鲁棒性。我们提出了一种新的训练方案，可以增加这种形状偏差。我们的基本思想是将RGB训练图像的一部分与伪造的图像进行alpha混合，其中每个类别标签都被赋予一种固定的，随机选择的颜色，这种颜色不太可能出现在真实图像中。这迫使网络更加强烈地依赖形状提示。我们称这种数据增强技术为“数字绘画”。
语义分割
29.Object-Contextual Representations for Semantic Segmentation
- code：https://git.io/openseg
- code：https://git.io/HRNet.OCR
在本文中，我们研究了语义分割中的上下文聚合问题。由于像素的标签是像素所属对象的类别的动机，我们提出了一种简单而有效的方法，即对象上下文表示，通过利用相应对象类的表示来表征像素。首先，我们在真相分割的监督下学习目标区域。其次，我们通过汇总位于对象区域中的像素的表示来计算对象区域表示。最后，我们计算每个像素与每个对象区域之间的关系，并使用对象上下文表示（它是所有对象区域表示的加权聚合）来扩展每个像素的表示。
30.The Semantic Mutex Watershed for Efficient Bottom-Up Semantic Instance Segmentation
我们提出了一种贪心算法，用于从有效的Mutex分水岭分割算法派生出来的联合图分割和标记。它优化了与非对称多路切割目标密切相关的目标函数，并根据经验显示了有效的缩放行为。由于算法的效率，它可以直接在像素上运行，而无需事先将图像过度分割为超像素。我们评估Cityscapes数据集（2D城市场景）和3D显微镜的性能。
31.Intra-class Feature Variation Distillation for Semantic Segmentation
- code：https://github.com/YukangWang/IFVD
在本文中，不同于以前的方法，对于密集的成对关系进行知识蒸馏，我们提出了一种新颖的类内特征变化精馏（IFVD），将繁琐模型（教师）的类内特征变化（IFV）传递给紧凑型模型（学生）。具体而言，我们计算每个类别的特征中心（被视为原型），并通过每个像素上的特征与其对应的逐级原型之间的相似度集来表征IFV。教师模型通常比学生模型学习更强大的类内特征表示，这使他们具有不同的IFV。
32.GMNet: Graph Matching Network for Large Scale Part Semantic Segmentation in the Wild
- code：https://github.com/LTTM/GMNet
在这项工作中，我们提出了一个新颖的框架，该框架结合了更高的对象级上下文条件和部件级空间关系来解决任务。为了解决对象级别的歧义，引入了类条件模块，以在学习部件级语义时保留类级语义。以这种方式，中级特征在解码阶段之前也携带该信息。为了解决零件级别的歧义和局部化问题，我们提出了一种新颖的基于邻接图的模块，旨在匹配地面实况和预测零件之间的相对空间关系。
33.Class-wise Dynamic Graph Convolution for Semantic Segmentation
通过使用局部卷积，金字塔卷积或自我注意机制以局部或全局方式利用上下文信息，最近的著作在语义分割方面取得了长足的进步。为了避免在先前的工作中可能引起误导的上下文信息聚合，我们提出了一种基于类的动态图卷积（CDGC）模块来自适应地传播信息。在相同类别的像素之间执行图推理。在提出的CDGC模块的基础上，我们进一步介绍了逐级动态图卷积网络（CDGCNet），它由CDGC模块和基本分段网络两个主要部分组成，形成了从粗到细的范式。具体而言，CDGC模块将粗略分割结果作为类掩码，以提取节点特征以进行图构造，并对构造的图进行动态图卷积，以学习特征聚集和权重分配。然后将精炼特征与原始特征融合以获得最终预测。
34.Tensor Low-Rank Reconstruction for Semantic Segmentation
- code：https://github.com/CWanli/RecoNet
在本文中，我们提出了一种对3D上下文表示进行建模的新方法，该方法不仅避免了空间压缩，而且还解决了高级难度。在这里，受张量规范多态分解理论（即高阶张量可以表示为1级张量的组合）的启发，我们设计了一个从低阶到高阶上下文重建框架（即RecoNet）。具体来说，我们首先介绍张量生成模块（TGM），该模块生成许多1级张量以捕获上下文特征的片段。然后，我们使用这些等级1张量通过拟议的张量重构模块（TRM）恢复高等级上下文特征。
35.SideInfNet: A Deep Neural Network for Semi-Automatic Semantic Segmentation with Side Information
- code：https://github.com/YingdaXia/SynthCP
受到半自动方法的实用性和实用性的启发，本文提出了一种新型的深度神经网络架构，即SideInfNet，该架构有效地将从图像中学习的特征与从用户注释中提取的辅助信息进行集成。 为了评估我们的方法，我们将提议的网络应用于三个语义分割任务，并对基准数据集进行了广泛的实验。
36.Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation
- code：https://github.com/charlesCXK/RGBD_Semantic_Segmentation_PyTorch
在本文中，我们提出了一种统一而有效的交叉模态引导编码器，该编码器不仅可以有效地重新校准RGB特征响应，还可以通过多个阶段提取准确的深度信息，并交替汇总两个重新校准的表示。 提出的体系结构的关键是新颖的“分离和聚合门控”操作，该操作可以在交叉模态聚合之前联合过滤和重新校准两种表示形式。 同时，一方面引入了双向多步传播策略，以帮助在两种模式之间传播和融合信息，另一方面，在长期传播过程中保护其特定城市。 此外，我们提出的编码器可以轻松地注入到以前的编码器-解码器结构中，以提高其在RGB-D语义分割上的性能。
37.Attend and Segment: Attention Guided Active Semantic Segmentation
在本文中，我们提出了一种在给定部分观察序列的情况下逐步分割场景的方法。主要思想是通过参加代理商最不确定的领域来提高其对环境的理解。我们的方法包括自我监督的注意力机制和专门的体系结构，用于维护和利用空间内存图来填充环境中看不见的区域。代理可以选择并进入某个区域，同时依靠来自访问区域的线索使其他部分产生幻觉。
38.Learning to Predict Context-adaptive Convolution for Semantic Segmentation
在本文中，我们提出了一种上下文自适应卷积网络（CaC-Net），以针对语义特征图的每个空间位置预测一个空间变化的特征加权向量。 在CaC-Net中，从全局上下文信息中以参数有效的方式预测了一组上下文自适应卷积核。 当用于与语义特征图进行卷积时，预测的卷积核可以生成捕获全局和局部上下文信息的空间变化特征加权因子。
39.EfficientFCN: Holistically-guided Decoding for Semantic Segmentation
在本文中，我们提出了EfficientFCN，其主干是没有任何卷积的常见ImageNet预训练网络。引入了整体引导的解码器，以通过编码器的多尺度特征获得高分辨率的语义丰富的特征图。解码任务转换为新颖的代码簿生成和代码字组装任务，这利用了编码器的高级和低级功能。
40.Document Structure Extraction using Prior based High Resolution Hierarchical Semantic Segmentation
在本文中，我们分享了使用分层语义分割网络进行结构提取这一任务的发现。我们提出了一种基于先验的深度分层CNN网络体系结构，该体系结构允许使用超高分辨率（1800 1000）图像提取文档结构。我们将文档图像划分为重叠的水平条带，以便网络将条带分割，并像以前一样使用其预测蒙版来预测后续条带的分割。
41.SNE-RoadSeg: Incorporating Surface Normal Information into Semantic Segmentation for Accurate Freespace Detection
- code：https://github.com/hlwang1124/SNE-RoadSeg
自由空间检测是自动驾驶汽车视觉感知的重要组成部分。在数据融合卷积神经网络（CNN）中所做的最新努力已大大改善了语义驱动场景分割。可以将自由空间假定为接地平面，在该平面上这些点具有相似的表面法线。在本文中，我们首先介绍一种名为表面法线估计器（SNE）的新型模块，该模块可以从密集的深度/视差图像中以高精度和高效率推断出表面法线信息。此外，我们提出了一种称为RoadSeg的数据融合CNN架构，该架构可以从RGB图像和推断的表面法线信息中提取和融合特征，以进行准确的自由空间检测。出于研究目的，我们发布了一个大型的合成自由空间检测数据集，在不同的光照和天气条件下收集的名为“准备行驶（R2D）”道路数据集。
