GCN在计算机视觉上的应用

1、3D-MPA: Multi Proposal Aggregation for 3D Semantic Instance Segmentation

3D点云语义实例分割
将proposal表示为proposal图中的节点，然后输入到GCN中，来挖掘proposal间的高阶相互作用

2、Text-Guided Graph Neural Networks for Referring 3D Instance Segmentation

摘要：本文提出了一项称为参考三维实例分割的新任务，目的是在给定一个查询句子的三维场景中分割出目标实例。之前关于场景理解的工作已经在nlp的指导下探索了视觉基础，但重点主要局限于图像和视频。我们提出了一种文本引导的图神经网络TGNN，用于参考点云上的三维实例分割。给定一个查询句子和三维场景的点云，我们的方法学习提取每个点的特征，并预测一个偏移，将每个点移动到它的对象中心。基于点特征和偏移量，我们对点进行聚类，生成候选对象的融合特征坐标。所得到的集群被建模为图神经网络中的节点，以学习包含每个候选对象的关系结构表示。GNN层利用每个对象的特征及其与邻居的关系来生曾输入句子表达式的注意力热图。最后，使用注意力热图来引导来自邻域节点的信息聚合

3、Affinity Attention Graph Neural Network for Weakly Supervised Semantic Segmentation

摘要：弱监督语义分割因其人工注释成本低而收到广泛关注。在本文中，我们的目标是处理边界框监督的语义分割，即使用边界框注释作为监督来训练精确的语义分割模型。为此，我们提出亲和图注意力网络A2GNN，根据之前的实践，我们首先生成伪语义感知种子，然后根据我们提出的亲和卷积神经网络将这些种子形成语义图然后将所构建的图输入到A2GNN种，其中设计了一个亲和注意力层来从soft graph edge获取长短距离信息，以准确将语义标签从种子传播到未标记的像素中，然而，为了保证种子的精确度，我们只为A2GNN采用了有限数量的可信像素种子标签，这可能会导致对训练的监督不足，为了缓解这一问题，我们进一步引入了一种新的损失函数和一种一致性检查机制利用边界框约束，以便为模型优化提供更可靠的指导。

4、Class-wise Dynamic Graph Convolution for Semantic Segmentation

摘要：最近一些工作在语义分割方面取得了巨大的进展，通过利用局部或全局方式的上下文信息，以及扩展的卷积、pyramid pooling或者自注意力机制。为了避免在以前的工作中出现潜在的误导性上下文信息聚合，我们提出了一个面向类的动态图卷积模块来自适应地传播信息图推理在同一类中的像素之间执行，基于所提出的CDGC模块，我们进一步引入了类动态图卷积网络CDGCNet，它由CDGC模块和基本的分割网络主要部分组成，形成了一个粗到细的范式。具体地说，CDGC模块将粗分割结果作为class mask来提取节点特征进行图构建，并对构造图进行动态图卷积，学习特征聚合和权重分配。然后将细化特征和原始特征进行融合，得到最终的预测

5、Dual Graph Convolutional Network for Semantic Segmentation

摘要：利用远程上下文信息是语义分割等像素级预测任务的关键，与之前使用多尺度特征融合或扩张卷积的工作相比，我们提出了一种新的图卷积网络来解决这个问题。我们的对偶图卷积网络通过在一个框架中建模两个正交图来建模输入特征的全局上下文信息。第一个组件建模图像中像素之间的空间关系，而第二个组件则沿着网络特征图的通道维度建模相互依赖关系。这是通过将特征投影到一个新的低维空间中来有效实现的，在重新投影到原始空间之前，所有的两对相互作用都可以被建模

6、Graph-FCN for image semantic segmentation

发表在CVPR2020
摘要：深度学习的语义分割在图像像素分类方面取得了很大的进展。然而，在深度学习的高级特征提取中，通常会忽略局部位置信息，这对图像语义分割具有重要意义。为了避免这个问题，我们提出一个由名为Graph-FCN的全卷积网络初始化图模型，用于图像分割。首先通过卷积网络将图像网络数据扩展到图结构数据中，将语义分割问题转化为图节点分类问题。然后，我们应用图卷积网络来解决这个图节点的分类问题。 据我们所知，这是我们第一次将图卷积网络用于图像语义分割。与原始的FCN模型相比，我们的方法在VOC数据集上的平均交集(mIOU)上取得了竞争性的性能（提高了约1.34%）。

7、Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation

摘要:由于深度学习渴望数据的特性，获得足够的真实标签来监督训练深度视觉模型一直时一个瓶颈。比如语义分割，它需要像素级的注释。这项工作解决了弱监督语义分割，其目标时弥合图像级注释和像素级分割之间的差距。我们将WSSS表示为一种新的图式学习任务，明确地建模图像种的语义依赖，以估计更可靠的真实标签，可用于训练更准确的分割模型。特别地，我们设计了一个图神经网络，其中输入图像表示为图节点，一对图像之间的潜在关系具有一种有效的协同注意机制。此外，为了防止模型过度关注公共语义，我们进一步提出了一个graph dropout层，鼓励模型学习更准确和完整的对象。整个网络课通过迭代消息传递机制进行端到端训练，从而在图像上传播交互信息，以逐步提高性能

8、LoGAN: Latent Graph Co-Attention Network for Weakly-Supervised Video Moment Retrieval

弱监督的视频实时检索的隐式图协同注意力网络

9、Multi-view Self-Constructing Graph Convolutional Networks with Adaptive Class Weighting Loss for Semantic Segmentation

摘要：我们提出了一种新的语义分割架构，称为多视图自构造图卷积网络语义分割。基于最近所提出的自构造图SCG模块，它利用可学习的潜在变量直接输入特征自构建底层图，而不依赖于手动构建的先验知识图，我们利用多个视图来显式地利用图像中的旋转不变性我们进一步提出了一个自适应的类加权损失来解决类的不平衡问题我们在农业视觉挑战数据集上演示了所提出的方法的有效性和灵活性，与相关的基于纯CNN的工作相比，我们的模型取得了非常有竞争力的结果(0.547mIOU)。代码可在：github.com/samleoqh/MSCG-Net上获得

10、3D Graph Neural Networks for RGBD Semantic Segmentation

摘要：RGBD语义分割需要对二维外观和三维几何信息的联合推理，**在本文中，我们提出了一个三维图神经网络。它早三维点云之上构建了一个k-近邻图，图中的每个节点对应于一组点，并与由一元CNN从二维图像中提取的外观特征初始化的隐藏表示向量相关联。依赖于循环函数，每个节点根据当前状态和来自邻居的传入消息动态更新其隐向量表示。**该传播模型展开了一定的时间步长，最终的每个节点表示用于预测每个像素的语义类

11、Scene Context Based Semantic Segmentation for 3D LiDAR Data in Dynamic Scene

摘要：我们提出了一种基于图神经网络的方法来结合场景上下文进行三维激光雷达数据的语义分割，该问题被定义为构建一个图来表示中心段及其邻域的拓扑，然后推断分割标签。图的节点由范围图像上的片段生成，既适用于稀疏点云，又适合密集点云。评估中心节点及其邻域相关性的边缘权值由神经网络自动编码，因此相邻节点的数量不再式一个敏感参数。设计了一个包括语义生成、图生成、边权估计、节点更新和节点预测系统

12、Spatially Invariant Unsupervised 3D Object Segmentation with Graph Neural Networks

摘要：在本文中，我们解决了一个没有RGB信息的点云的无监督三维对象分割问题，特别地，我们提出了一个框架，SPAIR3D，来建模一个点云作为一个空间混合模型，并通过变分自编码器联合学习三维中的多对象表示和分割。受SPAIR的启发，我们采用了一种对象规范方案，它描述了每个对象对于其本地相关网络单元的位置，而不是整个点云。为了模拟点云上的空间混合模型，我们推到了张角似然，它自然适合变分训练管道。我们进一步设计了一个新的空间不变图神经网络，以在我们的VAE中生成不同数据的三维作为编码器

13、WEAKLY-SUPERVISED IMAGE SEMANTIC SEGMENTATION USING GRAPH CONVOLUTIONAL NETWORKS

摘要：本工作解决了基于图像级类标签的弱监督图像语义分割，完成这项任务的一种常见方法是使用随机行走机制来传播类激活映射的激活分数，以获得完整的伪标签，以全监督的方式训练语义分割网络。然而，随机游走的前馈性质并没有对由此产生的完整伪标签的质量进行正则化。为了克服这个问题，我们提出了一个基于图卷积网络的特征传播框架。我们将完整伪标签的生成表示为半监督学习任务，并通过反向传播拉普拉斯量和熵正则化损失，分别为每一副训练图像学习两次GCN

14、Scale-Aware Graph Neural Network for Few-Shot Semantic Segmentation

摘要：小样本语义分割的目标是分割看不见的类对象，因为来自同一类的很少有密集注释的支持图像。现有的FSS方法通过使用支持原型或者直接依赖启发式多尺度特征融合来查找查询对象。然而，它们未能充分利用支持查询图像对之间的多尺度特征的高阶外观关系，从而导致查询对象的定位不准确。为了解决上述挑战，我们提出了一种端到端FSS的跨尺度关系，通过推理端到端尺度感知图神经网络SAGNN。具体的说，首先以支持诱导的多尺度查询特征作为节点来构建尺度感知图，同时将每条边建模为其连接节点的成对交互。通过渐进式消息传递图，SAGNN能够捕获跨尺度关系并克服对象的变化（如外观、尺度和位置）从而可以学习更精确的节点嵌入。这反过来又使它能够预测更准确的前景对象。此外，为了充分利用查询图像跨尺度的位置关系，提出了一种新的自节点协作机制来丰富当前节点，赋予SAGNN感知相同对象不同分辨率的能力