Building Extraction论文、代码和数据集汇总
文章目录
- 2019
-
- DARNet: Deep Active Ray Network for Building Segmentation
- 2020
-
- Vectorizing World Buildings: Planar Graph Reconstruction by Primitive Detection and Relationship Inference(ECCV)
- Conv-MPN: Convolutional Message Passing Neural Network for Structured Outdoor Architecture Reconstruction
- End to End Trainable Active Contours via Differentiable Rendering(ICLR)
- 2021
-
- Structured Outdoor Architecture Reconstruction by Exploration and Classification（ICCV）
- Polygonal Building Extraction by Frame Field Learning
- Adversarial Shape Learning for Building Extraction in VHR Remote Sensing Images
- Joint Semantic-Geometric Learning for Polygonal Building Segmentation
- End-to-End Segmentation via Patch-wise Polygons Prediction
- 2022
-
- OEC-RNN: Object-Oriented Delineation of Rooftops With Edges and Corners Using the Recurrent Neural Network From the Aerial Images
- Building Outline Delineation from VHR Remote Sensing Images Using the Convolutional Recurrent Neural Network Embedded with Line Segment Information
- Extracting planar roof structures from very high resolution images using graph neural networks（ISPRS）
- PolyWorld: Polygonal Building Extraction with Graph Neural Networks in Satellite Images
- CVNet: Contour Vibration Network for Building Extraction
- 数据集
2019
DARNet: Deep Active Ray Network for Building Segmentation
code: https://github.com/dcheng-utoronto/darnet
摘要： 在本文中，我们提出了一种用于自动建筑分割的深度主动射线网络(DARNet)。以图像为输入，首先利用深度卷积神经网络(CNN)作为骨干，预测能量图，进一步利用能量图构建能量函数。然后通过最小化能量函数来演化一个基于多边形的轮廓，其中最小值定义了最终的分割。我们没有采用欧氏坐标来参数化轮廓，而是采用了极坐标，即射线，这不仅防止了自交，而且简化了能量函数的设计。此外，我们提出了一个损失函数，直接鼓励轮廓匹配建筑边界。我们的DARNet通过能量最小化和主干CNN进行端到端反向传播训练，这使得CNN适应了轮廓演化的动力学。在三个构建实例分割数据集上的实验表明，我们的DARNet取得了与其他竞争对手相当的性能。
2020
Vectorizing World Buildings: Planar Graph Reconstruction by Primitive Detection and Relationship Inference(ECCV)
code: https://paperswithcode.com/paper/vectorizing-world-buildings-planar-graph
摘要： 本文研究了一个二维建筑向量化问题，其任务是从单个RGB图像中推断出一个室外建筑建筑为二维平面图。我们为横跨亚特兰大、巴黎和拉斯维加斯等城市的2,001座复杂建筑提供了一个新的基准和地面真实注释。我们还提出了一种新的算法，利用1)卷积神经网络(CNNs)，检测几何基元并推断它们的关系；2)一个整数规划(IP)，将信息组装成一个二维平面图。虽然对人类视觉来说是一个简单的任务，但推断具有任意拓扑的图结构对计算机视觉来说仍然是一个开放的问题。定性和定量评估表明，我们的算法在智能系统的人类感知水平上取得了显著的改进，在目前的先进水平。我们将共享代码和数据。
Conv-MPN: Convolutional Message Passing Neural Network for Structured Outdoor Architecture Reconstruction
code: https://paperswithcode.com/paper/conv-mpn-convolutional-message-passing-neural
摘要： 本文提出了一种新的信息传递神经(MPN)架构Conv-MPN，该架构从单个RGB图像中将室外建筑重建为平面图。Conv-MPN是专门为图中的节点具有显式空间嵌入的情况而设计的。在我们的问题中，节点对应于图像中的构建边。ConvMPN与MPN的不同之处在于，1)与一个节点相关联的特征被表示为一个特征体，而不是一个一维向量；2)卷积编码消息，而不是完全连接的层。Conv-MPN学习选择一个真正的节点子集（即，建筑边）来重建一个建筑平面图。我们对2000多栋建筑进行的定性和定量评估表明，Conv-MPN比现有的完全神经解决方案有了显著的改进。我们认为，本文有可能为结构几何重建开辟一条新的图神经网络研究方向。
End to End Trainable Active Contours via Differentiable Rendering(ICLR)
code: https://paperswithcode.com/paper/end-to-end-trainable-active-contours-via-1
摘要： 我们提出了一种迭代演化一个多边形的图像分割方法。在每次迭代中，多边形的顶点是基于通过编解码器结构从输入图像推断出的二维移位映射的局部值。所使用的主要训练损失是多边形形状和地面真实分割掩模之间的差异。该网络使用一个神经渲染器从其顶点创建多边形，使该过程完全可微。我们证明了我们的方法在各种基准和深度主动轮廓解决方案优于先进的分割网络，包括医学成像和航空图像。
2021
Structured Outdoor Architecture Reconstruction by Exploration and Classification（ICCV）
code: https://paperswithcode.com/paper/structured-outdoor-architecture
摘要： 本文提出了一种基于航空图像的结构化建筑重建的探索和分类框架。从现有算法可能不完善的建筑重建出发，我们的方法1)通过启发式动作修改重建来探索构建模型的空间；2)学习对构建模型的正确性进行分类，同时生成基于地面真相的分类标签；和3)重复。在测试时，我们迭代探索和分类，寻找具有最佳分类得分的结果。我们使用两个基线和两种最先进的初始重建算法来评估该方法。定性和定量评价表明，我们的方法持续提高重建质量从每个初始重建。
Polygonal Building Extraction by Frame Field Learning
code: https://paperswithcode.com/paper/polygonal-building-extraction-by-frame-field
摘要： 虽然目前最先进的图像分割模型通常以光栅格式输出分割，但在地理信息系统中的应用通常需要矢量多边形。 为了弥补深度网络输出与下游任务中使用的格式之间的差距，我们在深度分割模型中添加了帧域输出，用于从遥感图像中提取建筑物。 我们训练一个深度神经网络，将预测的框架场对齐到地面真实轮廓。 这个额外的目标通过利用多任务学习来提高分割质量，并提供结构信息，以促进后来的多边形化; 我们还介绍了一种多边形化算法，它利用了框架场和光栅分割。
Adversarial Shape Learning for Building Extraction in VHR Remote Sensing Images
code: https://paperswithcode.com/paper/adversarial-shape-learning-for-building
由于遮挡和边界模糊问题，VHR RSIs中的建筑物提取仍然是一个具有挑战性的任务。 传统的基于卷积神经网络(convolutional neural networks, CNNs)的方法虽然能够利用局部纹理和上下文信息，但无法捕捉建筑物的形状模式，这是人类识别的必要限制。 为了解决这个问题，我们提出了一个对抗形状学习网络(ASLNet)来建模建筑物形状模式，以提高建筑物分割的准确性。 在提出的ASLNet中，我们引入对抗学习策略来显式建模形状约束，以及一个CNN形状正则化器来加强形状特征的嵌入。 为了评估建筑物分割结果的几何精度，我们引入了几种基于对象的质量评估指标。 在两个开放基准数据集上的实验表明，所提出的ASLNet在基于像素的精度和基于对象的质量测量方面都有很大的提高。
Joint Semantic-Geometric Learning for Polygonal Building Segmentation
摘要： 几十年来，从空中或卫星图像中提取建筑图像一直是遥感和计算机视觉领域的一个重要研究问题。与输出光栅构建分割图的像素级语义分割模型相比，多边形构建分割方法产生了更真实的构建多边形，这是实际应用中理想的矢量格式。尽管近年来付出了大量的努力，但最先进的多边形建筑分割方法仍然存在一些局限性，例如，（1）依靠完美的分割图来保证向量化质量；（2）需要复杂的后处理程序；（3）生成固定数量的不准确顶点、错误的顺序、自交等。为了解决上述问题，本文提出了一种多边形建筑分割方法，并做出了以下贡献：（1）我们设计了一个多任务分割网络，用于联合语义和几何学习，通过三个任务进行多类角预测和边缘方向学习。（2）我们提出了一个简单而有效的顶点生成模块，将分割轮廓转换为高质量的多边形顶点。（3）我们进一步提出了一种多边形细化网络，它可以自动地将多边形顶点移动到更精确的位置。在两个流行的构建分割数据集上的结果表明，与目前最先进的方法相比，我们的方法在构建实例分割(2%的f1分数增益)和多边形顶点预测(6%的f1分数增益)方面都取得了显著的改进。
论文的贡献：
- 在我们的多任务分割网络中，我们设计了两个额外的任务来利用额外的几何监督进行多边形构建分割，即多类角预测和边缘方向预测，它们与构建语义分割任务联合训练。
- 在顶点生成模块(VGM)中，我们设计了一种简单而有效的方法，将建筑分割轮廓转换为一组有效的顶点。通过联合利用多任务网络的三种输出，我们的顶点生成模块不仅能够过滤出冗余的边和顶点以及剩余有效的顶点（甚至是短边），而且对不完善的构建分割结果具有鲁棒性。
- 多边形细化网络(PRN)对每个多边形顶点的坐标进行了进一步的微调。PRN将VGM生成的顶点（具有各种拓扑结构和适当的序列）视为图的初始节点，它可以有效地预测每个节点的位移，并生成具有更精确顶点的最终构建多边形。
End-to-End Segmentation via Patch-wise Polygons Prediction
摘要： 领先的分割方法将输出映射表示为一个像素网格。我们研究了另一种替代表示，其中对象边缘被建模，每个图像补丁，作为一个具有k个顶点的多边形，与每个补丁标签概率耦合。通过使用一个可微的神经渲染器来创建一个光栅图像来优化顶点。然后将划定的区域与地面真实分割进行比较。我们的方法获得了多个最先进的结果：76.26%mIoU，90.92%IoU，MoNU显微镜数据集66.82%，鸟类基准90.91%。我们的培训和复制这些结果的代码作为补充附上。
2022
OEC-RNN: Object-Oriented Delineation of Rooftops With Edges and Corners Using the Recurrent Neural Network From the Aerial Images
code： https://github.com/huangweiwade/OEC-RNN
摘要： 由于建筑物与人类活动关系非常密切，从高分辨率遥感图像自动准确地绘制屋顶是一项重要的任务。两种典型的技术，即语义分割和实例分割。语义分割是独立地为每个像素分配一个标签（例如，“构建”），从而产生类似块的片段。相反，人们可以将屋顶的边界建模为一个多边形，通过鼓励多边形的顶点坚持屋顶的边界来改善屋顶的形状。根据这一工作，我们提出了一种多任务学习方法来预测屋顶角落，利用边界在给定的图像区域。该方法模拟了在给定图像中人工勾画屋顶轮廓的过程，可以产生精确的具有尖角和直线之间的屋顶边界。具体来说，该方法由三个部分组成，即目标检测、边缘逐像素分类，以及使用卷积递归神经网络(RNN)以后续方式描述屋顶。它在本文中被称为面向对象的边和角(OEC)-RNN。利用三个建筑的图像数据集来验证OEC-RNN的性能，并与目前最先进的分割方法进行了比较。实验结果表明，OEC-RNN在覆盖、边界附着和预测多边形之间的顶点位置方面取得了最好的性能。
Building Outline Delineation from VHR Remote Sensing Images Using the Convolutional Recurrent Neural Network Embedded with Line Segment Information
摘要： 最近，一些基于递归神经网络(基于RNN)的)模型被提出，从非常高分辨率(VHR)遥感图像中描绘建筑物的轮廓。这些模型首先利用cnn通过学习边和角的概率图来识别边界碎片，然后将其输入RNN，找到一组后续的角并将其连接到建筑的外部边界中。然而，由于边角的类别不平衡，边缘检测的局部模糊性非常严重，严重影响了预测轮廓角的精度。为了解决这一挑战，本文引入了一种嵌入线段信息的卷积RNN(LSI-RNN)，这是一种旨在直接检测线段而不是边的新网络。为了实现这一点，LSIRNN利用了一个额外的协同训练分支，通过神经判别降维层(NDDR层)生成吸引场图(AFM)。因此，将传统的边的分类问题转化为线段的回归问题，从而解决了上述问题。在三个不同空间分辨率的遥感数据集上的实验结果表明，该方法始终优于其他最先进的方法。
Extracting planar roof structures from very high resolution images using graph neural networks（ISPRS）
摘要： 屋顶结构信息对于创建详细的三维建筑模型至关重要。这些技术适用于许多需要了解屋顶类型和几何形状知识的应用程序。从遥感图像中自动提取屋顶结构是一个挑战，因为场景复杂和屋顶结构种类繁多。本文介绍了一种快速、简洁的解析方法，从极高分辨率的遥感图像中提取矢量化的建筑屋顶和结构。我们的顶结构图神经网络(RSGNN)方法由两个部分组成：1)设计用于几何原语提取和匹配的多任务学习模块(MLM)，2)基于图神经网络(GNN)的关系推理模块(RRM)来重建顶结构。我们在两个数据集上测试了RSGNN与最先进的计算机视觉方法：向量化世界构建数据集和在荷兰恩斯切德获得的自定义数据集。它在仅使用一半的训练时间的两个数据集上为msAP和FH提供了0.6/1.3和1.2/2.1的增加。此外，我们还进行了一个系统的消融研究，以进一步验证其稳健性。我们的结论是，RSGNN自动生成的平面屋顶结构在定性和定量评估方面都优于竞争模型。
PolyWorld: Polygonal Building Extraction with Graph Neural Networks in Satellite Images
code: https://paperswithcode.com/paper/polyworld-polygonal-building-extraction-with
虽然大多数最先进的实例分割方法产生二进制分割掩模，但地理和制图应用程序通常需要提取对象的精确向量多边形，而不是栅格化输出。本文介绍了一种神经网络，它直接从图像中提取建筑顶点，并将它们正确地连接起来，以创建精确的多边形。该模型利用图神经网络预测每对顶点之间的连接强度，并通过求解一个可微最优传输问题来估计赋值。此外，通过最小化组合分割和多边形角差损失来优化顶点位置。多边形世界在建筑多边形化方面显著优于现有技术，不仅取得了显著的定量结果，而且还产生了视觉上令人愉悦的建筑多边形。
CVNet: Contour Vibration Network for Building Extraction
code: https://paperswithcode.com/paper/cvnet-contour-vibration-network-for-building
随着深度学习的发展，经典的主动轮廓模型为基于多边形的对象提取提出了一个很有前途的解决方案。受物理振动理论的启发，我们提出了一种用于自动勾画建筑边界轮廓的轮廓振动网络(CVNet)。与以往的轮廓模型不同，CVNet最初根植于轮廓弦的力和运动原理。通过无穷小分析和牛顿第二定律，推导出物体形状的时空轮廓振动模型，并在数学上简化为二阶微分方程。为了将动态模型具体化，我们将振动模型转化为图像特征空间，并从特征域重新将方程系数参数化为可学习状态。通过轮廓振动方程的计算，轮廓变化以渐进方式演化。对多边形轮廓演化和模型优化进行调制，形成一个闭环的端到网络。在三个数据集上进行的综合实验表明，我们的CVNet相对于其他基线和最先进的基于多边形的建筑提取方法的有效性和优越性。
数据集
博客链接
Urban3D
链接：https://pan.baidu.com/s/1XEB93FAW9DQbHMVD0CT4Rg
提取码：o51l