NeurIPS 2021 | 武汉大学RSIDEA团队开源LoveDA数据集！面向遥感语义分割与迁移学习...

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

作者 | 王俊珏

论文地址: https://arxiv.org/pdf/2110.08733.pdf 

代码与数据: https://github.com/Junjue-Wang/LoveDA

第一作者主页：

http://junjuewang.top/ ；http://zhuozheng.top/

该工作是武汉大学测绘遥感信息工程国家重点实验室RSIDEA团队在地表覆盖分类方面的工作，已被NeurIPS 2021 Datasets and Benchmarks Track接收。在大规模高分地表覆盖制图任务中，城市和农村发展不同与地理环境差异限制深度网络的泛化性。本文构建了一个城市-农村域自适应地表覆盖数据集LoveDA（Land-cOVE dataset for Domain Adaptation）同时推进推进语义分割和迁移学习。LoveDA 数据集包含来自三个不同城市的5987张0.3m高分辨率影像和166,768个标注语义对象。LoveDA 数据集包含两个领域（城市和农村），这带来了相当大的挑战：1）多尺度对象；2)复杂的背景样本；3)不一致的样本分布。LoveDA 数据集适用于土地覆盖语义分割和无监督域适应(UDA)任务。因此，我们在11种语义分割方法和8种域自适应方法上对 LoveDA 数据集进行了基准测试。此外还进行了一些探索性研究，包括多尺度架构和策略、额外的背景监督和伪标签分析，以应对这些新挑战。

1

数据集特色

1. 来自南京、常州、武汉共5987幅高空间分辨率（0.3 m）遥感影像

2. 关注城乡不同地理环境，推进语义分割和域自适应任务

3. 三大挑战：多尺度对象 复杂的背景样本 不一致的类分布

2

数据分布与采集标注

图1：LoveDA数据分布图

LoveDA数据集由0.3 m影像构建，采集于南京、常州和武汉，数据来源Google Earth，采集时间为2016年7月，总覆盖地理面积536.15 （图1）。由于每个研究领域都有自己的规划策略，城乡比例不一致。收集了农村和城市地区的数据参照国家统计局发布的城乡分区代码。从经济发达地区选择了九个人口稠密（> 1000 ）城市地区。其他九个农村地区选自未开发地区。经过几何配准和预处理，每个区域都被1024 ×1024 影像无重叠覆盖。

3

数据集统计量

图2：LoveDA统计量图

(a) 相较于现有亚米高分辨率地表覆盖数据集，我们数据集拥有多的像素样本与标记地物目标。

(b) 建筑物拥有最多的实例标注。

(c) 背景类包含最多具有复杂样本的像素，复杂背景样本在复杂场景中具有较大的类内方差，会导致严重的误报。

4

城市-郊区场景差异

图3：城市-郊区差异分析图

(a) 由于人口密度高，城市地区总是包含更多的人造物体，例如建筑物和道路。相比之下，农村地区的农业用地更多。城乡场景之间的类分布不一致，增加了模型泛化的难度。

(b) 由于农业、水域等大范围的同质化地理区域，乡村区域影像光谱方差更低。

(c) 农村地区大部分建筑规模较小，呈现“长尾”现象。然而，城市场景中的建筑物具有较大的尺寸差异。其他类别也存在尺度差异，见图1。多尺度对象要求模型具有多尺度捕获能力。面对大规模的土地覆盖制图任务时，城乡场景的差异给模型的可迁移性带来了新的挑战。

5

主要实验结果

5.1 语义分割实验

我们测试了11个先进语义分割模型在LoveDA上的性能，在结果中我们发现拥有Multi-scale结构的网络能够好处理LoveDA中多尺度目标问题。因此，我们进一步引入多尺度训练(MSTr)与多尺度测试(MSTrTe)，发现各类网络模型性能得到了进一步提升。

5.2 领域自适应实验

同时，我们测试了8种域自适应方法在LoveDA城市-农村中迁移性能。我们发现自训练的方法要优于强化学习方法。因为城市-农村之间存在不一致的样本分布问题，自训练方法通过伪标签生成的方式能够产生目标域样本，能够缓解此问题。具体分析请见原文。

6

总结

在这项工作中，我们通过构建LoveDA数据集，抛出城市-农村地理环境差异引发的迁移问题，该数据集包含两类任务与三个地球视觉挑战。测试了11类语义分割与8类域适应方法，为后续模型开发提供基础与参考。我们希望LoveDA能够同时推进语义分割与迁移学习在地球视觉中的发展，从而推动大尺度地表覆盖制图模型的研究与应用。

ICCV和CVPR 2021论文和代码下载

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集

后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的两篇Transformer综述PDF
CVer-Transformer交流群成立
扫码添加CVer助手，可申请加入CVer-Transformer 微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。
一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加小助手微信，进交流群
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看