收藏 | 语义分割数据集总结
点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达
本文转自|视觉算法
图片来源于网络
语义分割在自然数据集的分割效果不断进步，有研究逐步应用到了遥感领域，尤其是高分辨率遥感影像。由于遥感图像具有海量数据，尺度依赖，空间相关性强的特点，能够很好地用语义分割的方法来提取地物或进行分类。
随着全卷积神经网络的提出，卷积网络不仅在全图式的分类上有所提高，也在结构化输出的局部任务上取得了进步。全卷积神经网络实现了对图像进行像素级的分类，从而解决了语义级别的图像分割问题。
本期对现有的10个遥感语义分割数据集进行总结，并附上下载链接，供大家对自己的算法进行测试。
分享的语义分割数据集如下：
1. Gaofen Image Dataset(GID)
2. ISPRS Test Project on Urban Classification and 3D Building Reconstruction—2D SemanticLabeling Contest
3. 2017 IEEE GRSS Data Fusion Contest
4. Aerial Image Segmentation Dataset
5. 2018 IEEE GRSS Data Fusion Contest
6. EvLab-SS Dataset
7. DeepGlobe Land Cover Classification Challenge
8. 38-Cloud dataset
9. Aeroscapes
10. SEN12MS
01
Gaofen Image Dataset(GID)
Gaofen Image Dataset(GID)是一个用于土地利用和土地覆盖（LULC）分类的大型数据集。它包含来自中国60多个不同城市的150幅高质量高分二号（GF-2）图像，这些图像覆盖的地理区域超过了5万km²。GID图像具有较高的类内多样性和较低的类间可分离性。GF-2是高清晰度地球观测系统（HDEOS）的第二颗卫星。GF-2卫星包括了空间分辨率为1 m的全色图像和4 m的多光谱图像，图像大小为6908×7300像素。多光谱提供了蓝色、绿色、红色和近红外波段的图像。自2014年启动以来，GF-2已被用于土地调查、环境监测、作物估算、建设规划等重要应用。
下载地址：
http://captain.whu.edu.cn/GID/
参考文献：
Tong X Y, Xia G S, Lu Q, et al. Learning Transferable Deep Models for Land-Use Classification with High-Resolution Remote Sensing Images[J]. arXiv preprint arXiv:1807.05713, 2018.
02
ISPRS Test Project on Urban Classification and 3D Building Reconstruction—2D Semantic Labeling Contest
ISPRS提供了城市分类和三维建筑重建测试项目的两个最先进的机载图像数据集。该数据集采用了由高分辨率正交照片和相应的密集图像匹配技术产生的数字地表模型（DSM）。这两个数据集区域都涵盖了城市场景。Vaihingen是一个相对较小的村庄，有许多独立的建筑和小的多层建筑；Postdam是一个典型的历史城市，有着大的建筑群、狭窄的街道和密集的聚落结构。每个数据集已手动分类为6个最常见的土地覆盖类别。
①不透水面 (RGB: 255, 255, 255)
②建筑物(RGB: 0, 0, 255)
③低矮植被 (RGB: 0, 255, 255)
④树木 (RGB: 0, 255, 0)
⑤汽车(RGB: 255, 255, 0)
⑥背景 (RGB: 255, 0, 0)
背景类包括水体和与其他已定义类别不同的物体（例如容器、网球场、游泳池），这些物体通常属于城市场景中的不感兴趣的语义对象。
下载地址：
http://www2.isprs.org/commissions/comm3/wg4/semantic-labeling.html
Vaihingen
该数据集包含33幅不同大小的遥感图像，每幅图像都是从一个更大的顶层正射影像图片提取的。顶层影像和DSM的空间分辨率为9 cm。遥感图像格式为8位TIFF文件，由近红外、红色和绿色3个波段组成。DSM是单波段的TIFF文件，灰度等级（对应于DSM高度）为32位浮点值编码。
Postdam
与Vaihingen区域类似，该数据集也是由3个波段的遥感TIFF文件和单波段的DSM组成。其每幅遥感图像区域覆盖大小是相同的。这样，遥感图像和DSM是在同一个参考系统上定义的（UTM WGS84）。每幅图像都有一个仿射变换文件，以便在需要时将图像重新分解为更小的图片。
除了DSM，数据集还提供了归一化DSM，即在地面过滤之后，每个像素的地面高度被移除，从而产生了高于地形的高度表示。这些数据是使用一些全自动过滤工作流产生的，没有人工质量控制。因此，不保证这里没有错误的数据，这是为了帮助研究人员使用高度数据，而不使用绝对的DSM。
03
2017 IEEE GRSS Data Fusion Contest
2017年IEEE GRSS数据融合竞赛采用分类作为主体。要执行的任务是对各种城市环境中的土地使用（即针对2012年地方气候区（LCZ））进行分类。竞赛选择了几个城市来测试LCZ预测在世界各地推广的能力。输入数据为多时相、多源和多模态，包括图像和语义层。
数据集由4个部分组成。
美国地质调查局提供的的地面卫星数据：包含可见光、短波和长波红外在内的8个多光谱波段，并以100 m分辨率重采样的；
哨兵2图像：该图像空间分辨率为100 m，拥有9个多光谱波段即可见光、近红外和短红外波长（包含修改的哥白尼数据2016）；
辅助数据：开放街道图（OSM）层，具有土地利用信息：建筑、自然、道路和其他土地利用区域。其中还为建筑和土地使用区域提供分辨率为20 m的OSM层的栅格地图，可与卫星图像叠加。
此外，对于选取的城市，还提供了城市几个地区的各种LCZ类的地面真实标签。标签为100 m分辨率的栅格图像，也可叠加到卫星图像上。
下载地址：
http://www.grss-ieee.org/2017-ieee-grss-data-fusion-contest/http://dase.ticinumaerospace.com/index.php
04
Aerial Image Segmentation Dataset
该航空图像分为来自谷歌地图的航空遥感图像和来自OpenStreetMap的像素级的建筑、道路和背景标签。覆盖区域为柏林、芝加哥、巴黎、波茨坦和苏黎世。地物真实图像包括一张来自谷歌地图的东京地区航空图像，以及手动生成的、像素级的建筑、道路和背景标签。像素级标签以RGB顺序作为PNG图像提供，标记为建筑物、道路和背景的像素由RGB颜色[255，0，0]、[0，0，255]和[255，255，255]表示。
下载地址：
https://zenodo.org/record/1154821#.XH6HtygzbIU
05
2018 IEEE GRSS Data Fusion Contest
数据是由NCALM于2017年2月16日在16：31至18：18 GMT之间从国家机载激光测绘中心获得的。在这场比赛中使用数据收集的传感器包括：有3个不同波段的激光雷达传感器OPTech TITAM M（14sen/con340）、具有70 mm焦距的高分辨率的彩色成像仪Dimac ULTRALIGHT+、高光谱成像仪ITRES CASI 1500。多光谱激光雷达点云数据波段在1550 nm，1064 nm和532 nm。高光谱数据覆盖范围为380—1050 nm，共有48个波段，空间分辨率为1 m。高分辨率RGB遥感图像的空间分辨率为5 cm，被分割成几个单独的图片。
下载地址：
http://www.grss-ieee.org/community/technical-committees/data-fusion/2018-ieee-grss-data-fusion-contest/
http://dase.ticinumaerospace.com
06
EvLab-SS Dataset
EvLab-SS数据集用于评估真实工程场景上的语义分割算法，旨在为遥感领域的高分辨率像素级分类任务寻找一种良好的深度学习架构。
数据集来源于中国地理条件调查和绘图项目，每幅图像都有地理条件调查的完整注释。数据集的平均大小约为4500×4500像素。EvLab-SS数据集包含11个大类，分别是背景、农田、花园、林地、草地、建筑、道路、构筑物、挖孔桩、沙漠和水域，目前包括由不同平台和传感器拍摄的60幅图像。
该数据集包括35幅卫星图像，其中19幅由World-View-2卫星采集，5幅由GeoEye卫星采集，5幅由Quick Bird卫星采集，6幅由GF-2卫星采集。该数据集还有25幅航空图像，其中10幅图像的空间分辨率为0.25 m，15幅图像的空间分辨率为0.1 m。
下载地址：
http://earthvisionlab.whu.edu.cn/zm/SemanticSegmentation/index.html
参考文献：
Zhang M, Hu X, Zhao L, et al. Learning dual multi-scale manifold ranking for semantic segmentation of high-resolution images[J]. Remote Sensing, 2017, 9(5): 500
07
DeepGlobe Land Cover Classification Challenge
DeepGlobe Land Cover Classification Challenge是一个公共数据集，提供高分辨率亚米卫星图像，重点是农村地区。由于土地覆盖类型的多样性和注释的高密度，该数据集很具挑战性。该数据集共包含10146幅卫星图像，大小为20448×20448像素，分为训练/验证/测试集，每组图像为803/171/172幅（对应70%/15%/15%）。
下载地址：
http://deepglobe.org/index.html
https://competitions.codalab.org/competitions/18468
08
38-Cloud dataset
该数据集包含38幅Landsat 8 场景图像及其手动提取的像素级地物真实标签，用于云检测。这些场景的整个图像被裁剪成384×384个斑块，以适合于基于深度学习的语义分割算法。数据集被划分为8400个斑块进行训练，9201个补丁进行测试。每幅图像有4个相应的波段，分别是红色（波段4）、绿色（波段3）、蓝色（波段2）和近红外（波段5）。
下载地址：
https://github.com/SorourMo/38-Cloud-A-Cloud-Segmentation-Dataset
参考文献：
Mohajerani S, Krammer T A, Saeedi P. Cloud Detection Algorithm for Remote Sensing Images Using Fully Convolutional Neural Networks[J]. arXiv preprint arXiv:1810.05782, 2018
Mohajerani S, Saeedi P. Cloud-Net: An end-to-end Cloud Detection Algorithm for Landsat 8 Imagery[J]. arXiv preprint arXiv:1901.10077, 2019
09
Aeroscapes
空中语义分割数据集包括使用商业无人机从5到50 m高度范围内捕获的图像。该数据集为11个类提供了3269幅720 p图像和地表真实标签。
下载地址：
https://github.com/ishann/aeroscapes
参考文献：
Nigam I, Huang C, Ramanan D. Ensemble knowledge transfer for semantic segmentation[C]//2018 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2018: 1499-1508
10
SEN12MS
SEN12MS是由180748张相应的3种类型遥感数据组成的一个数据集，包括了Sentinel-1双极化SAR数据，Sentinel-2多光谱图像和MODIS土地覆盖图。其中Sentinel-1图像分辨率为20 m，Sentinel-2多光谱图像分辨率为10 m，波段数为13，MODIS的土地覆盖的图像分辨率为500 m。
下载地址：
https://mediatum.ub.tum.de/1474000
end
下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~
