在探索网络的过程中,比较基础和重要的工作是了解数据,今天来总结下我目前使用过的分割任务数据集。本博文将详细介绍基础数据集 : IRSTD-1k(Infrared Small Target Detection,最大的真实红外弱小目标单帧检测数据集,支持二分类语义分割);
Pascal VOC2012(TPattern Analysis, Statical Modeling and Computational Learning 一个世界级的计算机视觉挑战赛数据集,支持多分类语义分割和多分类实例分割);
iSAID(A Large-scale Dataset for Instance Segmentation in Aerial Images,航空图像分割的第一个基准数据集)。
IRSTD-1k 来源于论文 2022CVPR《ISNet: Shape Matters for Infrared Small Target Detection》,作者Mingjing Zhang,附上论文链接paper,数据链接dataset。
红外弱小目标检测和分割数据集会呈现“弱”与“小”的特点,其中“弱”指的是目标信噪比低、与背景之间的对比度差、红外辐射强度弱;而“小”指的是目标像素少,检测时难以获得纹理信息。IRSTD-Ik数据集提供了1,000个具有各种目标形状、不同目标大小和丰富杂波背景的真实图像,该背景具有精确的像素级注释。该数据集分为两个文件夹,IRSTD1k_Img存放真实图像,IRSTD1k_Label存放标签mask。如图,
该数据集可用于深度学习图像分割任务,也可以研究基于滤波的检测算法,基于人类视觉系统的检测算法,基于图像数据结构的检测算法,基于深度学习目标检测算法等红外弱小目标检测算法。
Pascal VOC2012数据集出自PASCAL VOC挑战赛 (The PASCAL Visual Object Classes )是一个世界级的计算机视觉挑战赛,PASCAL全称:Pattern Analysis, Statical Modeling and Computational Learning,是一个由欧盟资助的网络组织。PASCAL VOC挑战赛主要包括以下几类:图像分类(Object Classification),目标检测(Object Detection),目标分割(Object Segmentation),行为识别(Action Classification) 等。一个数据集可以完成4个任务。paper,dataset,introduction。
图像分类与目标检测任务
分割任务,注意,图像分割一般包括语义分割、实例分割和全景分割,实例分割是要把每个单独的目标用一种颜色表示(下图中间的图像),而语义分割只是把同一类别的所有目标用同一颜色表示(下图右侧的图片)。
VOCdevkit
└── VOC2012
├── Annotations 所有的图像标注信息(XML文件)
├── ImageSets
│ ├── Action 人的行为动作图像信息
│ ├── Layout 人的各个部位图像信息
│ │
│ ├── Main 目标检测分类图像信息
│ │ ├── train.txt 训练集(5717)
│ │ ├── val.txt 验证集(5823)
│ │ └── trainval.txt 训练集+验证集(11540)
│ │
│ └── Segmentation 目标分割图像信息
│ ├── train.txt 训练集(1464)
│ ├── val.txt 验证集(1449)
│ └── trainval.txt 训练集+验证集(2913)
│
├── JPEGImages 所有图像文件
├── SegmentationClass 语义分割png图(基于类别)
└── SegmentationObject 实例分割png图(基于目标)
iSAID数据集与著名的遥感旋转框目标检测数据集同由武汉大学夏桂松团队维护,官网地址:iSAID。iSAID包含15类,共655,451个目标实例,图像数量达到2,806张,单张图像中实例数量最高可达8,000个,平均为239个,是遥感领域第一个大型实例分割数据集。
iSAID使用DOTA数据集中的图片进行像素级标注,改正了DOTA数据集中存在标注错误,相比于DOTA中188,282个目标实例,iSAID所提供的样本量和标注精细程度大大增加,数据集中的目标类别包括:plane, ship, storage tank, baseball diamond, tennis court, basketball court, ground track field, harbor, bridge, large vehicle, small vehicle, helicopter, roundabount, swimming pool, soccer ball field,基本涵盖了城市遥感解译的关键目标。所标注图片的1/2被作为训练集,1/6用于验证集,1/3用于测试集,其中训练和验证集同时放出图片和gt标注,测试集只有图片可以下载。官方已设置测评服务器,可用于在线评测算法在测试集上的性能。
iSAID充分体现了遥感图像中常见的特征和尺度分布差异。作者规定10到144像素为小目标,144到1024像素为中目标,1024及以上像素为大目标,这三类尺寸的目标占比为52.0:33.7:9.7。数据集中最大和最小的物体面积差异可以达到20,000倍。此外,数据集中还存在大量极端长宽比的物体,最大可达90,平均为2.4。
该数据集格式较为简单,就不仔细展开了。
总之对数据集的了解是十分有必要的,如有问题请留言。