【Pytorch学习笔记八】深度学习数据集介绍（训练集、验证集、测试集）及数据标注工具（labelme等）
文章目录
-
- 1. 什么是数据集
- 2.数据集划分：训练集、验证集、测试集
-
- 2.1 训练集、验证集、测试集
- 2.2 划分方法
- 2.3 划分比例
- 2.4 常用公共数据集介绍
- 3.数据标注工具
-
- 3.1 labelme
- 3.2 其它标注工具介绍
1. 什么是数据集
用已知某种或某些特性的样本作为训练集，以建立一个数学模型，再用已建立的模型来预测未知样本，此种方法被称为有监督学习，是最常用的一种机器学习方法。为了获得有监督学习中样本的真实分类标签（classification label）或者真实目标值（target value），某些情况下，可以采用人工专家标注的方法获得，而这就是数据集。有监督学习是从有正确答案的样本集合中学习，即每个样本的分类标签（classification label）或者目标值（target value）已知。有监督学习中样本的ground truth指的是每个样本的真实分类标签（classification label）或者真实目标值（target value）。
2.数据集划分：训练集、验证集、测试集
2.1 训练集、验证集、测试集
训练集（train set）： 用于模型拟合的数据样本，调试网络中的参数。
验证集（validation set）： 查看训练效果，模型训练的效果是否朝着坏的方向进行。验证集的作用是体现在训练的过程。举个栗子：通过查看训练集和验证集的损失值随着epoch的变化关系可以看出模型是否过拟合，如果是可以及时停止训练，然后根据情况调整模型结构和超参数，大大节省时间。
测试集（test set）： 测试网络的实际学习能力，评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。测试集的作用是体现在测试的过程。
这里验证集和测试集容易混淆，注意两者的区别！
2.2 划分方法
留出法
- 将数据集D划分成两个互斥集合，常用的是将训练集和测试集比例选取为7:3。
- 训练集和测试集的划分要尽可能保持数据分布的一致性。分层采样：每个类别当中也按照7:3的比例来划分。以二分类为例正例样本在训练集和测试集中的比例为7:3，反例在训练集和测试集中的比例也为7:3。
- 留出法得到的结果往往不够稳定可靠，不同的训练集测试集划分会导致模型评估标准也会不同。一般都会进行多次随机划分，例如100次试验评估就会得到100个结果，留出法取这100个结果的平均。
交叉验证法
- 将数据集D划分成k个大小相似的互斥子集，每次都用其中k-1个子集的并集作为训练集，余下那个子集作为测试集。这样就会有k次划分，k次训练。最终结果是返回k个测试结果的均值。通常把交叉验证法称为“k折交叉验证”，k最常用的取值是10，此时称为10折交叉验证。
- 假设数据集D中有m个样本，若令k=m，则得到交叉验证的一个特例，每个集合只含有一个元素，称为留一法（LOO）。留一法的评估结果比较准确，但是计算开销难以忍受，100万个样本需要训练100万次。
2.3 划分比例
- 数据量较小（传统机器学习）
没有验证集，训练集：测试集=7：3
有验证集，训练集：验证集：测试集=6：2：2
- 数据量较大（如上百万大数据划分）
可以将训练集、验证集、测试集比例调整为98：1：1
2.4 常用公共数据集介绍
常用公共数据集可查看这篇博客文章：
https://blog.csdn.net/weixin_42010722/article/details/120199613
目标检测数据集格式转换脚本（常见如voc to coco）：
https://github.com/DLLXW/objectDetectionDatasets
用于施工现场中的目标检测大型数据集（SODA）：
VOC格式，包含15种物体4种类别，图片数量大于19,846张图片。
论文网址：https://www.sciencedirect.com/science/article/pii/S0926580522003727?via%3Dihub
链接直接下载SODA的第一个版本 （文件大小约24G）：
https://scut-scet-academic.oss-cn-guangzhou.aliyuncs.com/SODA/2022.2/VOCv1.zip
3.数据标注工具
3.1 labelme
labelme是一款图像标注工具（包括：(instance segmentation, semantic segmentation, bbox detection, and classification)），主要用于神经网络构建前的数据集准备工作。
gitcode网址：
https://gitcode.net/mirrors/wkentaro/labelme?utm_source=csdn_github_accelerator
github网址：
https://github.com/wkentaro/labelme
安装及使用：
首先可以用conda新建一个labelme环境，然后激活。
#新建环境
conda create -n labelme python=3.8
#激活环境
activate labelme
安装labelme包：
conda install labelme
#或者
pip install labelme
打开labelme：
命令行输入
labelme
运行时出现报错
QT4 = QT_VERSION[0] == “4”
TypeError: ‘NoneType’ object is not subscriptable
安装一下pyqt5就可以了
pip install pyqt5
使用教学网址：http://labelme.csail.mit.edu/
3.2 其它标注工具介绍
LabelImg：
注释以 PASCAL VOC 格式保存为 XML 文件，这是ImageNet使用的格式。此外，它还支持 YOLO 和 CreateML 格式。
github网址：https://github.com/tzutalin/labelImg
point-cloud-annotation-tool：
github网址：https:/github.com/abreheret/PixelAnnotationTool
CVAT：
CVAT 是一种用于计算机视觉的交互式视频和图像注释工具。它被全球数以万计的用户和公司使用。CVAT 是免费和开源的。
github网址：https://github.com/opencv/cvat
在线使用：https://app.cvat.ai/auth/login
LabelBox：
使用 Labelbox，您可以在一个统一的平台内以最少的人工监督快速创建训练数据、训练模型、管理模型实验并提高模型性能。
在线网址：https://labelbox.com/
参考资料：
https://blog.csdn.net/qq_44704609/article/details/104374600
https://blog.csdn.net/u010916338/article/details/92585641
欢迎关注公众号【智能建造小硕】（分享计算机编程、人工智能、智能建造、日常学习和科研经验等，欢迎大家关注交流。）