【深度学习】数据集预处理

文章目录


数据集预处理开个坑:
1.各大引擎爬取回来的数据
2.同事们帮我标注的数据
3.imagenet的数据…
4.迭代的badcase数据
它们散落在不同的文件夹下,因此需要一个pipeline来完成数据集管理这件事:

  1. 图片验证 0 size的和损害打不开的删除
  2. 去重处理,各大引擎来的难免重复,去掉
  3. 生成空白类(比如yolov)的空白label
  4. 安自定义比例划分train和test, 特别是迭代的图片,仍然需要把迭代扩充的数据划分进来

先开个坑,朋友们可以在这里蹲续集!大家加油

你可能感兴趣的:(图像识别,深度学习,yolov,python,目标检测,深度学习)