目标检测——数据集处理

目录

1.数据处理

1.1图片数据读取

1.1.1数据集划分

1.1.2真实框解析读取

1.2数据预处理

1.2.1成对读取图片及标号

 1.2.2 图片增广

1.3创建dataset类

---

1.数据处理

以百度的安全帽数据集为例。

1.1图片数据读取

1.1.1数据集划分

安全帽数据集共有5000张图片和5000个标注文件xml，每个xml文件对应一张图片，在提取数据集的标号前，首先应该划分数据集train、test、val各3750、625、625张，分别占全部数据集的1/4、1/8、1/8。

# 数据预处理:5000张图片和5000个标注xml文件
# 划分集合:train:3750, test:625, val:625
import os
import shutil
filenames = os.listdir('/home/aistudio/work/annotations')
print(len(filenames))

os.mkdir('/home/aistudio/work/annotations/train/')
os.mkdir('/home/aistudio/work/annotations/test/')
os.mkdir('/home/aistudio/work/annotations/val/')
for id, filename in enumerate(filenames):
    if id < 3750:
        shutil.move(r'/home/aistudio/work/annotations/'+ filename, r'/home/aistudio/work/annotations/train/'+filename)
    elif 3750 <= id < 4375:
        shutil.move(r'/home/aistudio/work/annotations/'+ filename, r'/home/aistudio/work/annotations/test/'+filename)
    else:
        shutil.move(r'/home/aistudio/work/annotations/'+ filename, r'/home/aistudio/work/annotations/val/'+filename)

1.1.2真实框解析读取

xml文件的内容：

    images
    hard_hat_workers0.png
    
        416
        416
        3
    
    0
    

编写get_annotations函数，解析XML文件返回一个由字典组成的列表，每个字典的内容包括：（后面有#的为重点使用的信息）

voc_rec = {

            'im_file': img_file,  #图片文件路径名 

            'h': im_h,                # 图片的高

            'w': im_w,                #图片的宽

            'gt_class': gt_class,  # 真实框的类别 ，['helmet', 'head', 'person'] 共3类

            'gt_bbox': gt_bbox,  # 真实框的位置 

            'gt_poly': [],   

            'difficult': difficult

            }

get_annotations代码函数：3个参数cname2cid是类名序号的映射字典, datadir标注文件的目录, imgdir图片文件的目录

import xml.etree.ElementTree as ET
import numpy as np

def get_annotations(cname2cid, datadir, imgdir):
    # 列出文件名
    filenames = os.listdir(datadir)
    records = []
    for fname in filenames:
        # 解析xml
        fpath = os.path.join(datadir, fname)
        tree = ET.parse(fpath)
        
        # 解析图片
        img_file = os.path.join(imgdir, tree.find('filename').text)
        im_w = float(tree.find('size').find('width').text)
        im_h = float(tree.find('size').find('height').text)
        depth = int(tree.find('size').find('height').text)

        # 解析锚框