目标检测与分类识别之数据集分类

摘要：在拿到数据集之后，需要对数据集进行分析，首先要知道数据集的种类，每个种类的数据情况如何，简单的说就是要看看图片长什么样，有什么特征，归类后有利于我们对数据的分析，以下以“华为云杯”2020深圳开发数据应用创新大赛-生活垃圾图片分类的数据集为例，进行演示

获取后的数据集的数据结构是标准的VOC数据集
一共有14964张图片和44个类别

那么我们将类别分开，为了防止读取文件的时候报编码格式出错，所以已经把类别写入程序，当然在能处理好文件编码问题，直接读取train_classes.txt读取类别名称也是可以的，考虑到不同系统可能会导致文件编码问题，所以本文还是将类别名称写到程序内了，可能会显得程序有点笨重了。代码如下：

import os
import xml.dom.minidom
from PIL import Image

#-------------------提前创建文件夹，用于存放图片类别---------------------#
class_names = ['一次性快餐盒', '书籍纸张', '充电宝', '剩饭剩菜', '包', '垃圾桶', '塑料器皿', '塑料玩具', '塑料衣架', '大骨头', '干电池', '快递纸袋', '插头电线', '旧衣服', '易拉罐', '枕头', '果皮果肉', '毛绒玩具', '污损塑料', '污损用纸', '洗护用品', '烟蒂', '牙签', '玻璃器皿', '砧板', '筷子', '纸盒纸箱', '花盆', '茶叶渣', '菜帮菜叶', '蛋壳', '调料瓶', '软膏', '过期药物', '酒瓶', '金属厨具', '金属器皿', '金属食品罐', '锅', '陶瓷器皿', '鞋', '食用油桶', '饮料瓶', '鱼骨']
root_dir = os.path.dirname(__file__)
images_path = os.path.join(root_dir, 'images')
for class_name in class_names:
    class_dir = os.path.join(images_path, class_name)
    if  not os.path.exists(class_dir):
        os.makedirs(class_dir)
#-------------------------------------------------------------------------#

AnnoPath = r'./VOCdevkit/VOC2007/Annotations/' #标签文件路径
imgPath = r'./VOCdevkit/VOC2007/JPEGImages/'  #图片文件路径
Annolist = os.listdir(AnnoPath)
rate = {} # 创建一个字典用于存放标签名和对应的出现次数
total = 0

for annotation in Annolist:
    fullname = AnnoPath + annotation
    print(fullname,annotation)
    image_name = annotation.split('.')[0]


    dom = xml.dom.minidom.parse(fullname) # 打开XML文件
    # print(fullname,annotation)
    print('---------------', total)

    collection = dom.documentElement # 获取元素对象
    objectlist = collection.getElementsByTagName('object') # 获取标签名为object的信息
    for object in objectlist:
        namelist = object.getElementsByTagName('name') # 获取子标签name的信息
        objectname = namelist[0].childNodes[0].data # 取到name具体的值
        if objectname not in rate: # 判断字典里有没有标签，如无添加相应字段
            rate[objectname] = 0

#----------------------拷贝图片到对应目录------------------------#
        image_path = imgPath + image_name+".jpg"
        if os.path.exists(image_path):
            image = Image.open(image_path)
            image.save(os.path.join(images_path, objectname) +'/'+image_name+".jpg")
#----------------------------------------------------------------#

        rate[objectname] += 1
        total += 1


print(rate)
print(total)

将代码写为depart_classes.py， 执行脚本后就可以将类别分开了。

这样我们就可以更有针对性的去观察不同类的特点，帮助我们对数据集进行分析。

包

玻璃器皿

饮料瓶

花盆

类别太多就不一一放图了，我们可以将ap得分比较低的类单独拿出来分析，通过分析出原因：
1、数据集相对单一（比如上图中的花盆，一个花盆摆了多个pose，本身训练集就比较少）
2、图片数量不够（比如垃圾桶就只有101张图，花盆只有157张图）
3、图片遮挡比较厉害（数据集中有很多遮挡的图片）
AP得分低的类都是有上面3个毛病，所有还是需要多数据集进行适当扩充，有助于提升模型的泛化。

除了分开类别之外，我们可以统计一下各个类别的数据有多少，代码如下：

import os
import xml.dom.minidom


AnnoPath = r'G:/Annotations/'
Annolist = os.listdir(AnnoPath)
rate = {} # 创建一个字典用于存放标签名和对应的出现次数
total = 0

for annotation in Annolist:
    fullname = AnnoPath + annotation
    print(fullname,annotation)

    dom = xml.dom.minidom.parse(fullname) # 打开XML文件
    # print(fullname,annotation)
    print('---------------', total)

    collection = dom.documentElement # 获取元素对象
    objectlist = collection.getElementsByTagName('object') # 获取标签名为object的信息
    for object in objectlist:
        namelist = object.getElementsByTagName('name') # 获取子标签name的信息
        objectname = namelist[0].childNodes[0].data # 取到name具体的值
        if objectname not in rate: # 判断字典里有没有标签，如无添加相应字段
            rate[objectname] = 0
        rate[objectname] += 1
        total += 1

print(rate)
print(total)
f=open(r'G:\tiaozhansai\垃圾分类\VOCdevkit\count.txt','w',encoding='utf-8')
keys=[]
values=[]
for key,value in rate.items():
    f.write(key+':'+str(value))
    keys.append(key)
    values.append(value)
f.close()


#画图
import matplotlib.pyplot as plt
# object = []
# number = []
# for key in rate:
#     object.append(key)
#     number.append(rate[key])
# plt.figure()
# #解决中文显示问题
# plt.rcParams['font.sans-serif']=['SimHei']
# plt.rcParams['axes.unicode_minus'] = False
# plt.bar(object, number)
# # plt.bar(number,object )
#
# plt.title('result')
# plt.show()
#########################################
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
fig, ax = plt.subplots()
b = ax.barh(range(len(keys)), values, color='#6699CC')

# 为横向水平的柱图右侧添加数据标签。
for rect in b:
    w = rect.get_width()
    ax.text(w, rect.get_y() + rect.get_height() / 2, '%d' %
            int(w), ha='left', va='center')

# 设置Y轴纵坐标上的刻度线标签。
ax.set_yticks(range(len(keys)))
ax.set_yticklabels(keys)

# 不要X横坐标上的label标签。
plt.xticks(())

plt.title('水平横向的柱状图', loc='center', fontsize='25',
          fontweight='bold', color='red')
plt.savefig(r'G:\tiaozhansai\垃圾分类\VOCdevkit\count.jpg')
plt.show()

将代码写成脚本count_class.py后运行，可以得到以下效果：