因为目前的开源数据集ImageNet、VOC2007+2012等都是将图片的标签文件保存在xml文件中的的,所以目前主流的一些深度学习算法如SSD、Faster-RCNN等在训练的过程中都涉及到将数据处理为VOC格式的步骤。
xml文件由一个根元素和多个子元素构成,这些子元素都嵌套在根元素中,而子元素又可以嵌套在另一个子元素下,看图说话更清晰:
我在用自己的数据训练SSD-Tensorflow的时候涉及了一些对标签的一些运算,所以需要读取xml中的一些属性值,然后自动生成新的xml文件,在网上看了挺多资料,最后成功解决问题,但是发现网上的大神们多半直接上代码,我这种小白看得挺痛苦,许多函数和操作都需要再百度一下才看懂,后面觉得应该记录一下,说不定有人跟我一样需要,也防止自己以后用到~
#!/usr/bin/env python
# coding:utf-8
#在使用这段代码之前需要自行下载lxml.etree和xml模块
#我用的anaconda,所以直接“conda install lxml.etree,xml”
from lxml.etree import Element, SubElement, tostring
from xml.dom.minidom import parseString
import os
import xml.etree.ElementTree as ET #导入xml模块
'''
该部分内容为读取已存在的xml文件,并根据需要读取相应的属性
我需要读取的是xmin、xmax、ymin、ymax和name
'''
#将构建好的xml内容写入相应的.xml文件中
def write_to_xml(path, xml):
savingtxtmsg = open(path, 'wb')
savingtxtmsg.write(xml)
savingtxtmsg.close()
#批量读取xml文件,并提取出其中的name, xmin, xmax, ymin, ymax
file_path = '/Your/existed/xml/file' #需要读取的xml文件所在的文件夹
save_path = '/The/path/you/are/going/to/save' #将要保存xml的文件夹
files = os.listdir(file_path) #列举出文件夹中的所有文件
for item in files: #循环
if item.endswith('.xml'): #只对文件夹中的xml文件进行操作
path = os.path.join(file_path, item) #拼接文件路径
save_xml =os.path.join(save_path,str(int(item[:-4])+1) + '.xml') #拼接文件路径
tree = ET.parse(path) #分析指定的xml文件
root = tree.getroot() #获取根元素
#创建用于存储xmin、xmax、ymin、ymax和name的五个空数组
xmin_g = []
xmax_g = []
ymin_g = []
ymax_g = []
name_g = []
for ob in root.iter('object'): #寻找根元素下的一级子元素object,如有多个object则对每一个object进行一次以下操作
for name in ob.iter('name'): #寻找object下的属性name
name = name.text #获取属性name的值并将其存储到数组name_g中
name_g.append(name)
for bndbox in ob.iter('bndbox'): #寻找子元素object下的二级子元素bndbox
#获取bndbox下的属性xmin、xmax、ymin和ymax的值并存入相应的数组
for xmin in bndbox.iter('xmin'):
x1 = xmin.text
for ymin in bndbox.iter('ymin'):
y1 = ymin.text
for xmax in bndbox.iter('xmax'):
x2 = xmax.text
for ymax in bndbox.iter('ymax'):
y2 = ymax.text
xmin_g.append(x1)
ymin_g.append(y1)
xmax_g.append(x2)
ymax_g.append(y2)
i = len(xmin_g) #获取数组中保存的属性值个数,用于后面新建xml用
'''
此部分为生成新的xml文件的实现代码,因为我只需要修改xmin、xmax、ymin、ymax和name
的属性值,其他属性值都是固定的,所以采用直接赋值的方式,不过也可根据需要自行更改,
自动添加属性值的方式与xmin等属性值的添加方式类似。
'''
#根据获得的数据生成新的xml文件
node_root = Element('annotation') #新建根元素
node_folder = SubElement(node_root, 'folder') #新建根元素的属性folder
node_folder.text = 'KITTI' #为根元素的属性赋值
node_filename = SubElement(node_root, 'filename')
node_filename.text = '000001.jpg'
node_source = SubElement(node_root, 'source') #新建子元素source
node_database = SubElement(node_source, 'database') #为子元素source新建属性database
#注意观察,在谁下面新建子元素,SubElement(a,'value')中的a就是谁
node_database.text = 'Unknown'
node_size = SubElement(node_root, 'size') #在
node_width = SubElement(node_size, 'width')
node_width.text = '720'
node_height = SubElement(node_size, 'height')
node_height.text = '480'
node_depth = SubElement(node_size, 'depth')
node_depth.text = '3'
node_segmented = SubElement(node_root, 'segmented')
node_segmented.text = '0'
c = 0
while c < i: #用循环的方式新建多个子元素object
node_object = SubElement(node_root, 'object')
node_name = SubElement(node_object, 'name')
node_name.text = name_g[c]#赋值必须是字符串格式
node_pose = SubElement(node_object, 'pose')
node_pose.text = 'Unspecified'
node_truncated = SubElement(node_object, 'truncated')
node_truncated.text = '0'
node_difficult = SubElement(node_object, 'difficult')
node_difficult.text = '0'
node_bndbox = SubElement(node_object, 'bndbox')
node_xmin = SubElement(node_bndbox, 'xmin')
node_xmin.text = str(int(xmin_g[c])-1)
node_ymin = SubElement(node_bndbox, 'ymin')
node_ymin.text = str(ymin_g[c])
node_xmax = SubElement(node_bndbox, 'xmax')
node_xmax.text = str(int(xmax_g[c])-1)
node_ymax = SubElement(node_bndbox, 'ymax')
node_ymax.text = str(ymax_g[c])
c += 1
xml = tostring(node_root, pretty_print=True) #格式化显示,该换行的换行
dom = parseString(xml)
#将生成的数据保存到一个xml文件中
write_to_xml(save_xml, xml)