KITTI YOLOV3数据集VOC格式制作排坑
KITTI YOLOV3数据集格式制作排坑
主要参考一下博主的经验，排除了代码运行中的一些坑
https://blog.csdn.net/qq583083658/article/details/86321987
1. 数据集下载
打开KITTI官方网站，出现以下界面
由于这里只考虑2D目标检测，因此只需要下载第一项12GB的数据图片和对应的5MB训练集标签即可。12GB的数据图片包含7481张的训练集图片和7518的测试集图片，共有8个类别：Car（小轿车）、Van（面包车）、Truck（卡车）、Tram（电车）、Pedestrain（行人）、Person（sit-ting）（行人）、Cyclist（骑行人）、Misc（杂项），还有一项DontCare为不关心的物体。5MB的训练集标签只有训练集的标签没有测试集的标签，文件目录分布如下：
2. 将KITTI的txt标签格式转换为VOC数据格式的标签xxx.XML
首先模仿PASCAL VOC目录格式，创建一个VOC_KITTI文件夹，里面分别创建Annotations文件夹（用于存放将要生成的标签文件xxxx.xml）,JPEGImages文件夹（用于存放KITTI所有的训练图片），Labels文件夹（用于存放了KITTI的标签格式文件xxxx.txt）,还有两个脚本文件modify_annotations_txt.py和kitti_txt_to_xml.py，如图所示。
2-1. 将8类调整为3类
首先提供了一个脚本modify_annotations_txt.py可以把原来的8类转化为现在的3类：Car，Pedestrain，Cyclist。把原来的Car、Van、Truck、Tram合并为Car类，把原来的Pedestrain和Person（sit-ting）合并为现在的Pedestrain，原来的Cyclist这一类保持不变。
# modify_annotations_txt.py
import glob
import string
txt_list = glob.glob('./Labels/*.txt') # 存储Labels文件夹所有txt文件路径
def show_category(txt_list):
category_list= []
for item in txt_list:
try:
with open(item) as tdf:
for each_line in tdf:
labeldata = each_line.strip().split(' ') # 去掉前后多余的字符并把其分开
category_list.append(labeldata[0]) # 只要第一个字段，即类别
except IOError as ioerr:
print('File error:'+str(ioerr))
print(set(category_list)) # 输出集合
def merge(line):
each_line=''
for i in range(len(line)):
if i!= (len(line)-1):
each_line=each_line+line[i]+' '
else:
each_line=each_line+line[i] # 最后一条字段后面不加空格
each_line=each_line+'\n'
return (each_line)
print('before modify categories are:\n')
show_category(txt_list)
for item in txt_list:
new_txt=[]
try:
with open(item, 'r') as r_tdf:
for each_line in r_tdf:
labeldata = each_line.strip().split(' ')
if labeldata[0] in ['Truck','Van','Tram']: # 合并汽车类
labeldata[0] = labeldata[0].replace(labeldata[0],'Car')
if labeldata[0] == 'Person_sitting': # 合并行人类
labeldata[0] = labeldata[0].replace(labeldata[0],'Pedestrian')
if labeldata[0] == 'DontCare': # 忽略Dontcare类
continue
if labeldata[0] == 'Misc': # 忽略Misc类
continue
new_txt.append(merge(labeldata)) # 重新写入新的txt文件
with open(item,'w+') as w_tdf: # w+是打开原文件将内容删除，另写新内容进去
for temp in new_txt:
w_tdf.write(temp)
except IOError as ioerr:
print('File error:'+str(ioerr))
print('\nafter modify categories are:\n')
show_category(txt_list)
运行以上的脚本，原来的8类变为3类，以000010.txt为例，展示变化前后的标签
# 原来的标签
Car 0.80 0 -2.09 1013.39 182.46 1241.00 374.00 1.57 1.65 3.35 4.43 1.65 5.20 -1.42
Car 0.00 0 1.95 354.43 185.52 549.52 294.49 1.43 1.70 3.95 -2.39 1.66 11.80 1.76
Pedestrian 0.00 2 1.41 859.54 159.80 879.68 221.40 1.96 0.72 1.09 8.33 1.55 23.51 1.75
Car 0.00 0 -1.78 819.63 178.12 926.85 251.56 1.51 1.60 3.24 5.85 1.64 16.50 -1.44
Car 0.00 2 -1.69 800.54 178.06 878.75 230.56 1.45 1.74 4.10 6.87 1.62 22.05 -1.39
Car 0.00 0 1.80 558.55 179.04 635.05 230.61 1.54 1.68 3.79 -0.38 1.76 23.64 1.78
Car 0.00 2 1.77 598.30 178.68 652.25 218.17 1.49 1.52 3.35 0.64 1.74 29.07 1.79
Car 0.00 1 -1.67 784.59 178.04 839.98 220.10 1.53 1.65 4.37 7.88 1.75 28.53 -1.40
Car 0.00 1 1.92 663.74 175.36 707.21 204.15 1.64 1.45 3.48 4.50 1.80 42.85 2.02
DontCare -1 -1 -10 737.69 163.56 790.86 197.98 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 135.60 185.44 196.06 202.15 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 796.02 162.52 862.73 183.40 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 879.35 165.65 931.48 182.36 -1 -1 -1 -1000 -1000 -1000 -10
# 现在生成的标签
Car 0.80 0 -2.09 1013.39 182.46 1241.00 374.00 1.57 1.65 3.35 4.43 1.65 5.20 -1.42
Car 0.00 0 1.95 354.43 185.52 549.52 294.49 1.43 1.70 3.95 -2.39 1.66 11.80 1.76
Pedestrian 0.00 2 1.41 859.54 159.80 879.68 221.40 1.96 0.72 1.09 8.33 1.55 23.51 1.75
Car 0.00 0 -1.78 819.63 178.12 926.85 251.56 1.51 1.60 3.24 5.85 1.64 16.50 -1.44
Car 0.00 2 -1.69 800.54 178.06 878.75 230.56 1.45 1.74 4.10 6.87 1.62 22.05 -1.39
Car 0.00 0 1.80 558.55 179.04 635.05 230.61 1.54 1.68 3.79 -0.38 1.76 23.64 1.78
Car 0.00 2 1.77 598.30 178.68 652.25 218.17 1.49 1.52 3.35 0.64 1.74 29.07 1.79
Car 0.00 1 -1.67 784.59 178.04 839.98 220.10 1.53 1.65 4.37 7.88 1.75 28.53 -1.40
Car 0.00 1 1.92 663.74 175.36 707.21 204.15 1.64 1.45 3.48 4.50 1.80 42.85 2.02
2-2. 将原来KITTI标注的txt格式转换成PASCAL VOC的xml格式
现在我们只需要标签的type、bbox等5项，还需要吧float类型转换为int类型，将生成的xml文件存放于Annotations文件夹中，使用kitti_txt_to_xml.py。
# kitti_txt_to_xml.py
# encoding:utf-8
# 根据一个给定的XML Schema，使用DOM树的形式从空白文件生成一个XML
from xml.dom.minidom import Document
import cv2
import os
def generate_xml(name,split_lines,img_size,class_ind):
doc = Document() # 创建DOM文档对象
annotation = doc.createElement('annotation')
doc.appendChild(annotation)
title = doc.createElement('folder')
title_text = doc.createTextNode('KITTI')
title.appendChild(title_text)
annotation.appendChild(title)
img_name=name+'.png'
title = doc.createElement('filename')
title_text = doc.createTextNode(img_name)
title.appendChild(title_text)
annotation.appendChild(title)
source = doc.createElement('source')
annotation.appendChild(source)
title = doc.createElement('database')
title_text = doc.createTextNode('The KITTI Database')
title.appendChild(title_text)
source.appendChild(title)
title = doc.createElement('annotation')
title_text = doc.createTextNode('KITTI')
title.appendChild(title_text)
source.appendChild(title)
size = doc.createElement('size')
annotation.appendChild(size)
title = doc.createElement('width')
title_text = doc.createTextNode(str(img_size[1]))
title.appendChild(title_text)
size.appendChild(title)
title = doc.createElement('height')
title_text = doc.createTextNode(str(img_size[0]))
title.appendChild(title_text)
size.appendChild(title)
title = doc.createElement('depth')
title_text = doc.createTextNode(str(img_size[2]))
title.appendChild(title_text)
size.appendChild(title)
for split_line in split_lines:
line=split_line.strip().split()
if line[0] in class_ind:
object = doc.createElement('object')
annotation.appendChild(object)
title = doc.createElement('name')
title_text = doc.createTextNode(line[0])
title.appendChild(title_text)
object.appendChild(title)
bndbox = doc.createElement('bndbox')
object.appendChild(bndbox)
title = doc.createElement('xmin')
title_text = doc.createTextNode(str(int(float(line[4]))))
title.appendChild(title_text)
bndbox.appendChild(title)
title = doc.createElement('ymin')
title_text = doc.createTextNode(str(int(float(line[5]))))
title.appendChild(title_text)
bndbox.appendChild(title)
title = doc.createElement('xmax')
title_text = doc.createTextNode(str(int(float(line[6]))))
title.appendChild(title_text)
bndbox.appendChild(title)
title = doc.createElement('ymax')
title_text = doc.createTextNode(str(int(float(line[7]))))
title.appendChild(title_text)
bndbox.appendChild(title)
# 将DOM对象doc写入文件
f = open('Annotations/'+name+'.xml','w')
f.write(doc.toprettyxml(indent = ''))
f.close()
if __name__ == '__main__':
class_ind=('Pedestrian', 'Car', 'Cyclist')
cur_dir=os.getcwd()
labels_dir=os.path.join(cur_dir,'Labels')
for parent, dirnames, filenames in os.walk(labels_dir): # 分别得到根目录，子目录和根目录下文件
for file_name in filenames:
full_path=os.path.join(parent, file_name) # 获取文件全路径
f=open(full_path)
split_lines = f.readlines()
name= file_name[:-4] # 后四位是扩展名.txt，只取前面的文件名
img_name=name+'.png'
img_path=os.path.join('./JPEGImages/',img_name) # 路径需要自行修改
img_size=cv2.imread(img_path).shape
generate_xml(name,split_lines,img_size,class_ind)
print('all txts has converted into xmls')
运行kitti_txt_to_xml.py，生成PASCAL VOC格式的xml文件。这里以000010.txt为例，展示原来的txt标签格式和现在的xml标签格式。
# 步骤2-1生成的txt格式
Car 0.80 0 -2.09 1013.39 182.46 1241.00 374.00 1.57 1.65 3.35 4.43 1.65 5.20 -1.42
Car 0.00 0 1.95 354.43 185.52 549.52 294.49 1.43 1.70 3.95 -2.39 1.66 11.80 1.76
Pedestrian 0.00 2 1.41 859.54 159.80 879.68 221.40 1.96 0.72 1.09 8.33 1.55 23.51 1.75
Car 0.00 0 -1.78 819.63 178.12 926.85 251.56 1.51 1.60 3.24 5.85 1.64 16.50 -1.44
Car 0.00 2 -1.69 800.54 178.06 878.75 230.56 1.45 1.74 4.10 6.87 1.62 22.05 -1.39
Car 0.00 0 1.80 558.55 179.04 635.05 230.61 1.54 1.68 3.79 -0.38 1.76 23.64 1.78
Car 0.00 2 1.77 598.30 178.68 652.25 218.17 1.49 1.52 3.35 0.64 1.74 29.07 1.79
Car 0.00 1 -1.67 784.59 178.04 839.98 220.10 1.53 1.65 4.37 7.88 1.75 28.53 -1.40
Car 0.00 1 1.92 663.74 175.36 707.21 204.15 1.64 1.45 3.48 4.50 1.80 42.85 2.02
# 此时转换的xml格式
<?xml version="1.0" ?>
<annotation>
<folder>KITTI</folder>
<filename>000010.png</filename>
<source>
<database>The KITTI Database</database>
<annotation>KITTI</annotation>
</source>
<size>
<width>1242</width>
<height>375</height>
<depth>3</depth>
</size>
<object>
<name>Car</name>
<bndbox>
<xmin>1013</xmin>
<ymin>182</ymin>
<xmax>1241</xmax>
<ymax>374</ymax>
</bndbox>
</object>
<object>
<name>Car</name>
<bndbox>
<xmin>354</xmin>
<ymin>185</ymin>
<xmax>549</xmax>
<ymax>294</ymax>
</bndbox>
</object>
<object>
<name>Pedestrian</name>
<bndbox>
<xmin>859</xmin>
<ymin>159</ymin>
<xmax>879</xmax>
<ymax>221</ymax>
</bndbox>
</object>
<object>
<name>Car</name>
<bndbox>
<xmin>819</xmin>
<ymin>178</ymin>
<xmax>926</xmax>
<ymax>251</ymax>
</bndbox>
</object>
<object>
<name>Car</name>
<bndbox>
<xmin>800</xmin>
<ymin>178</ymin>
<xmax>878</xmax>
<ymax>230</ymax>
</bndbox>
</object>
<object>
<name>Car</name>
<bndbox>
<xmin>558</xmin>
<ymin>179</ymin>
<xmax>635</xmax>
<ymax>230</ymax>
</bndbox>
</object>
<object>
<name>Car</name>
<bndbox>
<xmin>598</xmin>
<ymin>178</ymin>
<xmax>652</xmax>
<ymax>218</ymax>
</bndbox>
</object>
<object>
<name>Car</name>
<bndbox>
<xmin>784</xmin>
<ymin>178</ymin>
<xmax>839</xmax>
<ymax>220</ymax>
</bndbox>
</object>
<object>
<name>Car</name>
<bndbox>
<xmin>663</xmin>
<ymin>175</ymin>
<xmax>707</xmax>
<ymax>204</ymax>
</bndbox>
</object>
</annotation>
3. 将VOC格式的xml标签转换为darknet格式的标签xxx.txt
我们现在已经有了VOC标签格式的xml文件，现在我们需要生成darknet中YOLO使用的txt标签格式。我们在VOC_KITTI文件夹内创建一个xml_to_yolo_txt.py文件，代码如下：
①注意把原博主的int（member[4][0].txt）改成int（member[1][0].txt），上下左右四个都要改
②同时主要把txt_file = xml_file.split(’.’)[0]+’.txt’改成txt_file = xml_file.split(’.’)[0]+’.’+xml_file.split(’.’)[1]+’.txt’，否则在annotations文件夹里面看不到生成的txt。
# xml_to_yolo_txt.py
# 此代码和VOC_KITTI文件夹同目录
import glob
import xml.etree.ElementTree as ET
# 这里的类名为我们xml里面的类名，顺序现在不需要考虑
class_names = ['Car', 'Cyclist', 'Pedestrian']
# xml文件路径
path = './Annotations/'
# 转换一个xml文件为txt
def single_xml_to_txt(xml_file):
tree = ET.parse(xml_file)
root = tree.getroot()
# 保存的txt文件路径
txt_file = xml_file.split('.')[0]+'.'+xml_file.split('.')[1]+'.txt'
with open(txt_file, 'w') as txt_file:
for member in root.findall('object'):
#filename = root.find('filename').text
picture_width = int(root.find('size')[0].text)
picture_height = int(root.find('size')[1].text)
class_name = member[0].text
# 类名对应的index
class_num = class_names.index(class_name)
box_x_min = int(member[1][0].text) # 左上角横坐标
box_y_min = int(member[1][1].text) # 左上角纵坐标
box_x_max = int(member[1][2].text) # 右下角横坐标
box_y_max = int(member[1][3].text) # 右下角纵坐标
# 转成相对位置和宽高
x_center = float(box_x_min + box_x_max) / (2 * picture_width)
y_center = float(box_y_min + box_y_max) / (2 * picture_height)
width = float(box_x_max - box_x_min) / picture_width
height = float(box_y_max - box_y_min) / picture_height
print(class_num, x_center, y_center, width, height)
txt_file.write(str(class_num) + ' ' + str(x_center) + ' ' + str(y_center) + ' ' + str(width) + ' ' + str(height) + '\n')
txt_file.close()
# 转换文件夹下的所有xml文件为txt
def dir_xml_to_txt(path):
for xml_file in glob.glob(path + '*.xml'):
single_xml_to_txt(xml_file)
dir_xml_to_txt(path)
运行xml_to_yolo_txt.py，生成的txt文件在annotations文件夹内。这里以000010.txt为例，展示原来的xml标签格式和现在darknet的txt标签格式。
# 原来的xml格式
<?xml version="1.0" ?>
<annotation>
<folder>KITTI</folder>
<filename>000010.png</filename>
<source>
<database>The KITTI Database</database>
<annotation>KITTI</annotation>
</source>
<size>
<width>1242</width>
<height>375</height>
<depth>3</depth>
</size>
<object>
<name>Car</name>
<bndbox>
<xmin>1013</xmin>
<ymin>182</ymin>
<xmax>1241</xmax>
<ymax>374</ymax>
</bndbox>
</object>
<object>
<name>Car</name>
<bndbox>
<xmin>354</xmin>
<ymin>185</ymin>
<xmax>549</xmax>
<ymax>294</ymax>
</bndbox>
</object>
<object>
<name>Pedestrian</name>
<bndbox>
<xmin>859</xmin>
<ymin>159</ymin>
<xmax>879</xmax>
<ymax>221</ymax>
</bndbox>
</object>
<object>
<name>Car</name>
<bndbox>
<xmin>819</xmin>
<ymin>178</ymin>
<xmax>926</xmax>
<ymax>251</ymax>
</bndbox>
</object>
<object>
<name>Car</name>
<bndbox>
<xmin>800</xmin>
<ymin>178</ymin>
<xmax>878</xmax>
<ymax>230</ymax>
</bndbox>
</object>
<object>
<name>Car</name>
<bndbox>
<xmin>558</xmin>
<ymin>179</ymin>
<xmax>635</xmax>
<ymax>230</ymax>
</bndbox>
</object>
<object>
<name>Car</name>
<bndbox>
<xmin>598</xmin>
<ymin>178</ymin>
<xmax>652</xmax>
<ymax>218</ymax>
</bndbox>
</object>
<object>
<name>Car</name>
<bndbox>
<xmin>784</xmin>
<ymin>178</ymin>
<xmax>839</xmax>
<ymax>220</ymax>
</bndbox>
</object>
<object>
<name>Car</name>
<bndbox>
<xmin>663</xmin>
<ymin>175</ymin>
<xmax>707</xmax>
<ymax>204</ymax>
</bndbox>
</object>
</annotation>
# 现在darknet的txt文件格式
0 0.9074074074074074 0.7413333333333333 0.09178743961352658 0.256
0 0.3635265700483092 0.6386666666666667 0.0785024154589372 0.14533333333333334
2 0.6996779388083736 0.5066666666666667 0.008051529790660225 0.08266666666666667
0 0.7024959742351047 0.572 0.0430756843800322 0.09733333333333333
0 0.6755233494363929 0.544 0.03140096618357488 0.06933333333333333
0 0.48027375201288247 0.5453333333333333 0.030998389694041867 0.068
0 0.5032206119162641 0.528 0.021739130434782608 0.05333333333333334
0 0.6533816425120773 0.5306666666666666 0.02214170692431562 0.056
0 0.5515297906602254 0.5053333333333333 0.017713365539452495 0.03866666666666667
4. 数据整理
创建一个kitti_data文件夹，里面需要创建train_images文件夹和val_images文件夹，此外我们还需要创建train_labels和val_labels文件夹，我们把VOC_KITTI/JPEGImages文件夹里面的图片剪切或复制到kitti_data/train_images下，把VOC_KITTI/Annotaations下的txt文件剪切或复制到kitti_data/train_labels下，可以执行命令：
# 拷贝图片
cp -r VOC_KITTI/JPEGImages/* darknet/kitti_data/train_images
# 拷贝标签
cp -r VOC_KITTI/Annotaations/*.txt darknet/kitti_data/train_labels