YOLOV5的Json格式的数据集标签转化成txt格式

1.  应用背景
2. 思路分析
3. 转化成txt
4. 实现效果
5. 总结

1.应用背景

当你要做某个目标检测的项目时，你获得的数据集可能是VOC格式的，也可能是Json格式的。但是用YOLOV5做目标检测的时候存储标签数据的文件需要用txt格式的，这里就以百度飞桨平台第17届全国大学生智能汽车竞赛百度创意组数据集为例，我们将学习如何将json格式的数据集标签转化为有效的txt文件。

2.思路分析

我们先看一下官方给的数据集

 

其中eval中有2000张验证集图片，train中有14000张训练集图片。

要想把Json文件转化成txt文件我们首先需要分析Json文件里面存储的内容。用下面几行代码看出Json中存储的数据类型是字典。

import os
import json
with open('train.json', 'r') as f:
    eval_dict = json.load(f)
print(type(eval_dict))  # 字典


# print的结果是  ，说明是个字典

然后就需要对字典分析，我们可以查看字典的键、值。用.keys()的方法得到字典的有三个键，分别是：'images', 'annotations', 'categories'，详细内容如下：

{‘images’: [{‘file_name’: ‘013856.jpg’, ‘height’: 1080, ‘width’: 1920, ‘id’: 13856}, {‘file_name’: ‘06933.jpg’, ‘height’: 720, ‘width’: 1280, ‘id’: 6933}…{‘file_name’: ‘015349.jpg’, ‘height’: 1080, ‘width’: 1920, ‘id’: 15349}], ‘annotations’: [{‘image_id’: 13856, ‘id’: 0, ‘category_id’: 2, ‘bbox’: [541, 517, 79, 102], ‘area’: 8058, ‘iscrowd’: 0, ‘segmentation’: []},{‘image_id’: 13856, ‘id’: 1, ‘category_id’: 2, ‘bbox’: [827, 514, 54, 88], ‘area’: 4752, ‘iscrowd’: 0, ‘segmentation’: []}… {‘image_id’: 15349, ‘id’: 113950, ‘category_id’: 1, ‘bbox’: [341, 573, 83, 90], ‘area’: 7470, ‘iscrowd’: 0, ‘segmentation’: []}],‘categories’: [{‘id’: 1, ‘name’: ‘Motor Vehicle’}, {‘id’: 2, ‘name’: ‘Non_motorized Vehicle’}, {‘id’: 3, ‘name’: ‘Pedestrian’}, {‘id’: 4, ‘name’: ‘Traffic Light-Red Light’}, {‘id’: 5, ‘name’: ‘Traffic Light-Yellow Light’}, {‘id’: 6, ‘name’: ‘Traffic Light-Green Light’}, {‘id’: 7, ‘name’: ‘Traffic Light-Off’}]
 

'images’对应的值是一个列表，其中有2000个元素，每一个元素都是一个字典，字典中键的含义分别为：‘file_name’:图像名称及格式；‘height’:图像高度；‘width’:图像宽度；‘id’:图像名称对应的序号。
同理，'annotations’对应的内容如下：‘image_id’:图像名称对应的序号，与’images’中的’id’是同一个值；‘id’:标签的总个数，从1开始计时；‘category_id’: 标签对应的类别编号； ‘bbox’:标注框的像素坐标；‘area’: 标注框的面积；‘iscrowd’:一张图像上是否为单个标注对象；‘segmentation’:表示polygon格式，只要iscrowd=1那么segmentation就是RLE格式。
'categories’对应的内容如下:‘id’:类别编号； ‘name’:类别标签 。
我们的目的是获取用于YOVOV5检测的txt文件，那就要获取bbox，这时就要遍历annotations来获取bbox的值。

3.转化成txt文件

经过上述分析，我们便可以根据’images’中的’id’创建对应的txt文件；根据’images’中的’id’与’annotations’中的’image_id’的对应关系，将对应的’bbox’和’category_id’写入对应的txt文件中；根据’categories’中的’id’和’name’将标签和标签编号单独写入另一个txt文件中。

需要注意的是：1.Json文件中categories的id是从1开始的，而YOLOV5的要求标签是从0开始的，所以需要进行一个“-1”的操作。2.如果直接利用bbox里面的值则会造成误差偏大，所以需要对bbox里的值进行归一化处理。
实现上述目的的代码如下：

#处理同一个数据集下多个json文件时，仅运行一次class_txt即可
import json
import os


"存储标签与预测框到txt文件中"
def json_txt(json_path, txt_path):
    "json_path: 需要处理的json文件的路径"
    "txt_path: 将json文件处理后txt文件存放的文件夹名"

    #生成存放json文件的路径
    if not os.path.exists(txt_path):
        os.mkdir(txt_path)
    # 读取json文件
    with open(json_path, 'r') as f:
        dict = json.load(f)
    # 得到images和annotations信息
    images_value = dict.get("images")  # 得到某个键下对应的值
    annotations_value = dict.get("annotations")  # 得到某个键下对应的值
    # 使用images下的图像名的id创建txt文件

    nano_path = './images/train'
    need_path = './labels/train/'
    # nano_path = './images/eval'
    # need_path = './labels/val/'
    dir = os.listdir(nano_path)

    for i in dir:
        file_name = os.path.basename(i)
        file_name1 = file_name.split('.')[0]
        print(file_name1)
        open(need_path + file_name1 + '.txt', 'w')

    for i in images_value:
        open(txt_path + str(i.get("id")) + '.txt', 'w')
    #将id对应图片的bbox写入txt文件中
    print(len(images_value))

    for i in images_value:
        a = i.get('id')
        b = i.get('file_name')

        d = b.split('.')[0]
        for j in annotations_value:
            if j.get("image_id") == a:
                #bbox标签归一化处理
                num = sum(j.get('bbox'))
                new_list = [round(i / num, 6) for i in j.get('bbox')]  # 保留六位小数
                with open(need_path + str(d) + '.txt', 'a') as file1:  # 写入txt文件中
                    print(j.get("category_id")-1, new_list[0], new_list[1], new_list[2], new_list[3], file=file1)



 "将id对应的标签存储在class.txt中"

def class_txt(json_path, class_txt_path):
    "json_path: 需要处理的json文件的路径"
    "txt_path: 将json文件处理后存放所需的txt文件名"
    # 生成存放json文件的路径
    with open(json_path, 'r') as f:
        dict = json.load(f)
    # 得到categories下对应的信息
    categories_value = dict.get("categories")  # 得到某个键下对应的值
    # 将每个类别id与类别写入txt文件中
    with open(class_txt_path, 'a') as file0:
        for i in categories_value:
            print(i.get("id"), i.get('name'), file=file0)


json_txt("eval.json", "eval_img/")
json_txt('train.json','train_img/')
class_txt("eval.json", "class.txt")

4.实现效果

通过代码的运行，会得到train_img和eval_img两个文件夹，里面储存着已经转换好的txt文件，如下：

5.总结

这次主要遇到了两个坑，一个是图片名称和txt文件名称不一致，另外一个是标签的类别要从0开始，希望大家做有关问题的时候可以避免。