PaddlePaddle训练行人检测模型（PPYOLO）
前言：
该项目已在AI Studio开源：AI_Studio项目链接
该项目是在准备今年软件杯百度行人跟踪赛题的其中一个项目：行人检测模型的训练。借助PaddleDetection这一工具可以很大程度的减小工作量，完成最终项目。
说废话之前，先强调一点，由于在生成新版本的时候，上传有限制。所以，不能把整个项目一起上传，因此，下面在运行的时候可能会有些小问题，多加小心哦~
下面我想说点“废话”。AI项目的落地其实是一个挺复杂的过程的，需要数据集的准备、网络模型的搭建、模型的训练、最后是模型的部署，虽然罗列起来大体就只有这四个步骤，但其实每个步骤都是有很多的工作要做的，或者说在学术界都是有很多研究的。如果不是偏向于学术，而仅仅只关注于项目的落地、创意的实现，其实AI Studio是一个很不错的平台，百度飞桨推出的一些库也是很不错的，因为它们大大减小了项目部署的工作量。当然，偏向于学术，用飞桨也不错哦！咳咳咳~~~，我没在推销，我很严肃的在说。嘿嘿~~
再插一嘴：软件杯最终的项目，再过会就公开哦！
emmmmmm,还是再贴一张图片吧。
一、准备数据集（MOT20、CrowdHuman）：
#!unzip -oq /home/aistudio/data/data77171/MOT20.zip
!unzip -oq /home/aistudio/data/data78673/CrowedHuman.zip
把PaddleDetection从gitee的仓库里clone下来。不过，现在不建议git clone了。因为，我们当时使用的PaddleDetection默认使用的是静态图版，现在PaddleDetection已经更新了，默认使用的是PaddleDetection动态图版。（如果要用动态图版的，只需要在解压数据集的时候，把数据集放到dataset下面，然后后边在处理数据集的时候，路径稍微有一点点的不同）当然你也可以尝试使用该版本，不过下面的一些操作会有所一点点不同。如果你只是想安安静静的运行完该项目，得到最终训练好的网络模型的话，建议在解压好MOT20与CrowdHuman数据集之后，再使用我公开的数据集PaddleDetection_软件杯。
!git clone https://gitee.com/paddlepaddle/PaddleDetection.git -b release/2.0
1、CrowdHuman数据集的处理：
下面这个脚本任务是用来处理CrowdHuman数据集的。CrowdHuman中的标签信息是.odgt文件，我们需要把该数据集格式进行转换，转换成VOC格式数据集或者json格式，下面只是展示转换成VOC格式。感兴趣的小伙伴也可以尝试将其转换成json格式。（运行下面的脚本之前需要先创建一个文件夹“CrowdHuman_VOC"文件夹，并在该文件夹下创建名为“ImageSets”的文件夹。）
"""
参数：
roadimages CrowdHuman数据集中图片数据所在的根目录。
xml_save_path .odgt文件转换成xml文件后保存的位置。
感兴趣的小伙伴也可以进行尝试。
fpath 需要转换的.odgt文件。
"""
from xml.dom import minidom
import cv2
import os
import json
from PIL import Image
roadimages = 'Images/'
xml_save_path = "CrowdHuman_VOC/Annotations/train/"
img_save_path = ''
root_img_save = 'CrowdHuman_VOC/JPEGImages/train/'
if not os.path.exists(xml_save_path):
os.makedirs(xml_save_path)
if not os.path.exists(root_img_save):
os.makedirs(root_img_save)
fpath = "annotation_train.odgt"
def load_func(fpath):
assert os.path.exists(fpath)
with open(fpath, 'r') as fid:
lines = fid.readlines()
records = [json.loads(line.strip('\n')) for line in lines]
return records
train_txt = open('CrowdHuman_VOC/ImageSets/train.txt', 'w')
bbox = load_func(fpath)
for i0, item0 in enumerate(bbox):
print(i0)
# 建立i0的xml tree
ID = item0['ID'] # 得到当前图片的名字
imagename = roadimages + ID + '.jpg' # 当前图片的完整路径
img_save_path = root_img_save + ID + '.jpg'
savexml = xml_save_path + ID + '.xml' # 生成的.xml注释的名字
train_txt.write('{} {}\n'.format(img_save_path, savexml))
print(img_save_path, savexml)
gtboxes = item0['gtboxes']
img_name = ID
floder = 'CrowdHuman'
im = cv2.imread(imagename)
cv2.imwrite(img_save_path, im)
w = im.shape[1]
h = im.shape[0]
d = im.shape[2]
doc = minidom.Document() # 创建DOM树对象
annotation = doc.createElement('annotation') # 创建子节点
doc.appendChild(annotation) # annotation作为doc树的子节点
folder = doc.createElement('folder')
folder.appendChild(doc.createTextNode(floder)) # 文本节点作为floder的子节点
annotation.appendChild(folder) # folder作为annotation的子节点
filename = doc.createElement('filename')
filename.appendChild(doc.createTextNode(img_name + '.jpg'))
annotation.appendChild(filename)
size = doc.createElement('size')
width = doc.createElement('width')
width.appendChild(doc.createTextNode("%d" % w))
size.appendChild(width)
height = doc.createElement('height')
height.appendChild(doc.createTextNode("%d" % h))
size.appendChild(height)
depth = doc.createElement('depth')
depth.appendChild(doc.createTextNode("%d" % d))
size.appendChild(depth)
annotation.appendChild(size)
segmented = doc.createElement('segmented')
segmented.appendChild(doc.createTextNode("0"))
annotation.appendChild(segmented)
for i1, item1 in enumerate(gtboxes):
# 提取全身框(full box)的标注
boxs = [int(a) for a in item1['fbox']]
# 左上点长宽--->左上右下
minx = str(boxs[0])
miny = str(boxs[1])
maxx = str(boxs[2] + boxs[0])
maxy = str(boxs[3] + boxs[1])
# print(box)
object = doc.createElement('object')
nm = doc.createElement('name')
nm.appendChild(doc.createTextNode('fbox')) # 类名: fbox
object.appendChild(nm)
pose = doc.createElement('pose')
pose.appendChild(doc.createTextNode("Unspecified"))
object.appendChild(pose)
truncated = doc.createElement('truncated')
truncated.appendChild(doc.createTextNode("1"))
object.appendChild(truncated)
difficult = doc.createElement('difficult')
difficult.appendChild(doc.createTextNode("0"))
object.appendChild(difficult)
bndbox = doc.createElement('bndbox')
xmin = doc.createElement('xmin')
xmin.appendChild(doc.createTextNode(minx))
bndbox.appendChild(xmin)
ymin = doc.createElement('ymin')
ymin.appendChild(doc.createTextNode(miny))
bndbox.appendChild(ymin)
xmax = doc.createElement('xmax')
xmax.appendChild(doc.createTextNode(maxx))
bndbox.appendChild(xmax)
ymax = doc.createElement('ymax')
ymax.appendChild(doc.createTextNode(maxy))
bndbox.appendChild(ymax)
object.appendChild(bndbox)
annotation.appendChild(object)
savefile = open(savexml, 'w')
savefile.write(doc.toprettyxml())
savefile.close()
from xml.dom import minidom
import cv2
import os
import json
from PIL import Image
roadimages = 'Images/'
xml_save_path = "CrowdHuman_VOC/Annotations/val/"
img_save_path = ''
root_img_save = 'CrowdHuman_VOC/JPEGImages/val/'
if not os.path.exists(xml_save_path):
os.makedirs(xml_save_path)
if not os.path.exists(root_img_save):
os.makedirs(root_img_save)
fpath = "annotation_val.odgt"
def load_func(fpath):
assert os.path.exists(fpath)
with open(fpath, 'r') as fid:
lines = fid.readlines()
records = [json.loads(line.strip('\n')) for line in lines]
return records
val_txt = open('CrowdHuman_VOC/ImageSets/val.txt', 'w')
bbox = load_func(fpath)
for i0, item0 in enumerate(bbox):
print(i0)
# 建立i0的xml tree
ID = item0['ID'] # 得到当前图片的名字
imagename = roadimages + ID + '.jpg' # 当前图片的完整路径
img_save_path = root_img_save + ID + '.jpg'
savexml = xml_save_path + ID + '.xml' # 生成的.xml注释的名字
val_txt.write('{} {}\n'.format(img_save_path, savexml))
print(img_save_path, savexml)
gtboxes = item0['gtboxes']
img_name = ID
floder = 'CrowdHuman'
im = cv2.imread(imagename)
cv2.imwrite(img_save_path, im)
w = im.shape[1]
h = im.shape[0]
d = im.shape[2]
doc = minidom.Document() # 创建DOM树对象
annotation = doc.createElement('annotation') # 创建子节点
doc.appendChild(annotation) # annotation作为doc树的子节点
folder = doc.createElement('folder')
folder.appendChild(doc.createTextNode(floder)) # 文本节点作为floder的子节点
annotation.appendChild(folder) # folder作为annotation的子节点
filename = doc.createElement('filename')
filename.appendChild(doc.createTextNode(img_name + '.jpg'))
annotation.appendChild(filename)
size = doc.createElement('size')
width = doc.createElement('width')
width.appendChild(doc.createTextNode("%d" % w))
size.appendChild(width)
height = doc.createElement('height')
height.appendChild(doc.createTextNode("%d" % h))
size.appendChild(height)
depth = doc.createElement('depth')
depth.appendChild(doc.createTextNode("%d" % d))
size.appendChild(depth)
annotation.appendChild(size)
segmented = doc.createElement('segmented')
segmented.appendChild(doc.createTextNode("0"))
annotation.appendChild(segmented)
for i1, item1 in enumerate(gtboxes):
# 提取全身框(full box)的标注
boxs = [int(a) for a in item1['fbox']]
# 左上点长宽--->左上右下
minx = str(boxs[0])
miny = str(boxs[1])
maxx = str(boxs[2] + boxs[0])
maxy = str(boxs[3] + boxs[1])
# print(box)
object = doc.createElement('object')
nm = doc.createElement('name')
nm.appendChild(doc.createTextNode('fbox')) # 类名: fbox
object.appendChild(nm)
pose = doc.createElement('pose')
pose.appendChild(doc.createTextNode("Unspecified"))
object.appendChild(pose)
truncated = doc.createElement('truncated')
truncated.appendChild(doc.createTextNode("1"))
object.appendChild(truncated)
difficult = doc.createElement('difficult')
difficult.appendChild(doc.createTextNode("0"))
object.appendChild(difficult)
bndbox = doc.createElement('bndbox')
xmin = doc.createElement('xmin')
xmin.appendChild(doc.createTextNode(minx))
bndbox.appendChild(xmin)
ymin = doc.createElement('ymin')
ymin.appendChild(doc.createTextNode(miny))
bndbox.appendChild(ymin)
xmax = doc.createElement('xmax')
xmax.appendChild(doc.createTextNode(maxx))
bndbox.appendChild(xmax)
ymax = doc.createElement('ymax')
ymax.appendChild(doc.createTextNode(maxy))
bndbox.appendChild(ymax)
object.appendChild(bndbox)
annotation.appendChild(object)
savefile = open(savexml, 'w')
savefile.write(doc.toprettyxml())
savefile.close()
!mv CrowdHuman_VOC PaddleDetection/dataset
train_new = open('dataset/CrowdHuman_VOC/ImageSets/train_new.txt', 'w')
with open('dataset/CrowdHuman_VOC/ImageSets/train.txt', 'r') as f:
for info in f.readlines():
info_ = info.strip().split(' ')
for file_ in info_:
result = file_.strip().split('/')
train_new.write('{}/{}/{} '.format(result[1], result[2], result[3]))
train_new.write('\n')
2、MOT20数据集的处理：
下面这个脚本是用来将MOT20数据集进行转换，转换成VOC格式的数据集。
import cv2
import os
import numpy as np
import time
import argparse
import shutil
import codecs
import progressbar
train_20 = ['MOT20/train/MOT20-01/',
'MOT20/train/MOT20-02/',
'MOT20/train/MOT20-03/',
'MOT20/train/MOT20-05/']
test_20 = ['MOT20/test/MOT20-04/',
'MOT20/test/MOT20-06/',
'MOT20/test/MOT20-07/',
'MOT20/test/MOT20-08/']
def parse_ini(dir):
ini_fp = open(dir + 'seqinfo.ini','r')
seq_info = ini_fp.readlines()
seqLenth = int(seq_info[4][10:])
imWidth = int(seq_info[5][8:])
imHeight = int(seq_info[6][9:])
return seqLenth,imWidth,imHeight
def gennerate_gt(gt,Annotation,frame,filename,width,height):
fp_gt = open(gt)
gt_lines = fp_gt.readlines()
gt_fram = []
for line in gt_lines:
fram_id = int(line.split(',')[0])
if fram_id == frame:
visible = float(line.split(',')[8])
label_class = line.split(',')[7]
if (label_class == '1' or label_class == '2' or label_class == '7') and visible > 0.3:
gt_fram.append(line)
with codecs.open(Annotation + filename + '.xml', 'w') as xml:
xml.write('\n')
xml.write('\n' )
xml.write('\t' + 'voc' + '\n')
xml.write('\t' + filename + '.jpg' + '\n')
# xml.write('\t' + path + "/" + info1 + ' \n')
xml.write('\t\n' )
xml.write('\t\t The MOT-Det \n')
xml.write('\t\n')
xml.write('\t\n' )
xml.write('\t\t' + str(width) + '\n')
xml.write('\t\t' + str(height) + '\n')
xml.write('\t\t' + '3' + '\n')
xml.write('\t\n')
xml.write('\t\t0 \n')
for bbox in gt_fram:
x1 = int(bbox.split(',')[2])
y1 = int(bbox.split(',')[3])
x2 = int(bbox.split(',')[4])
y2 = int(bbox.split(',')[5])
xml.write('\t)
xml.write('\t\tperson \n')
xml.write('\t\tUnspecified \n')
xml.write('\t\t0 \n')
xml.write('\t\t0 \n')
xml.write('\t\t\n' )
xml.write('\t\t\t' + str(x1) + '\n')
xml.write('\t\t\t' + str(y1) + '\n')
xml.write('\t\t\t' + str(x1 + x2) + '\n')
xml.write('\t\t\t' + str(y1 + y2) + '\n')
xml.write('\t\t\n')
xml.write('\t\n')
xml.write('')
#用于校验图片数量和标注数量是否一致
def check_num(data_dir, JPEGImage_dir,Annotations_dir=None,ori_num = 0):
num = 0
for folder in data_dir:
folder_len,_,_ = parse_ini(folder)
num += folder_len
img_list = os.listdir(JPEGImage_dir)
if ori_num==0:
img_num = len(img_list)
else:
img_num = len(img_list)-ori_num
# print('img_num:',img_num)
if Annotations_dir:
ann_list = os.listdir(Annotations_dir)
ann_num = len(ann_list)
assert ann_num == num
assert img_num == num,'if it is the second time run this demo, please delete the JPEGImages folder and retry'
# print('num:', num)
print('folders {} have been succeed checked'.format(data_dir))
return num
def main():
"""train_dirs = train_20"""
test_dirs = test_20
motyear = '20'
folder = 'MOT' + motyear + 'Det'+'/VOC/'
Annotations = folder+'Annotations/'+'val/'
ImageSets = folder + 'ImageSets/'
JPEGImages = folder + 'JPEGImages/'+'val/'
Main = ImageSets + 'Main/'
if not os.path.exists(Annotations):
os.makedirs(Annotations)
if not os.path.exists(ImageSets):
os.makedirs(ImageSets)
if not os.path.exists(JPEGImages):
os.makedirs(JPEGImages)
if not os.path.exists(Main):
os.makedirs(Main)
#fp_txt = open(ImageSets + 'train_all.txt', 'w')
fp_test = open(ImageSets + 'test_all.txt', 'w')
for test_ in test_dirs:
img2 = test_ + 'img1/'
folder_id = test_[-3:-1]
test_list = os.listdir(img2)
test_seqLen,_,_ = parse_ini(test_)
assert test_seqLen==len(test_list)
bar = progressbar.ProgressBar(maxval=len(test_list)).start()
count = 0
for img in test_list:
count += 1
bar.update(count)
format_name = folder_id + img
fp_test.writelines(format_name[:-4] + '\n') # 将生成的新的文件名写入train_all.txt，用于后续数据集拆分
shutil.copy(img2 + img, JPEGImages + '/' + format_name) # 将文件移动到指定文件夹并重新命名
fp_test.close()
if __name__ == '__main__':
main()
!pip install pycocotools
#也可以尝试把转换后的VOC格式数据集转换成coco数据集格式后再进行训练
!python PaddleDetection/tools/x2coco.py \
--dataset_type voc \
--voc_anno_dir MOT20Det/voc/Annotations \
--voc_anno_list MOT20Det/voc/ImageSets/valid_all.txt \
--voc_label_list MOT20Det/voc/label_list.txt \
--voc_out_name voc_valid.json
Start converting !
100%|███████████████████████████████████████| 893/893 [00:00<00:00, 2474.32it/s]
二、模型的训练：
%cd PaddleDetection/
!pip install paddledet
由于生成VOC数据集的脚本文件有一点小问题，所以在训练之前要先把train.txt文件最后一行删除然后再保存进行训练。
#mot20
!python PaddleDetection/tools/train.py \
-c ppyolo.yml \
--vdl_log_dir ~/log_crowdhuman/ppyolo_voc \
--use_vdl True
!python tools/export_model.py \
-c configs/ppyolo/ppyolov2_r50vd_dcn_365e_coco.yml\
#-o output/ppyolov2_r50vd_dcn_365e_coco/model_final.pdparams\
--output_dir inference_model
三、进行推理：
!python tools/infer.py \
-c configs/ppyolo/ppyolov2_r50vd_dcn_365e_coco.yml \
-o weights=output/ppyolov2_r50vd_dcn_365e_coco/model_final.pdparams \
--infer_img=/home/aistudio/infer_img/00016.jpg \
--draw_threshold=0.15
这里我只是把PaddleDetection里的相关代码提取出来，放到文件夹里。这种方式便于部署，用起来很舒服。嘿嘿~~。
import cv2
from Detector_ppyolo import Detector
img = cv2.imread('MOT20Det/VOC/JPEGImages/train/01000313.jpg')
model_dir = 'inference_model/ppyolo'
config = Config(model_dir)
detector = Detector(
config, model_dir, use_gpu=False, run_mode='fluid')
result, detections = detector.predict(img, 0.15)
hreshold=0.15
这里我只是把PaddleDetection里的相关代码提取出来，放到文件夹里。这种方式便于部署，用起来很舒服。嘿嘿~~。
import cv2
from Detector_ppyolo import Detector
img = cv2.imread('MOT20Det/VOC/JPEGImages/train/01000313.jpg')
model_dir = 'inference_model/ppyolo'
config = Config(model_dir)
detector = Detector(
config, model_dir, use_gpu=False, run_mode='fluid')
result, detections = detector.predict(img, 0.15)
print(detections)
我是一名热爱计算机视觉的小白一枚，现就读于成都信息工程大学电子信息科学与技术专业20级。
希望和大佬们多多交流，欢迎关注、fork、star哦！！！
完整项目建议上AI Studio哦！
AI_Studio项目链接