Yolov3训练自己的数据集

1.采集数据

使用双目相机+opencv采集数据
要使用的函数：videocapture，imwrite
注意：由于我们采集速度较快。所以照片储存需要多线程进行，不然会卡死
代码如下,根据自己的情况微调：

#include<opencv.hpp>
#include<iostream>
#include<sstream>
#include<thread>
using namespace std;
using namespace cv;
void saveImage(string fileName, Mat img);
#define Image_Width   1280   
#define Image_height  720 
int main(void)
{
	Mat frame;    //定义图像
	int num = 0;
	int n = 0;
	int x1 = 0;
	string fileName;
	string videoPath;   //视频路径
	cout << "enter the videoPath" << endl;
	cin >> videoPath;
	cout << "enter the start number " << endl;
	cin >> n;
	if (videoPath.empty())
	{
		cout << "video path is null" << endl;
		return 1;
	}
	//设置存储路径
	string ImagePath = "D:/drone_develop/imgDatas5/";
	VideoCapture  capture;   //执行视频的相关操作   可以直接打开某个视频，或者直接用摄像机捕获图像
	//frame = capture.open(videoPath);
	capture.open(0); //根据编号打开摄像头，如果只有1个摄像机，那么就是0，如果系统中有多个摄像机，那么只要将其向上增加即可
	capture.set(CV_CAP_PROP_FRAME_WIDTH, Image_Width * 2); //设置捕获图像的宽度，为双目图像的宽度
	capture.set(CV_CAP_PROP_FRAME_HEIGHT, Image_height);  //设置捕获图像的高度
	capture.set(CV_CAP_PROP_BRIGHTNESS, 58);  //设置摄像头的亮度
	//bool ischange=capture.set(CV_CAP_PROP_EXPOSURE, 0.5);
	//cout << ischange << endl;
	if (!capture.isOpened())
	{
		cout << "can not open the video " << endl;
		return -1;
	}
	//namedWindow("output", CV_WINDOW_AUTOSIZE);
	//namedWindow函数的作用是，通过指定的名字，创建一个可以作为图像和进度条的容器窗口。如果具有相同名称的窗口已经存在，则函数不做任何事情。
	//参数一：窗口的名称
	//参数二：窗口的标识符，可以是下面几种值
	//WINDOW_NORMAL设置了这个值，用户便可以改变窗口的大小（没有限制)
	//INDOW_AUTOSIZE如果设置了这个值，窗口大小会自动调整以适应所显示的图像，并且不能手动改变窗口大小.
	//WINDOW_OPENGL 如果设置了这个值的话，窗口创建的时候便会支持OpenGL
	namedWindow("roiOutput", CV_WINDOW_AUTOSIZE); //调整大小的画图窗口 默认参数为CV_WINDOW_AUTOSIZE.窗口大小会自动调整以适应所显示的图像，但是不能更改大小。
	//vector compression_params;
	//compression_params.push_back(IMWRITE_PNG_COMPRESSION);
	//compression_params.push_back(9);
	while (true)
	{
		capture >> frame; //从capture中读取数据到frame，获取视频帧
		if (frame.empty())
		{
			cout << "frame null!" << endl;
			return -1;
		}
		Mat refr;
		resize(frame, refr, Size(1280, 480));   //参数一：原图，参数二：输出的图像，参数三：图像的大小
		imshow("roiOutput", refr);//通过这个指定窗口显示图像
		Mat frame_L = frame(Rect(0, 0, Image_Width, Image_height));             //获取左Camera的图像
		Mat frame_R = frame(Rect(Image_Width, 0, Image_Width, Image_height));   //获取右Camera的图像
		//Mat reframe;
		string num_temp;
		stringstream ss;
		ss << n;   //将int类型的值n放入输入流
		num_temp = ss.str();//强制转化成string类型
		//ss.clear();
		ss.str("");
		string num_temp2;
		x1 = n + 1;
		ss << x1;
		ss >> num_temp2; //从ss中抽取前面插入的int类型的值，赋给string类型
		//fileName = ImagePath + num_temp + ".jpg";
		//waitKey()函数的功能是不断刷新图像，频率为delay，单位是ms，返回值为当前键盘按下的值，没有按键时返回-1.
		if (frame.empty())
		{
			cout << "read video error" << endl;
			waitKey(0);
			return -2;
		}
		//resize(frame, reframe, Size(770, 480));
		//rectangle(reframe, Rect(120, 0, 480, 480), Scalar(255, 255, 255));
		//imshow("roiOutput", reframe);
		if (num >= 25)
		{
			Rect r(120, 0, 480, 480);
			//Mat roi = reframe(r);
			//imshow("output", roi);

			//imwrite(fileName, roi, compression_params);
			//thread t(saveImage,num_temp,roi);
			thread tL(saveImage, num_temp, frame_L);
			thread tR(saveImage, num_temp2, frame_R);
			tL.join();
			tR.join();
			num = 0;
			//n++;
			n += 2;
		}
		num++;
		char r = waitKey(200);
		if (r == 'q')
		{
			destroyAllWindows();
			break;
		}
	}
	waitKey(0);
	return 0;
}

void saveImage(string fileNum, Mat img)
{
	string fileName;
	string ImagePath = "D:/drone_develop/imgDatas5/";
	string num_temp;
	cout << "now output " << fileNum << "th image" << endl;
	fileName = ImagePath + fileNum + ".jpg";
	if (img.empty())
	{
		cout << "img null" << endl;
		return;
	}
	imwrite(fileName, img);
	cout << "image " << fileNum << "th is saved" << endl;
}

运行效果图：

2.标定数据

我们采用labelimg进行标定，github下载地址：
https://github.com/tzutalin/labelImg
注意：labelimg中数据格式记得选择VOC格式（默认VOC），因为我们是模仿VOC数据集进行训练

3.制作数据集

1、在目录下新建VOC2007，并在VOC2007下新建Annotations，ImageSets和JPEGImages三个文件夹。在ImageSets下新建Main文件夹。

2、把图片放入JPEGImages中，标定出来的xml文件放入Annotations中

3、然后在VOC2007下创建py文件并执行如下代码。该代码的目的是随机将数据分为训练数据和测试数据，默认是9:1的比例

import os
import random

trainval_percent = 0.1
train_percent = 0.9
xmlfilepath = 'Annotations'
txtsavepath = 'ImageSets\Main'
total_xml = os.listdir(xmlfilepath)

num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)

ftrainval = open('ImageSets/Main/trainval.txt', 'w')
ftest = open('ImageSets/Main/test.txt', 'w')
ftrain = open('ImageSets/Main/train.txt', 'w')
fval = open('ImageSets/Main/val.txt', 'w')

for i in list:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftest.write(name)
        else:
            fval.write(name)
    else:
        ftrain.write(name)

ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

运行代码之后，在Main文件夹会多出4个文件

4、进一步配置训练集

1.打开darknet-master的data/voc.names文件,里面是将要检测的种类名，备份一份然后只留下or添加我们自己需要的训练名，例如chip和led等

2.我们用一个py脚本来帮我们转换刚刚的数据集，linux下可以用如下指令下载：
wget https://pjreddie.com/media/files/voc_label.py
py文件里需要改几个地方：

1. 一开头的set和classes，我们因为用的是VOC2007文件夹，所以set这里只留下2007的即可
2. 而classes就是我们要检测的类别，chip，led等
3. 还要修改的地方就是读取上一个py脚本输出文件的地址和该脚本输出文件的地址，由于我是放入colab上去训练，所以这些地址我就改成了colab上的文件位置，然后放上colab去运行，这样得到的输出文件就直接对应了colab的文件路径，可以直接用于训练
   我的voc_label.py如下：

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join

sets=[ ('2007', 'train'), ('2007', 'val'), ('2007', 'test')]

classes = ["chip","led"]


def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)

def convert_annotation(year, image_id):
    in_file = open('/content/drive/My Drive/darknet-master/VOCdevkit/VOC%s/Annotations/%s.xml'%(year, image_id))
    out_file = open('/content/drive/My Drive/darknet-master/VOCdevkit/VOC%s/labels/%s.txt'%(year, image_id), 'w')
    tree=ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

wd = getcwd()

for year, image_set in sets:
    if not os.path.exists('/content/drive/My Drive/darknet-master/VOCdevkit/VOC%s/labels/'%(year)):
        os.makedirs('/content/drive/My Drive/darknet-master/VOCdevkit/VOC%s/labels/'%(year))
    image_ids = open('/content/drive/My Drive/darknet-master/VOCdevkit/VOC%s/ImageSets/Main/%s.txt'%(year, image_set)).read().strip().split()
    list_file = open('/content/drive/My Drive/darknet-master/VOCdevkit/VOC2007/%s_%s.txt'%(year, image_set), 'w')
    for image_id in image_ids:
        list_file.write('%s/VOC%s/JPEGImages/%s.jpg\n'%(wd, year, image_id))
        convert_annotation(year, image_id)
    list_file.close()

注：这里面的路径需要改成你自己的路径

而我们发现其实对应于darknet-master中的cfg/voc.data中还差一个trains文件，于是：
!cat 2007_train.txt 2007_val.txt > train.txt
这样就得到了我们的train.txt文件
那么我们就还需要修改cfg/voc.data中的参数，就是把上面生成的文件的位置填入就好，classes对应的是检测的类别数，train对应训练数据，valid对应测试数据，names对应类别的名字，backup对应训练时存放权重文件的位置
我这边的配置如下：

classes= 2
train  = VOCdevkit/VOC2007/train.txt
valid  = VOCdevkit/VOC2007/2007_test.txt
names = data/voc.names
backup = backup

5、修改CFG文件

这里就是修改网络结构的配置文件
由于我们是用的yolo，每个地方都必须要改2处， filters：3*（5+len（classes））；
其中：classes: len(classes) = 1，这里以单个类dog为例
filters = 18
classes = 1
可修改：random = 1：原来是1，显存小改为0。（是否要多尺度输出。）

6、开始训练

下载darknet提供的预训练文件，linux下可用该命令：
wget https://pjreddie.com/media/files/darknet53.conv.74
最后执行如下指令即可：
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74
注意，darknet命令是在darknet-master目录下进行编译后获得的，如果没有编译那需要输入make进行编译。
如果训练到一半中断了可以选择backup中的yolov3_xxx.backup文件继续进行训练，如下：
!./darknet detector train cfg/voc.data cfg/yolov3-tiny.cfg backup/yolov3-tiny.backup
最后跑出来的权重文件和备份文件都在backup文件中
colab运行中截图：