服务器 Ubuntu16.04 + Titan xp + darknet_YOLOv3
YOLO官网:https://pjreddie.com/darknet/yolo/
安装超级简单,但一定要注意编码方式,生成的 *.txt 文件的时候一定要在ubuntu中生成,不然会出现各种各样的错误,比如我因为用的是服务器,开始 *.txt 文件都是在Windows中生成的,会报五花八门的错误,运行同一个程序报错都不一样。。。
出现的错误:https://blog.csdn.net/qq_28534585/article/details/80057195,这个方法治标不治本。
查询适合自己显卡的架构版本:https://docs.nvidia.com/cuda/cuda-compiler-driver-nvcc/index.html#virtual-architecture-feature-list
安装 Darknet
git clone https://github.com/pjreddie/darknet.git
cd darknet
修改 Makefile
GPU=1 #如果使用GPU设置为1,CPU设置为0
CUDNN=1 #如果使用CUDNN设置为1,否则为0
OPENCV=1 #如果调用摄像头,还需要设置OPENCV为1,否则为0
OPENMP=0 #如果使用OPENMP设置为1,否则为0
DEBUG=0 #如果使用DEBUG设置为1,否则为0
ARCH= -gencode arch=compute_30,code=sm_30 \
-gencode arch=compute_35,code=sm_35 \
-gencode arch=compute_50,code=[sm_50,compute_50] \
-gencode arch=compute_52,code=[sm_52,compute_52] \
-gencode arch=compute_60,code=[sm_60,compute_60] \
-gencode arch=compute_61,code=[sm_61,compute_61] #Titan是pascal架构
...
CC=gcc
NVCC=/home/user/cuda-9.0/bin/nvcc #修改为自己的路径
AR=ar
ARFLAGS=rcs
OPTS=-Ofast
LDFLAGS= -lm -pthread
COMMON= -Iinclude/ -Isrc/
CFLAGS=-Wall -Wno-unused-result -Wno-unknown-pragmas -Wfatal-errors -fPIC
...
ifeq ($(GPU), 1)
COMMON+= -DGPU -I/home/hebao/cuda-9.0/include/ #修改为自己的路径
CFLAGS+= -DGPU
LDFLAGS+= -L/home/hebao/cuda-9.0/lib64 -lcuda -lcudart -lcublas -lcurand #修改为自己的路径
endif
...
修改完成后
make
若出现错误,键入
make clean
纠正错误后,然后重新编译,只要动了Makefile文件就得重新编译。
查看是否安装成功,测试一下
wget https://pjreddie.com/media/files/yolov3.weights
./darknet detector test voc.data yolov3.cfg yolo.weights dog.jpg -thresh 0 -gpus 0,1
或者 ./darknet detect cfg/yolov3-voc.cfg yolov3.weights data/dog.jpg
测试摄像头/视频
./darknet detector demo cfg/coco.data cfg/yolo.cfg yolo.weights
./darknet detector demo cfg/coco.data cfg/yolo.cfg yolo.weights test.mp4
没有问题的话,接着制作自己的数据集
标记工具:https://github.com/tzutalin/labelImg
模仿VOC2007构建数据集,根目录scripts下新建一个VOCdevkit,其中再建一个VOC2007,放Annotations(标签---*.xml)、ImageSets(里面再建一个Main文件夹,内含 train.txt 和 test.txt)、JPEGImages(图片---*.jpg)、labels(图片的目标位置信息---*.xml,5个值分别是:1个值类别,2个值中心位置x和y的比例坐标,2个值标注物体的比例大小) 4个文件夹。
下面是生成 labels 文件夹中的位置信息的xml文件和 ImageSets/Main 文件下图片路径的代码,主要此代码需要分别运行train和test:
import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
classes = ["boat"]
def convert(size, box):
dw = 1./size[0]
dh = 1./size[1]
x = (box[0] + box[1])/2.0
y = (box[2] + box[3])/2.0
w = box[1] - box[0]
h = box[3] - box[2]
x = x*dw
w = w*dw
y = y*dh
h = h*dh
return (x,y,w,h)
def convert_annotation(image_id):
in_file = open('VOCdevkit/VOC2007/Annotations3/%s.xml'%(image_id))
out_file = open('VOCdevkit/VOC2007/labels/%s.txt'%(image_id), 'w')
tree=ET.parse(in_file)
root = tree.getroot()
size = root.find('size')
w = int(size.find('width').text)
h = int(size.find('height').text)
for obj in root.iter('object'):
difficult = obj.find('difficult').text
cls = obj.find('name').text
cls_id = classes.index(cls)
xmlbox = obj.find('bndbox')
b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text),
float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
bb = convert((w,h), b)
out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
image_ids = open('VOCdevkit/VOC2007/ImageSets/Main/trainval.txt').read().strip().split()
#image_ids = open('VOCdevkit/VOC2007/ImageSets/Main/test.txt').read().strip().split()
list_file = open('train.txt', 'w')
#list_file = open('test.txt', 'w')
for image_id in image_ids:
list_file.write('scripts/VOCdevkit/VOC2007/JPEGImages/%s.jpg\n'%(image_id))
convert_annotation(image_id)
print("Completed successfully")
修改cfg/voc.data
classes= 1 #训练样本集的类别数
train = /home/user/darknet/2007_train.txt #训练样本集所在路径
valid = /home/user/darknet/2007_val.txt #验证样本集所在路径
names = data/voc.names #voc.names所在路径
backup = backup/ #训练结果的所在路径
修改data/voc.name,有几个类就写几个类
person
boat
buoy
修改cfg/yolov3-voc.cfg
[net]
# Testing ### 测试模式
# batch=1
# subdivisions=1
# Training ### 训练模式,每次前向的图片数目 = batch/subdivisions
batch=64
subdivisions=16
width=416 ### 网络的输入宽、高、通道数
height=416
channels=3
momentum=0.9 ### 动量
decay=0.0005 ### 权重衰减
angle=0
saturation = 1.5 ### 饱和度
exposure = 1.5 ### 曝光度
hue=.1 ### 色调
learning_rate=0.001 ### 学习率
burn_in=1000 ### 学习率控制的参数
max_batches = 50200 ### 迭代次数
policy=steps ### 学习率策略
steps=40000,45000 ### 学习率变动步长
scales=.1,.1 ### 学习率变动因子
[convolutional]
batch_normalize=1 ### BN
filters=32 ### 卷积核数目
size=3 ### 卷积核尺寸
stride=1 ### 卷积核步长
pad=1 ### pad
activation=leaky ### 激活函数
...
[convolutional]
size=1
stride=1
pad=1
filters=45 #3*(类别数+5)
activation=linear
[yolo]
mask = 6,7,8
anchors = 10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,326
classes=10
num=9
jitter=.3
ignore_thresh = .5
truth_thresh = 1
random=0
......
[convolutional]
size=1
stride=1
pad=1
filters=45 #3*(10+4+1)
activation=linear
[yolo]
mask = 3,4,5
anchors = 10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,326
classes=10 #类别
num=9
jitter=.3
ignore_thresh = .5
truth_thresh = 1
random=0 #1,如果显存很小,将random设置为0,关闭多尺度训练;
......
[convolutional]
size=1
stride=1
pad=1
filters=45 #3*(10+4+1)
activation=linear
[yolo]
mask = 0,1,2
anchors = 10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,326
classes=10 #类别
num=9
jitter=.3 # 数据扩充的抖动操作
ignore_thresh = .5 #文章中的阈值1
truth_thresh = 1 #文章中的阈值2
random=0 #1,如果显存很小,将random设置为0,关闭多尺度训练;
开始训练
下载预训练模型
wget https://pjreddie.com/media/files/darknet53.conv.74
开始训练
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74 -gpus 0,1
训练并保存日志信息,可视化训练过程
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74 -gpus 0,1 | tee train_yolov3.log
接断点继续训练
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc.backup -gpus 0,1
测试效果
./darknet detect cfg/yolov3-voc.cfg ***.weights data/dog.jpg