YOLOV3实战3：用python调用Darknet接口处理视频
大家好，我是小p，欢迎加入对象检测群813221712讨论和交流，进群请看群公告！
在YOLO官网提供的Darknet源码中，有一个使用python接口的示例程序 darknet.py
示例如下：https://github.com/pjreddie/darknet/blob/master/python/darknet.py
其处理一张图片的代码段如下：
if __name__ == "__main__":
net = load_net("cfg/tiny-yolo.cfg", "tiny-yolo.weights", 0)
meta = load_meta("cfg/coco.data")
r = detect(net, meta, "data/dog.jpg")
print r
此时，你可能会觉得这儿很麻烦，因为官网提供的接口用python处理一张图片的时候，只能传入图片路径？要是处理视频帧的话岂不是需要先将图片保存，获得路径后再调用接口？不需要！下面我们就来解决这个问题。
首先，看detect函数的定义：
def detect(net, meta, image, thresh=.5, hier_thresh=.5, nms=.45):
im = load_image(image, 0, 0)
num = c_int(0)
pnum = pointer(num)
predict_image(net, im)
dets = get_network_boxes(net, im.w, im.h, thresh, hier_thresh, None, 0, pnum)
num = pnum[0]
if (nms): do_nms_obj(dets, num, meta.classes, nms);
res = []
for j in range(num):
for i in range(meta.classes):
if dets[j].prob[i] > 0:
b = dets[j].bbox
res.append((meta.names[i], dets[j].prob[i], (b.x, b.y, b.w, b.h)))
res = sorted(res, key=lambda x: -x[1])
free_image(im)
free_detections(dets, num)
return res
传入detect函数的第三个参数image是字符串类型，即路径，随后调用load_image函数加载图片得到im对象，（注意这个im是Darknet中自定义的结构体image类型，定义在include/darknet.h中，该文件的详细注释在群内有分享。）再进行后续处理，那么我们改写接口的时候就可以直接将第三个参数改为image类型。做如下的修改：
1、在darkenet.py中自定义一个函数，内容如下：
def nparray_to_image(img):
data = img.ctypes.data_as(POINTER(c_ubyte))
image = ndarray_image(data, img.ctypes.shape, img.ctypes.strides)
return image
2、在darknet.py中增加如下行代码，增加位置找到类似代码的位置就好
ndarray_image = lib.ndarray_to_image
ndarray_image.argtypes = [POINTER(c_ubyte), POINTER(c_long), POINTER(c_long)]
ndarray_image.restype = IMAGE
3、在image.c中增加如下代码段，增加位置大概558行，灵活修改就好
#ifdef NUMPY
image ndarray_to_image(unsigned char* src, long* shape, long* strides)
{
int h = shape[0];
int w = shape[1];
int c = shape[2];
int step_h = strides[0];
int step_w = strides[1];
int step_c = strides[2];
image im = make_image(w, h, c);
int i, j, k;
int index1, index2 = 0;
for(i = 0; i < h; ++i){
for(k= 0; k < c; ++k){
for(j = 0; j < w; ++j){
index1 = k*w*h + i*w + j;
index2 = step_h*i + step_w*j + step_c*k;
//fprintf(stderr, "w=%d h=%d c=%d step_w=%d step_h=%d step_c=%d \n", w, h, c, step_w, step_h, step_c);
//fprintf(stderr, "im.data[%d]=%u data[%d]=%f \n", index1, src[index2], index2, src[index2]/255.);
im.data[index1] = src[index2]/255.;
}
}
}
rgbgr_image(im);
return im;
}
#endif
4、在image.h的19行后面加如下代码
#ifdef NUMPY
image ndarray_to_image(unsigned char* src, long* shape, long* strides);
#endif
5、在makefile的47行后面中加如下代码
ifeq ($(NUMPY), 1)
COMMON+= -DNUMPY -I/usr/include/python2.7/ -I/usr/lib/python2.7/dist-packages/numpy/core/include/numpy/
CFLAGS+= -DNUMPY
endif
前几行加 一条 NUMPY=1，增加后为：
GPU=1
CUDNN=1
OPENCV=1
OPENMP=0
NUMPY=1
DEBUG=0
6、重新编译make clean + make
7、修改darknet.py的后续处理，示例代码如下：
if __name__ == "__main__":
net = load_net(b"cfg/yolov3.cfg", b"yolov3.weights", 0)
meta = load_meta(b"cfg/coco.data")
vid = cv2.VideoCapture(' 1pondo.avi ')
while True:
return_value,arr=vid.read()
im=nparray_to_image(arr)
r = detect(net, meta, im)
此时r中返回了检测到的边框信息，老铁你要怎么处理随便你！
......
8、更改detect函数的前面几行，更改后为：
def detect(net, meta, im, thresh=.5, hier_thresh=.5, nms=.45):
num = c_int(0)
pnum = pointer(num)
说明：更改了形参image为im,直接使用im，不需要再读取,去掉了加载图片行的代码。
9、加群一起讨论交流
参考链接 https://github.com/pjreddie/darknet/issues/289#issuecomment-342448358
欢迎大家一起讨论交流，共同做好目标检测！码字不易，且行且珍惜！