opencv_deeplearning实战1：基于深度学习的opencv人脸检测

一、总概

今年上半年在参加RC比赛，惨不忍睹。然后整个暑假两个月一直都在实习（专业安排），学的都是java web开发，实在没兴趣。最近才抽出空来，把自己的所学做一些总结（已经很久没写博客了）。
最近在学习opencv和deeplearning，之前看过CS231n，对深度学习只懂一些皮毛，更多的是想做一些应用，所以又重新看opencv。opencv很好用，自从opencv3.3出来，已经嵌入了不少深度学习的模型，实在是好用。
先安利一个非常好的一个opencv教程，我经常去看这里的教程，这次的实战也是学习他的课程，自己加以修改整合理解。想积累实战经验的，可以多多去逛他的贴，可以增长很多见识。

二、正文

言归正传，opencv 3.3公布后，在深度学习的模块有了很大的提升，已经支持了一些常用的深度学习框架，比如说Caffe , Tensorflow , 和Torch/PyTorch。想了解更多demo,可以去看Github。

• 这次做的是人脸识别，用的是opencv里面的预训练的caffe模型，所以需要用到模型的结构文件 .prototxt 以及权重参数文件 .caffemodel ，其中prototxt文件，在官网可以找到，但是参数文件很难找到。感谢此教程作者的慷慨提供。为了方便朋友下载，后续我会把文件和相关的代码都放在我的github上,喜欢的可以给个star，对我是莫大的鼓励。

• 该模型是基于SSD和ResNet网络来训练的，想学越多，请读者自行去找资料或参考官网。有了预训练的模型，只需要导入即可。
  net = cv2.dnn.readNetFromCaffe(modelPath, weightPath)

• 所以其他要做的，只是对代码进行包装，给他输入，获得预测结果并可视化。所以代码就是调用函数和包而已。（具体我已经在注释写清楚，为了方便调用视频，我已经对一样的代码打包成函数）

三、单张图片检测代码

#encoding ：UTF-8

'''
利用opencv自带的基于深度学习训练的函数来做人脸识别，准确率比Haar cascades要高
'''
import numpy as np
import cv2

# 定义相关的路径参数
modelPath = "deploy.prototxt.txt"
weightPath = "res10_300x300_ssd_iter_140000.caffemodel"
confidence = 0.5 # 置信度参数，高于此数才认为是人脸，可调

def face_detector(image):


    net = cv2.dnn.readNetFromCaffe(modelPath, weightPath)


    # 输入图片并重置大小符合模型的输入要求
    (h, w) = image.shape[:2]  #获取图像的高和宽，用于画图
    blob = cv2.dnn.blobFromImage(cv2.resize(image, (300, 300)), 1.0,
        (300, 300), (104.0, 177.0, 123.0))  
    # ===============================blobFromImage待研究=====================


    net.setInput(blob)
    detections = net.forward()  # 预测结果


    # 可视化：在原图加上标签和框
    for i in range(0, detections.shape[2]):
        # 获得置信度
        res_confidence = detections[0, 0, i, 2]

        # 过滤掉低置信度的像素
        if res_confidence > confidence :
            # 获得框的位置
            box = detections[0, 0, i, 3:7] * np.array([w, h, w, h])
            (startX, startY, endX, endY) = box.astype("int")

            # 在图片上写上标签
            text = "{:.2f}%".format(res_confidence * 100)
            # 如果检测脸部在左上角，则把标签放在图片内，否则放在图片上面
            y = startY - 10 if startY - 10 > 10 else startY + 10 
            cv2.rectangle(image, (startX, startY), (endX, endY),
                (0, 255, 0), 2)
            cv2.putText(image, text, (startX, y),
                cv2.FONT_HERSHEY_SIMPLEX, 0.45, (0, 0, 255), 2)
    resImage = image
    return resImage 


if __name__ == '__main__':
    image = "test5.jpg" # 最好图片名不用中文
    image = cv2.imread(image)
    # image = cv2.resize(image , (640,480))
    # print(image.shape)
    resImage = face_detector(image)
    cv2.imshow("Output", resImage)
    cv2.imwrite("res_test5.jpg",resImage)
    cv2.waitKey(0) 

注释已经写得比较清楚，希望初入门的同学也能看懂，有什么问题，欢迎留言讨论。
我对其进行了测试，效果还是很不错的。

这张照片是我去支教时拍的照片（请忽略长相，专注效果），即使人脸上有阳光直射，但是仍然能检测出来，鲁棒性不错。但是置信度不高，只有37.72%,这个很大程度取决于人脸在图片中所占的比例。

这个是我在支教时教的一位超可爱的小朋友，检测效果没问题。

（图片源于网络）效果也是没问题。

（图片源于网络）这张虽然嘴巴被遮住，但是依然能以94.35%的置信度检测出人脸，很不错。唯一不足是旁边不是人脸的区域也被检测出来。但是效果已经比opencv之前的Haar cascades算法好得多。

四、视频检测代码

有了单张图片，视频检测其实一样的原理，上面推荐的教程里是重复写了一部分代码，但是作为打代码的我们，能抽象出来，为什么不封装起来呢？所以，我自己装成了函数，视频读取的代码10行就能搞定。

'''
使用摄像头实现人脸检测
'''
import cv2
import detect_faces_image

vs = cv2.VideoCapture(0) # 用笔记本自带摄像头，请选0

while True:
    ret , frame = vs.read()

    resImage = detect_faces_image.face_detector(frame)

    cv2.imshow("Frame", resImage)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

vs.release()
cv2.destroyAllWindows()

同样，这里放效果图。

赶紧试一下吧，强烈呼吁自己动手试一下，调一下置信度，自己玩一下。
想下载源代码和配置文件，请到我的github上
欢迎留言交流。也欢迎转载，给更多喜欢计算机视觉的同学，一起学习。
感恩。