OpenCV 的全称是Open Source Computer Vision Library,是一个跨平台的计算机视觉库。 OpenCV 是由英特尔公司发起并参与开发,以 BSD 许可证授权发行,可以在商业和研究领域中免费使用。OpenCV 可用于开发实时的图像处理、计算机视觉以及模式识别程序。该程序库也可以使用英特尔公司的 IPP 进行加速处理。
OpenCV 用 C++语言编写,它的主要接口也是 C++语言,但是依然保留了大量的 C 语言接口。该库也有大量的 Python、Java and MATLAB/OCTAVE(版本 2.5)的接口。这些语言的 API 接口函数可以通过在线文档获得。如今也提供对于 C#、Ch、Ruby、GO 的支持。
OpenCV 已经支持 python 的模块了,直接使用 pip 就可以进行安装,命令如下:
显示图像是 OpenCV 最基本的操作之一,imshow()函数可以实现该操作。如果使用过其他 GUI 框架背景,就会很自然第调用 imshow()来显示一幅图像。imshow()函数有两个参数: 显示图像的帧名称以及要显示的图像本身。直接调用 imshow()函数图像确实会显示,但随即会消失。要保证图片一直在窗口上显示,要通过 waitKey()函数。waitKey()函数的参数为等待键盘触发的时间,单位为毫秒,其返回值是-1(表示没有键被按下)
【示例】读取图片
图片灰度转换
OpenCV 中有数百种关于在不同色彩空间之间转换的方法。当前,在计算机视觉中有三种常用的色彩空间:灰度、BGR、以及 HSV(Hue,Saturation,Value)。
(或光谱另一端的明亮程度)。
灰度转换的作用就是:转换成灰度的图片的计算强度得以降低。示例如下:
【示例】将图片灰度
修改图片尺寸
【示例】修改图片尺寸
画图
OpenCV 的强大之处的一个体现就是其可以对图片进行任意编辑,处理。 下面的这个函数最后一个参数指定的就是画笔的大小。
【示例】画图
人脸检测
Haar 级联的概念
摄影作品可能包含很多令人愉悦的细节。但是,由于灯光、视角、视距、摄像头抖动以 及数字噪声的变化,图像细节变得不稳定。人们在分类时不会受这些物理细节方面差异的影 响。以前学过,在显微镜下没有两片看起来很像的雪花。幸运的是,作者生长在加拿大,已 经学会如何不用显微镜来识别雪花。
因此,提取出图像的细节对产生稳定分类结果和跟踪结果很有用。这些提取的结果被称 为特征,专业的表述为:从图像数据中提取特征。虽然任意像素都可以能影响多个特征,但 特征应该比像素少得多。两个图像的相似程度可以通过它们对应特征的欧氏距离来度量。
Haar 特征是一种用于实现实时人脸跟踪的特征。每一个 Haar 特征都描述了相邻图像区域的对比模式。例如,边、顶点和细线都能生成具有判别性的特征。
首先我们要进入 OpenCV 官网:https://opencv.org 下载你需要的版本。点击 RELEASES
(发布)。如下图所示:
由于 OpenCV 支持好多平台,比如 Windows, Android, Maemo, FreeBSD, OpenBSD, iOS,
Linux 和 Mac OS,一般初学者都是用 windows,点击 Windows。
点击 Windows 后跳出下面界面,等待 5s 自动下载。
然后双击下载的文件,进行安装,实质就是解压一下,解压完出来一个文件夹,其他什么也没发生。安装完后的目录结构如下。其中 build 是 OpenCV 使用时要用到的一些库文件, 而 sources 中则是 OpenCV 官方为我们提供的一些 demo 示例源码。
在 sources 的一个文件夹 data/haarcascades。该文件夹包含了所有 OpenCV 的人脸检测的
XML 文件,这些可用于检测静止图像、视频和摄像头所得到图像中的人脸。
人脸检测器(默认):haarcascade_frontalface_default.xml
人脸检测器(快速 Harr):haarcascade_frontalface_alt2.xml
人脸检测器(侧视):haarcascade_profileface.xml
眼部检测器(左眼):haarcascade_lefteye_2splits.xml
眼部检测器(右眼):haarcascade_righteye_2splits.xml
嘴部检测器:haarcascade_mcs_mouth.xml
鼻子检测器:haarcascade_mcs_nose.xml
身体检测器:haarcascade_fullbody.xml
人脸检测器(快速 LBP):lbpcascade_frontalface.xml
人脸检测首先是加载图像并检测人脸,这也是最基本的一步。为了使所得到的结果有意 义,可在原始图像的人脸周围绘制矩形框。
【示例】识别图片中的人脸视频中的人脸检测
视频是一张一张图片组成的,在视频的帧上重复这个过程就能完成视频中的人脸检测。
【示例】识别视频中人脸
人脸识别
人脸检测是 OpenCV 的一个很不错的功能,它是人脸识别的基础。什么是人脸识别呢?
其实就是一个程序能识别给定图像或视频中的人脸。实现这一目标的方法之一是用一系列分 好类的图像来“训练”程序,并基于这些图像来进行识别。
这就是 OpenCV 及其人脸识别模块进行人脸识别的过程。
人脸识别模块的另外一个重要特征是:每个识别都具有转置信(confidence)评分,因此可在实际应用中通过对其设置阈值来进行筛选。
人脸识别所需要的人脸可以通过两种方式来得到:自己获得图像或从人脸数据库免费获 得可用的人脸图像。互联网上有许多人脸数据库:
https://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html
为了对这些样本进行人脸识别,必须要在包含人脸的样本图像上进行人脸识别。这是一 个学习的过程,但并不像自己提供的图像那样令人满意。
有了数据,需要将这些样本图像加载到人脸识别算法中。所有的人脸识别算法在它们的train()函数中都有两个参数:图像数组和标签数组。这些标签表示进行识别时候某人人脸的ID,因此根据 ID 可以知道被识别的人是谁。要做到这一点,将在「trainer/」目录中保存为.yml 文件。
在使用 Python 3 &OpenCV 3.0.0 进行人脸识别训练时发现异常:
AttributeError: ‘module’ object has no attribute ‘LBPHFaceRecognizer_create’OpenCV 需要安装 opencv-contrib-python 模块,直接使用 pip 就可以进行安装,命令如下:
【示例】训练数据基于LBPH 的人脸识别
LBPH(Local Binary Pattern Histogram)将检测到的人脸分为小单元,并将其与模型中的对应单元进行比较,对每个区域的匹配值产生一个直方图。由于这种方法的灵活性,LBPH 是唯一允许模型样本人脸和检测到的人脸在形状、大小上可以不同的人脸识别算法。
调整后的区域中调用 predict()函数,该函数返回两个元素的数组:第一个元素是所识别个体的标签,第二个是置信度评分。所有的算法都有一个置信度评分阈值,置信度评分用来 衡量所识别人脸与原模型的差距,0 表示完全匹配。可能有时不想保留所有的识别结果,则需要进一步处理,因此可用自己的算法来估算识别的置信度评分。LBPH 一个好的识别参考值要低于 50 ,任何高于 80 的参考值都会被认为是低的置信度评分。
【示例】基于 LBPH 的人脸识别