opencv之人脸检测项目实战（二）

自我介绍

目录

一、人脸检测整体架构
1.1 什么是人脸检测？
1.2 人脸检测的应用场景
1.3 人脸检测核心架构
二、人脸检测实现技术储备
2.1 NDK开发的原理
2.2 什么是JNI
2.3 OpenCV架构体系
三、人脸识别项目实战
3.1 如何进行人脸训练
3.2 图像处理基本算法
3.3人脸识别
四、总结

一、人脸检测整体架构

1.1 人脸检测定义

人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回一脸的位置、大小和姿态。

1.2 人脸检测的应用场景

每个人都有一张脸，而且是一个人最重要的外貌特征。这种技术最热门的应用领域有三个方面：

第一，身份认证与安全防护。在这个世界上，只要有门的地方几乎都带有一把锁。当然，在许多安全级别要求较高的区域，例如金融机构、机关办公大楼、运动场馆、甚至重要设施的工地，都需要对大量的人员进行基于身份认证的门禁管理。手机、笔记本电脑等个人电子用品，在开机和使用中经常要用到身份验证功能。

第二，媒体与娱乐。人们的许多娱乐活动都是跟脸部有关的。最著名的娱乐节目之一就是川剧的变脸。在网络虚拟世界里，通过人脸的变化，可以产生大量的娱乐节目和效果。手机、数码相机等消费电子产品中，基于人脸的娱乐项目越来越丰富。QQ、MSN等即时通信工具以及虚拟化身网络游戏也是人脸合成技术的广阔市场。

第三，图像搜索。传统搜索引擎的图像搜索其实还是文字搜索。基于人脸图像识别技术的搜索引擎将会具有广泛的应用前景。而且大部分以图片作为输入的搜索引擎，例如tineye(2008年上线)、搜狗识图(2011年上线)等，本质上是进行图片近似拷贝检测，即搜索看起来几乎完全一样的图片。2010年推出的百度识图也是如此，在经历两年多的沉寂之后，百度识图开始向另一个方向探索。与之前的区别在于，如果用户给出一张图片，百度识图会判断里面是否出现人脸，如果有，百度识图在相似图片搜索之外，同时会全网寻找出现过的类似人像。
　　新增加的技术简而言之，首先是人脸检测并提取出特征表达，随后再据此进行数据库对比，最后按照相似度排序返回结果。其实，人脸检测并不是新技术，相关研究已有三十年历史，然而直到2009年底，百度才决定推动这一技术付诸实施。

全球70亿人口，人脸相关技术应用前景不可限量！

1.3 人脸检测核心架构

二、人脸检测实现技术储备

2.1 NDK开发的原理

这是java调用c的一个过程：（首先我们得明白，java直接调用c是调不到的，我们得先把c铸成一种动态库so文件）。

我们在java中调用c的动态库的方法必须经历三个步骤：

1）System.loadLibrary()方法加载动态库。（如果动态库的名字为libwgr.so，那么我们应该去掉文件名的lib和.so，只把中间的wgr作为参数传递到方法中进行加载）。

2）第二步，我们应该申明一个本地的方法，这里申明的是一个show()方法，用Native关键字修饰。这个show方法和动态库中的一个方法进行一个一一的映射。

3）第三步，就是直接的调用我们本地的show函数，调用这个show函数实质上就是调用动态库中的函数。

2.2 什么是JNI

JNI是Java Native Interface的缩写，通过使用 Java本地接口书写程序，可以确保代码在不同的平台上方便移植。 ^[1] 从Java1.1开始，JNI标准成为java平台的一部分，它允许Java代码和其他语言写的代码进行交互。JNI一开始是为了本地已编译语言，尤其是C和C++而设计的，但是它并不妨碍你使用其他编程语言，只要调用约定受支持就可以了。使用java与本地已编译的代码交互，通常会丧失平台可移植性。但是，有些情况下这样做是可以接受的，甚至是必须的。例如，使用一些旧的库，与硬件、操作系统进行交互，或者为了提高程序的性能。JNI标准至少要保证本地代码能工作在任何Java 虚拟机环境。通过下图可以便于理解。

NDK与JNI开发相互关联见下图

2.3 OpenCV架构体系

OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。 ^[1] 最新版本是3.4 ，2017年12月23日发布 ^[2] 。

OpenCV 拥有包括 500 多个C函数的跨平台的中、高层 API。它不依赖于其它的外部库——尽管也可以使用某些外部库。

OpenCV 为Intel® Integrated Performance Primitives（IPP）提供了透明接口。这意味着如果有为特定处理器优化的 IPP 库，OpenCV 将在运行时自动加载这些库。

OpenCV组件架构

【calib3d】—— Calibration（校准）加3D这两个词的组合缩写。这个模块主要是相机校准和三维重建相关的内容。基本的多视角几何算法，单个立体摄像头标定，物体姿态估计，立体相似性算法，3D信息的重建等等。

【contrib】—— Contributed/Experimental Stuf的缩写，该模块包含了一些最近添加的不太稳定的可选功能，不用去多管。2.4.8里的这个模块有新型人脸识别，立体匹配，人工视网膜模型等技术。

【core】——核心功能模块，包含如下内容：

• OpenCV基本数据结构
• 动态数据结构
• 绘图函数
• 数组操作相关函数
• 辅助功能与系统函数和宏
• 与OpenGL的互操作

【imgproc】——Image和Processing这两个单词的缩写组合。图像处理模块，这个模块包含了如下内容：

• 线性和非线性的图像滤波
• 图像的几何变换
• 其它（Miscellaneous）图像转换
• 直方图相关
• 结构分析和形状描述
• 运动分析和对象跟踪
• 特征检测
• 目标检测等内容

【features2d】 ——也就是Features2D， 2D功能框架 ，包含如下内容：

• 特征检测和描述
• 特征检测器（Feature Detectors）通用接口
• 描述符提取器（Descriptor Extractors）通用接口
• 描述符匹配器（Descriptor Matchers）通用接口
• 通用描述符（Generic Descriptor）匹配器通用接口
• 关键点绘制函数和匹配功能绘制函数

【flann】—— Fast Library for Approximate Nearest Neighbors，高维的近似近邻快速搜索算法库，包含两个部分：

• 快速近似最近邻搜索
• 聚类

【gpu】——运用GPU加速的计算机视觉模块

【highgui】——high gui，高层GUI图形用户界面，包含媒体的I / O输入输出，视频捕捉、图像和视频的编码解码、图形交互界面的接口等内容

【legacy】——一些已经废弃的代码库，保留下来作为向下兼容，包含如下相关的内容：

• 运动分析
• 期望最大化
• 直方图
• 平面细分（C API）
• 特征检测和描述（Feature Detection and Description）
• 描述符提取器（Descriptor Extractors）的通用接口
• 通用描述符（Generic Descriptor Matchers）的常用接口
• 匹配器

【ml】——Machine Learning，机器学习模块， 基本上是统计模型和分类算法，包含如下内容：

• 统计模型 （Statistical Models）
• 一般贝叶斯分类器 （Normal Bayes Classifier）
• K-近邻 （K-NearestNeighbors）
• 支持向量机 （Support Vector Machines）
• 决策树 （Decision Trees）
• 提升（Boosting）
• 梯度提高树（Gradient Boosted Trees）
• 随机树 （Random Trees）
• 超随机树 （Extremely randomized trees）
• 期望最大化 （Expectation Maximization）
• 神经网络 （Neural Networks）
• MLData

【nonfree】——一些具有专利的算法模块，包含特征检测和GPU相关的内容。最好不要商用，可能会被告哦。

【objdetect】——目标检测模块，包含Cascade Classification（级联分类）和Latent SVM这两个部分。

【ocl】——即OpenCL-accelerated Computer Vision，运用OpenCL加速的计算机视觉组件模块

【photo】——Computational Photography，包含图像修复和图像去噪两部分

【stitching】——images stitching，图像拼接模块，包含如下部分：

• 拼接流水线
• 特点寻找和匹配图像
• 估计旋转
• 自动校准
• 图片歪斜
• 接缝估测
• 曝光补偿
• 图片混合

【superres】——SuperResolution，超分辨率技术的相关功能模块

【ts】——opencv测试相关代码，不管

【video】——视频分析组件，该模块包括运动估计，背景分离，对象跟踪等视频处理相关内容

【Videostab】——Video stabilization，视频稳定相关的组件
实现人脸识别参考下图理解

三、人脸识别项目实战

3.1图像识别核心步骤-代码架构

参考下图，代码实现可参考视频讲解https://www.bilibili.com/video/av73033269

3.2 图像识别核心步骤 ——灰度化

参考下图，代码实现可参考视频讲解https://www.bilibili.com/video/av73033269

3.3 图像识别核心步骤直方图均衡化

参考下图，代码实现可参考视频讲解https://www.bilibili.com/video/av73033269

3.4 图像识别核心步骤人脸训练

参考下图，代码实现可参考视频讲解https://www.bilibili.com/video/av73033269

3.5 图像识别核心步骤人脸检测

参考下图，代码实现可参考视频讲解https://www.bilibili.com/video/av73033269

3.6 核心步骤—高速Native绘制

参考下图，代码实现可参考视频讲解https://www.bilibili.com/video/av73033269

四、总结

人脸检测项目实战是学习人工智能技术在Android平台中应用的经典专题。
针对文中可能存在的疑问 。

欢迎大家添加我的个人微信号，进行探讨和交流。

最后阿里P7系列视频每日都会分享发布在Alvin老师的B站链接 https://space.bilibili.com/474380680感兴趣的同学别忘了关注喔！

参考：http://www.maiziedu.com/wiki/component/theory/