Android 人脸识别了解一下 （上）
转载请注明作者及出处：https://www.jianshu.com/p/ca3a12bc4911
引言
人脸识别这件事想来早已经不新鲜，在 Android 中的应用也并不广泛，所以网上相关资料乏善可陈。但是在面对特殊的应用场景时，人脸识别的功能还是有一定的用处的，比如在考勤领域。
网上能搜到的很多示例比较多的是基于科大讯飞或者face++实现的，其中有一个示例做的非常漂亮，推荐大家看一看，SwFace。该项目基于讯飞SDK实现的人脸检测，使用face++的webapi实现的人脸注册以及人脸识别。
这些示例都有一个缺点，就是不支持动态识别（可以通过一些巧妙的方法，使用户无法感知这一过程），无论讯飞的SDK还是face++的webapi都是通过拍摄上传一张图片来进行人脸识别，其中讯飞的SDK使用起来很麻烦，官方的接入文档语焉不详，但是用来做人脸检测还是不错的。
这些平台都有一个共同的缺点，就是依赖网络，所有操作都是调用云端接口，需要良好的网络环境才能实现人脸的注册与识别。这对于签到考勤这一场景（需要较快的识别速度、设备可能处于无网络状态）还是很不方便的，另外他们都是收费的。
所以本文将介绍另一个功能完备，性能还算不错的第三方开发工具，虹软中国，而且它是免费的。
鉴于本文实质是我理解人脸识别这一需求的一个思维过程，所谓文章整体会比较墨迹，干货部分我会加黑处理，大家可以选择性阅读。
该项目的地址为：https://github.com/asdfqwrasdf/ArcFaceDemo
我整理并加注释的项目地址为：https://github.com/junerver/ArcFaceDemo （clone 到本地后可以直接 import 后运行）
人脸识别的几个重要的概念
人脸识别，我们可以理解为从一个专门保存人脸特征值的数据集合中找到最匹配的一组特征值。所以在整个流程中应该包含以下几个步骤
- 人脸检测 （FD引擎）
即从摄像头预览中检测到人脸的存在，并且使用一个矩形框出人脸的范围。 - 人脸注册
即将一张图片中的人脸信息，提取出特征值，将该特征值与人员信息建立联系。 - 人脸识别 （FR引擎）
当检测出人脸时，对人脸进行识别，如果人脸特征集合中存在该人脸信息，读取出该人脸信息及人员信息。
人脸注册
人脸注册可以说是整个识别流程的基础，原因不言而喻，来看看官方demo是如何处理的。
PS：demo非常简单，我们不做过于详细的解释，只介绍流程。
所有人脸注册的流程都在 RegsiterActivity 文件中处理的，该页面启动的时候接受 Intent 中传来的 imagePath 信息（图片地址）；
第一步：
将拍照获得的图片转为 Bitmap，然后将其转化成 NV21 格式的 Byte 数组，因为我们使用的sdk只能处理 NV21 格式的数据，NV21 格式限制高度不能为奇数；
mBitmap = Application.decodeImage(mFilePath);
//创建字节数组 大小由拍照传来的图片尺寸决定
byte[] data = new byte[mBitmap.getWidth() * mBitmap.getHeight() * 3 / 2];
try {
//将bitmap转换成nv21，结果保存到data数组中
ImageConverter convert = new ImageConverter();
convert.initial(mBitmap.getWidth(), mBitmap.getHeight(), ImageConverter.CP_PAF_NV21);//此处高度不能为奇数
if (convert.convert(mBitmap, data)) {
Log.d(TAG, "convert ok!");
}
convert.destroy();
} catch (Exception e) {
e.printStackTrace();
}第二步：
获得 NV21 格式的图片信息数据后，我们使用sdk提供的 FD 人脸检测引擎，检测图片中的人脸信息（人脸 Rect、角度），此处的 Rect 是图片中人脸位置的矩形。
//创建FD人脸检测引擎
AFD_FSDKEngine engine = new AFD_FSDKEngine();
AFD_FSDKVersion version = new AFD_FSDKVersion();
List result = new ArrayList(); //人脸探测结果（探测引擎可以识别图片中的全部人联系信息，所以此处是一个List）
//初始化引擎
AFD_FSDKError err = engine.AFD_FSDK_InitialFaceEngine(
FaceDB.appid, FaceDB.fd_key, AFD_FSDKEngine.AFD_OPF_0_HIGHER_EXT, 16, 300);
if (err.getCode() != AFD_FSDKError.MOK) {
//引擎初始化失败
Message reg = Message.obtain();
reg.what = MSG_CODE;
reg.arg1 = MSG_EVENT_FD_ERROR;
reg.arg2 = err.getCode();
mUIHandler.sendMessage(reg);
}
err = engine.AFD_FSDK_GetVersion(version);
//FD人脸探测，转化的nv21数据数组，传入图片的宽度、高度、NV21、探测结果
err = engine.AFD_FSDK_StillImageFaceDetection(data, mBitmap.getWidth(), mBitmap.getHeight(), AFD_FSDKEngine.CP_PAF_NV21, result); 至此我们就获得了一张图片中的全部人脸数据了，他们都被保存在result这个List列表中了。
第三步：
经过上述的两部，我们已经成功的从图片中识别到了人脸，并且将该人脸在图片中的位置获取到了，接下来我们要做的就是使用 FR 人脸识别引擎识别该位置人脸中的特征信息。
if (!result.isEmpty()) {
//探测结果不为空-存在人脸，初始化FR人脸识别引擎
AFR_FSDKVersion version1 = new AFR_FSDKVersion();
AFR_FSDKEngine engine1 = new AFR_FSDKEngine();
AFR_FSDKFace result1 = new AFR_FSDKFace(); //人脸特征实例
AFR_FSDKError error1 = engine1.AFR_FSDK_InitialEngine(FaceDB.appid, FaceDB.fr_key);
if (error1.getCode() != AFD_FSDKError.MOK) {
//人脸识别引擎初始化失败
Message reg = Message.obtain();
reg.what = MSG_CODE;
reg.arg1 = MSG_EVENT_FR_ERROR;
reg.arg2 = error1.getCode();
mUIHandler.sendMessage(reg);
}
error1 = engine1.AFR_FSDK_GetVersion(version1);
//提取人脸识别特征 传入值为：传入的图片（NV21转换后）、图片的宽度、高度、格式、人脸检测结果列表中取出的人脸Rect、角度、提取出的人脸特征
error1 = engine1.AFR_FSDK_ExtractFRFeature(data, mBitmap.getWidth(), mBitmap.getHeight(), AFR_FSDKEngine.CP_PAF_NV21, new Rect(result.get(0).getRect()), result.get(0).getDegree(), result1);
if(error1.getCode() == error1.MOK) {
//提取出了特征
mAFR_FSDKFace = result1.clone(); //clone提取出的人脸特征
int width = result.get(0).getRect().width();
int height = result.get(0).getRect().height();
Bitmap face_bitmap = Bitmap.createBitmap(width, height, Bitmap.Config.RGB_565);//人脸位置Rect的bitmap
Canvas face_canvas = new Canvas(face_bitmap);
face_canvas.drawBitmap(mBitmap, result.get(0).getRect(), new Rect(0, 0, width, height), null); //将检测到的人脸位置图片提取到face_bitmap中
Message reg = Message.obtain();
reg.what = MSG_CODE;
reg.arg1 = MSG_EVENT_REG;
reg.obj = face_bitmap;
mUIHandler.sendMessage(reg);
} else {
//没有提取出特征
Message reg = Message.obtain();
reg.what = MSG_CODE;
reg.arg1 = MSG_EVENT_NO_FEATURE;
mUIHandler.sendMessage(reg);
}
error1 = engine1.AFR_FSDK_UninitialEngine();//结束人脸识别FR引擎
} else {
//人脸检测结果为空，图片中不存在人脸
Message reg = Message.obtain();
reg.what = MSG_CODE;
reg.arg1 = MSG_EVENT_NO_FACE;
mUIHandler.sendMessage(reg);
}
err = engine.AFD_FSDK_UninitialFaceEngine(); //结束人脸检测FD引擎第四步：
到此我们已经获得了整个人脸注册流程中所需要的几个关键值了：
- 人脸位置 Rect 及该 Rect 的 Bitmap；
- 人脸特征信息实例 mAFR_FSDKFace；
接下来我们来将人脸特征信息与人员信息建立关联，并且将人脸特征信息保存到本地，这个数据将会用于人脸识别获取人员信息的流程。
我们先来看看官方的 Demo 是如何处理的：
if (msg.arg1 == MSG_EVENT_REG) {
//人脸特征信息识别成功，弹出一个对话框，输入该特征的注册名字（关联的人员信息，此处根据业务需求处理）
//**********省略*********
//****关键代码****添加人脸结果 用名字作为key
((Application)RegisterActivity.this.getApplicationContext())
.mFaceDB.addFace(mEditText.getText().toString(), mAFR_FSDKFace);
//**********省略*********
} 获取 Application 中的 mFaceDB 对象，调用其中的 addFace 方法。FaceDb 类是 demo 中官方写的一个人脸特征管理类，其实现是文件方式实现的，当然我们可以采用其他方式来实现暂且按下不表。
//addface
public void addFace(String name, AFR_FSDKFace face) {
try {
//检查全部已注册的人脸特征信息
boolean add = true;//默认需要注册新增人员
for (FaceRegist frface : mRegister) {
if (frface.mName.equals(name)) {
//存在该人员的信息，直接向其特征list中添加新的特征
frface.mFaceList.add(face);
add = false;
break;
}
}
if (add) { //该人员信息没有注册过
FaceRegist frface = new FaceRegist(name); //创建一个人员人脸特征类
frface.mFaceList.add(face);//添加一个人脸特征
mRegister.add(frface);
}
//saveInfo()方法会清空原有txt文件，重新向其中添加sdk版本信息
if (saveInfo()) {
//update all names
//把当前全部数据的人员名称重新添加到txt文件
FileOutputStream fs = new FileOutputStream(mDBPath + "/face.txt", true);
ExtOutputStream bos = new ExtOutputStream(fs);
for (FaceRegist frface : mRegister) {
bos.writeString(frface.mName);
}
bos.close();
fs.close();
//将人脸特征信息写入.data文件中
fs = new FileOutputStream(mDBPath + "/" + name + ".data", true);
bos = new ExtOutputStream(fs);
bos.writeBytes(face.getFeatureData());
bos.close();
fs.close();
}
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
至此人脸注册的整个流程就已经完毕了，其中有很多方法我们不必细究其实现细节，只要先了解其流程即可，毕竟我们第一步是把项目运行起来，并且能参照官方的 Demo 集成到自己项目中去。
在下一篇中，我们再来看看官方 Demo 中人脸识别是如何实现的。