Android人脸识别的初步学习

前言

随着技术发展，人脸识别在生活中的应用越发广泛，包括门禁系统，监控与检票时的身份辨识，移动支付，或是美颜相机等休闲娱乐应用，人脸识别逐渐替代人工识别。为我们的生活带来了极大的便利。本文将简单介绍人脸识别技术并基于虹软人脸识别SDK的demo对人脸识别技术进行初步学习。

基本知识

1. 什么是人脸识别

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。

2. 技术流程

人脸识别系统主要包括：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别四个组成部分。

人脸图像采集及检测

人脸图像采集：即通过摄像头采集不同的人脸图像；
人脸检测：对人脸识别的预处理，在图像中准确标定出人脸的位置和大小，把这其中有用的信息挑出来，并利用这些特征实现人脸检测。

人脸图像预处理

人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。
系统获取的原始图像往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。

人脸图像特征提取

人脸特征提取是对人脸进行特征建模的过程。
人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。

人脸图像匹配与识别

提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。人脸识别就是将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。

下载运行demo

1. 获取Demo

https://ai.arcsoft.com.cn/product/arcface.html

根据要求填写信息，进入开发者中心，选择需要的版本。

readme中有具体的使用指南：

2. 申请SDK

申请成功后可查看激活码并下载SDK。

3. 修改项目并运行demo

根据readme中的内容修改项目。
呀，报错了…面对看不懂的错误，我们就…百度…

---

经过一番艰难险阻，我们的demo终于运行起来了，如下图所示：

然而，当我一次又一次注册人脸，无论是网络上找到明星的照片，还是直接拍摄的图片，甚至是表情包，都检测不到人脸…我已经开始怀疑人脸长什么样子了…

由于时间精力有限…我们直接进入源代码的阅读…

Demo代码的阅读

1. 代码组成

人脸识别流程中应该包含以下几个步骤

人脸检测 （DetecteActivity）
即从摄像头预览中检测到人脸的存在，并且使用一个矩形框出人脸的范围。
人脸注册 (RegisterActivity)
即将一张图片中的人脸信息，提取出特征值，将该特征值与人员信息建立联系。
人脸识别 （FR引擎）

2. 人脸注册

人脸注册是整个识别流程的基础，Demo中人脸注册的流程是在 RegsiterActivity 文件中处理的，该页面启动的时候接受 Intent 中传来的 imagePath 信息（图片地址）；

第一步是获取待注册的照片，我们可以可以使用摄像头，也可以使用照片。
获取图片后，将获得的图片转为 Bitmap，然后将其转化成 NV21 格式的 Byte 数组，因为我们使用的sdk只能处理 NV21 格式的数据，NV21 格式限制高度不能为奇数；

    mBitmap = Application.decodeImage(mFilePath);
    		src.set(0,0,mBitmap.getWidth(),mBitmap.getHeight());
    		mSurfaceView = (SurfaceView)this.findViewById(R.id.surfaceView);
    		mSurfaceView.getHolder().addCallback(this);
    		view = new Thread(new Runnable() {
    			@Override
    			public void run() {
    				//等待holder创建
    				while (mSurfaceHolder == null) {
    					try {
    						Thread.sleep(100);
    					} catch (InterruptedException e) {
    						e.printStackTrace();
    					}
    				}
                    //创建字节数组 大小由拍照传来的图片尺寸决定
    				byte[] data = new byte[mBitmap.getWidth() * mBitmap.getHeight() * 3 / 2];
    				try {
    				    //将bitmap转换成nv21，结果保存到data数组中
    					ImageConverter convert = new ImageConverter();
    					convert.initial(mBitmap.getWidth(), mBitmap.getHeight(), ImageConverter.CP_PAF_NV21);
    					if (convert.convert(mBitmap, data)) {
    						Log.d(TAG, "convert ok!");
    					}
    					convert.destroy();
    				} catch (Exception e) {
    					e.printStackTrace();
    				}

第二步：
AFD_FSDKFace是人脸识别的结果，定义如下:

public class AFD_FSDKFace {
    android.graphics.Rect mRect;
    int mDegree;
}

调用AFD_FSDK_StillImageFaceDetection返回检测到的人脸信息

                //创建FD人脸检测引擎
				AFD_FSDKEngine engine = new AFD_FSDKEngine();
				AFD_FSDKVersion version = new AFD_FSDKVersion();
				List result = new ArrayList(); //注册结果？ 人脸探测结果
                //初始化引擎
				AFD_FSDKError err = engine.AFD_FSDK_InitialFaceEngine(
				        FaceDB.appid, FaceDB.fd_key, AFD_FSDKEngine.AFD_OPF_0_HIGHER_EXT, 16, 300);
				//错误码
				Log.d(TAG, "AFD_FSDK_InitialFaceEngine = " + err.getCode());
				if (err.getCode() != AFD_FSDKError.MOK) {
				    //引擎初始化失败
					Message reg = Message.obtain();
					reg.what = MSG_CODE;
					reg.arg1 = MSG_EVENT_FD_ERROR;
					reg.arg2 = err.getCode();
					mUIHandler.sendMessage(reg);
				}
				err = engine.AFD_FSDK_GetVersion(version);
				Log.d(TAG, "AFD_FSDK_GetVersion =" + version.toString() + ", " + err.getCode());

				//FD人脸探测，转化的nv21数据数组，传入图片的宽度、高度、NV21、探测结果
				err  = engine.AFD_FSDK_StillImageFaceDetection(data, mBitmap.getWidth(), mBitmap.getHeight(), AFD_FSDKEngine.CP_PAF_NV21, result);
				Log.d(TAG, "AFD_FSDK_StillImageFaceDetection =" + err.getCode() + "<" + result.size());

至此我们就获得了一张图片中的全部人脸数据了，他们都被保存在result这个List列表中。
第三步：
使用 FR 人脸识别引擎识别该位置人脸中的特征信息。

				if (!result.isEmpty()) {
				    //探测结果不为空-存在人脸 FR 人脸识别
					AFR_FSDKVersion version1 = new AFR_FSDKVersion();
					AFR_FSDKEngine engine1 = new AFR_FSDKEngine();
					AFR_FSDKFace result1 = new AFR_FSDKFace();
					AFR_FSDKError error1 = engine1.AFR_FSDK_InitialEngine(FaceDB.appid, FaceDB.fr_key);
					Log.d("com.arcsoft", "AFR_FSDK_InitialEngine = " + error1.getCode());
					if (error1.getCode() != AFD_FSDKError.MOK) {
					    //人脸识别引擎初始化失败
						Message reg = Message.obtain();
						reg.what = MSG_CODE;
						reg.arg1 = MSG_EVENT_FR_ERROR;
						reg.arg2 = error1.getCode();
						mUIHandler.sendMessage(reg);
					}
					error1 = engine1.AFR_FSDK_GetVersion(version1);
                    Log.d("com.arcsoft", "FR=" + version.toString() + "," + error1.getCode()); //(210, 178 - 478, 446), degree = 1　780, 2208 - 1942, 3370
                    //提取人脸识别特征
					error1 = engine1.AFR_FSDK_ExtractFRFeature(data, mBitmap.getWidth(), mBitmap.getHeight(), AFR_FSDKEngine.CP_PAF_NV21, new Rect(result.get(0).getRect()), result.get(0).getDegree(), result1);
					Log.d("com.arcsoft", "Face=" + result1.getFeatureData()[0] + "," + result1.getFeatureData()[1] + "," + result1.getFeatureData()[2] + "," + error1.getCode());
					if(error1.getCode() == error1.MOK) {
					    //提取出了特征
						mAFR_FSDKFace = result1.clone();
						int width = result.get(0).getRect().width();
						int height = result.get(0).getRect().height();
						Bitmap face_bitmap = Bitmap.createBitmap(width, height, Bitmap.Config.RGB_565);
						Canvas face_canvas = new Canvas(face_bitmap);
						face_canvas.drawBitmap(mBitmap, result.get(0).getRect(), new Rect(0, 0, width, height), null);
						Message reg = Message.obtain();
						reg.what = MSG_CODE;
						reg.arg1 = MSG_EVENT_REG;
						reg.obj = face_bitmap;
						mUIHandler.sendMessage(reg);
					} else {
					    //没有提取出特征
						Message reg = Message.obtain();
						reg.what = MSG_CODE;
						reg.arg1 = MSG_EVENT_NO_FEATURE;
						mUIHandler.sendMessage(reg);
					}
					error1 = engine1.AFR_FSDK_UninitialEngine();
					Log.d("com.arcsoft", "AFR_FSDK_UninitialEngine : " + error1.getCode());
				} else {
				    //人脸识别解决为空，不存在人脸
					Message reg = Message.obtain();
					reg.what = MSG_CODE;
					reg.arg1 = MSG_EVENT_NO_FACE;
					mUIHandler.sendMessage(reg);
				}
				err = engine.AFD_FSDK_UninitialFaceEngine();
				Log.d(TAG, "AFD_FSDK_UninitialFaceEngine =" + err.getCode());
			}
		});

第四步：
到此我们已经获得了整个人脸注册流程中所需要的几个关键值了：
人脸位置 Rect 及该 Rect 的 Bitmap；
人脸特征信息实例 mAFR_FSDKFace；
检测到了人脸，我们可以输入相应的描述信息，加入到人脸库中。

	public	void addFace(String name, AFR_FSDKFace face) {
		try {
			//check if already registered.
			boolean add = true;
			for (FaceRegist frface : mRegister) {
				if (frface.mName.equals(name)) {
					frface.mFaceList.add(face);
					add = false;
					break;
				}
			}
			if (add) { // not registered.
				FaceRegist frface = new FaceRegist(name);
				frface.mFaceList.add(face);
				mRegister.add(frface);
			}
            //清空原有txt文件
			if (saveInfo()) {
				//update all names
                //把当前内存里的新数据全部重新添加一次
				FileOutputStream fs = new FileOutputStream(mDBPath + "/face.txt", true);
				ExtOutputStream bos = new ExtOutputStream(fs);
				for (FaceRegist frface : mRegister) {
					bos.writeString(frface.mName);
				}
				bos.close();
				fs.close();

				//save new feature
				fs = new FileOutputStream(mDBPath + "/" + name + ".data", true);
				bos = new ExtOutputStream(fs);
				bos.writeBytes(face.getFeatureData());
				bos.close();
				fs.close();
			}
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

销毁人脸检测引擎

				err = engine.AFD_FSDK_UninitialFaceEngine();
				Log.d(TAG, "AFD_FSDK_UninitialFaceEngine =" + err.getCode());
	

3. 实现人脸识别

初始化相机：引擎需要的图像格式是NV21的，所以需要将摄像头中的图像格式预设置为NV21

	@Override
	public Camera setupCamera() {
		// TODO Auto-generated method stub
		mCamera = Camera.open(mCameraID);
		try {
			Camera.Parameters parameters = mCamera.getParameters();
			parameters.setPreviewSize(mWidth, mHeight);
			parameters.setPreviewFormat(mFormat);

			for( Camera.Size size : parameters.getSupportedPreviewSizes()) {
				Log.d(TAG, "SIZE:" + size.width + "x" + size.height);
			}
			for( Integer format : parameters.getSupportedPreviewFormats()) {
				Log.d(TAG, "FORMAT:" + format);
			}

			List fps = parameters.getSupportedPreviewFpsRange();
			for(int[] count : fps) {
				Log.d(TAG, "T:");
				for (int data : count) {
					Log.d(TAG, "V=" + data);
				}
			}
			//parameters.setPreviewFpsRange(15000, 30000);
			//parameters.setExposureCompensation(parameters.getMaxExposureCompensation());
			//parameters.setWhiteBalance(Camera.Parameters.WHITE_BALANCE_AUTO);
			//parameters.setAntibanding(Camera.Parameters.ANTIBANDING_AUTO);
			//parmeters.setFocusMode(Camera.Parameters.FOCUS_MODE_AUTO);
			//parameters.setSceneMode(Camera.Parameters.SCENE_MODE_AUTO);
			//parameters.setColorEffect(Camera.Parameters.EFFECT_NONE);
			mCamera.setParameters(parameters);
		} catch (Exception e) {
			e.printStackTrace();
		}
		if (mCamera != null) {
			mWidth = mCamera.getParameters().getPreviewSize().width;
			mHeight = mCamera.getParameters().getPreviewSize().height;
		}
		return mCamera;
	}

初始化人脸检测引擎（FT）

		Log.d(TAG, "AFT_FSDK_InitialFaceEngine =" + err.getCode());
		err = engine.AFT_FSDK_GetVersion(version);
		Log.d(TAG, "AFT_FSDK_GetVersion:" + version.toString() + "," + err.getCode());

摄像头开始预览时，在摄像头的预览事件处理函数中，先调用FT的人脸识函数函数，然后再调用FR中的人脸信息特征提取数函数。

AFT_FSDKError err = engine.AFT_FSDK_FaceFeatureDetect(data, width, height, AFT_FSDKEngine.CP_PAF_NV21, result);

AFR_FSDKError error = engine.AFR_FSDK_ExtractFRFeature(mImageNV21, mWidth, mHeight, AFR_FSDKEngine.CP_PAF_NV21,mAFT_FSDKFace.getRect(), mAFT_FSDKFace.getDegree(), result);

这里面的result中保存了人脸特征信息，与其他信息进行对比，当score的特征信息大于0.6时，我们就可以认为匹配到了人脸。

				AFR_FSDKMatching score = new AFR_FSDKMatching();
				float max = 0.0f;
				String name = null;
				for (FaceDB.FaceRegist fr : mResgist) {
					for (AFR_FSDKFace face : fr.mFaceList) {
						error = engine.AFR_FSDK_FacePairMatching(result, face, score);
						Log.d(TAG,  "Score:" + score.getScore() + ", AFR_FSDK_FacePairMatching=" + error.getCode());
						if (max < score.getScore()) {
							max = score.getScore();
							name = fr.mName;
						}
					}
				}

总结

虹软SDK引擎免费开放，在网上也可以找到较多的帮助文档，是学习人脸识别技术比较好的入手点。第一次接触人脸识别技术，相对于探索创新更多的是摸索和学习，在网络上参考了许多文档和大家的经验之谈，后续的学习再接再厉呀。

参考：

人脸识别
虹软人脸识别
虹软人脸识别demo
虹软新手指南
Android 人脸识别了解一下 （上）
Android 人脸识别了解一下 （中）
Android 实现人脸识别教程运用虹软人脸识别SDK

作者：林延萍
原文地址：https://blog.csdn.net/qq_39980587/article/details/90587052