Android人脸识别的初步学习，移动端开发技术创新
根据readme中的内容修改项目。
呀，报错了…面对看不懂的错误，我们就…百度…
经过一番艰难险阻，我们的demo终于运行起来了，如下图所示：
然而，当我一次又一次注册人脸，无论是网络上找到明星的照片，还是直接拍摄的图片，甚至是表情包，都检测不到人脸…我已经开始怀疑人脸长什么样子了…
由于时间精力有限…我们直接进入源代码的阅读…
Demo代码的阅读
===================================================================
1. 代码组成
人脸识别流程中应该包含以下几个步骤
人脸检测 （DetecteActivity）
即从摄像头预览中检测到人脸的存在，并且使用一个矩形框出人脸的范围。
人脸注册 (RegisterActivity)
即将一张图片中的人脸信息，提取出特征值，将该特征值与人员信息建立联系。
人脸识别 （FR引擎）
2. 人脸注册
人脸注册是整个识别流程的基础，Demo中人脸注册的流程是在 RegsiterActivity 文件中处理的，该页面启动的时候接受 Intent 中传来的 imagePath 信息（图片地址）；
第一步是获取待注册的照片，我们可以可以使用摄像头，也可以使用照片。
获取图片后，将获得的图片转为 Bitmap，然后将其转化成 NV21 格式的 Byte 数组，因为我们使用的sdk只能处理 NV21 格式的数据，NV21 格式限制高度不能为奇数；
mBitmap = Application.decodeImage(mFilePath);
src.set(0,0,mBitma
p.getWidth(),mBitmap.getHeight());
mSurfaceView = (SurfaceView)this.findViewById(R.id.surfaceView);
mSurfaceView.getHolder().addCallback(this);
view = new Thread(new Runnable() {
@Override
public void run() {
//等待holder创建
while (mSurfaceHolder == null) {
try {
Thread.sleep(100);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
//创建字节数组 大小由拍照传来的图片尺寸决定
byte[] data = new byte[mBitmap.getWidth() * mBitmap.getHeight() * 3 / 2];
try {
//将bitmap转换成nv21，结果保存到data数组中
ImageConverter convert = new ImageConverter();
convert.initial(mBitmap.getWidth(), mBitmap.getHeight(), ImageConverter.CP_PAF_NV21);
if (convert.convert(mBitmap, data)) {
Log.d(TAG, “convert ok!”);
}
convert.destroy();
} catch (Exception e) {
e.printStackTrace();
}
第二步：
AFD_FSDKFace是人脸识别的结果，定义如下:
public class AFD_FSDKFace {
android.graphics.Rect mRect;
int mDegree;
}
调用AFD_FSDK_StillImageFaceDetection返回检测到的人脸信息
//创建FD人脸检测引擎
AFD_FSDKEngine engine = new AFD_FSDKEngine();
AFD_FSDKVersion version = new AFD_FSDKVersion();
List
//初始化引擎
AFD_FSDKError err = engine.AFD_FSDK_InitialFaceEngine(
FaceDB.appid, FaceDB.fd_key, AFD_FSDKEngine.AFD_OPF_0_HIGHER_EXT, 16, 300);
//错误码
Log.d(TAG, "AFD_FSDK_InitialFaceEngine = " + err.getCode());
if (err.getCode() != AFD_FSDKError.MOK) {
//引擎初始化失败
Message reg = Message.obtain();
reg.what = MSG_CODE;
reg.arg1 = MSG_EVENT_FD_ERROR;
reg.arg2 = err.getCode();
mUIHandler.sendMessage(reg);
}
err = engine.AFD_FSDK_GetVersion(version);
Log.d(TAG, “AFD_FSDK_GetVersion =” + version.toString() + ", " + err.getCode());
//FD人脸探测，转化的nv21数据数组，传入图片的宽度、高度、NV21、探测结果
err = engine.AFD_FSDK_StillImageFaceDetection(data, mBitmap.getWidth(), mBitmap.getHeight(), AFD_FSDKEngine.CP_PAF_NV21, result);
Log.d(TAG, “AFD_FSDK_StillImageFaceDetection =” + err.getCode() + “<” + result.size());
至此我们就获得了一张图片中的全部人脸数据了，他们都被保存在result这个List列表中。
第三步：
使用 FR 人脸识别引擎识别该位置人脸中的特征信息。
if (!result.isEmpty()) {
//探测结果不为空-存在人脸 FR 人脸识别
AFR_FSDKVersion version1 = new AFR_FSDKVersion();
AFR_FSDKEngine engine1 = new AFR_FSDKEngine();
AFR_FSDKFace result1 = new AFR_FSDKFace();
AFR_FSDKError error1 = engine1.AFR_FSDK_InitialEngine(FaceDB.appid, FaceDB.fr_key);
Log.d(“com.arcsoft”, "AFR_FSDK_InitialEngine = " + error1.getCode());
if (error1.getCode() != AFD_FSDKError.MOK) {
//人脸识别引擎初始化失败
Message reg = Message.obtain();
reg.what = MSG_CODE;
reg.arg1 = MSG_EVENT_FR_ERROR;
reg.arg2 = error1.getCode();
mUIHandler.sendMessage(reg);
}
error1 = engine1.AFR_FSDK_GetVersion(version1);
Log.d(“com.arcsoft”, “FR=” + version.toString() + “,” + error1.getCode()); //(210, 178 - 478, 446), degree = 1 780, 2208 - 1942, 3370
//提取人脸识别特征
error1 = engine1.AFR_FSDK_ExtractFRFeature(data, mBitmap.getWidth(), mBitmap.getHeight(), AFR_FSDKEngine.CP_PAF_NV21, new Rect(result.get(0).getRect()), result.get(0).getDegree(), result1);
Log.d(“com.arcsoft”, “Face=” + result1.getFeatureData()[0] + “,” + result1.getFeatureData()[1] + “,” + result1.getFeatureData()[2] + “,” + error1.getCode());
if(error1.getCode() == error1.MOK) {
//提取出了特征
mAFR_FSDKFace = result1.clone();
int width = result.get(0).getRect().width();
int height = result.get(0).getRect().height();
Bitmap face_bitmap = Bitmap.createBitmap(width, height, Bitmap.Config.RGB_565);
Canvas face_canvas = new Canvas(face_bitmap);
face_canvas.drawBitmap(mBitmap, result.get(0).getRect(), new Rect(0, 0, width, height), null);
Message reg = Message.obtain();
reg.what = MSG_CODE;
reg.arg1 = MSG_EVENT_REG;
reg.obj = face_bitmap;
mUIHandler.sendMessage(reg);
} else {
//没有提取出特征
Message reg = Message.obtain();
reg.what = MSG_CODE;
reg.arg1 = MSG_EVENT_NO_FEATURE;
mUIHandler.sendMessage(reg);
}
error1 = engine1.AFR_FSDK_UninitialEngine();
Log.d(“com.arcsoft”, "AFR_FSDK_UninitialEngine : " + error1.getCode());
} else {
//人脸识别解决为空，不存在人脸
Message reg = Message.obtain();
reg.what = MSG_CODE;
reg.arg1 = MSG_EVENT_NO_FACE;
mUIHandler.sendMessage(reg);
}
err = engine.AFD_FSDK_UninitialFaceEngine();
Log.d(TAG, “AFD_FSDK_UninitialFaceEngine =” + err.getCode());
}
});
第四步：
到此我们已经获得了整个人脸注册流程中所需要的几个关键值了：
人脸位置 Rect 及该 Rect 的 Bitmap；
人脸特征信息实例 mAFR_FSDKFace；
检测到了人脸，我们可以输入相应的描述信息，加入到人脸库中。
public void addFace(String name, AFR_FSDKFace face) {
try {
//check if already registered.
boolean add = true;
for (FaceRegist frface : mRegister) {
if (frface.mName.equals(name)) {
frface.mFaceList.add(face);
add = false;
break;
}
}
if (add) { // not registered.
FaceRegist frface = new FaceRegist(name);
frface.mFaceList.add(face);
mRegister.add(frface);
}
//清空原有txt文件
if (saveInfo()) {
//update all names
//把当前内存里的新数据全部重新添加一次
FileOutputStream fs = new FileOutputStream(mDBPath + “/face.txt”, true);
ExtOutputStream bos = new ExtOutputStream(fs);
for (FaceRegist frface : mRegister) {
bos.writeString(frface.mName);
}
bos.close();
fs.close();
//save new feature
fs = new FileOutputStream(mDBPath + “/” + name + “.data”, true);
bos = new ExtOutputStream(fs);
bos.writeBytes(face.getFeatureData());
bos.close();
fs.close();
}
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
销毁人脸检测引擎
err = engine.AFD_FSDK_UninitialFaceEngine();
Log.d(TAG, “AFD_FSDK_UninitialFaceEngine =” + err.getCode());
3. 实现人脸识别
初始化相机：引擎需要的图像格式是NV21的，所以需要将摄像头中的图像格式预设置为NV21
@Override
public Camera setupCamera() {
// TODO Auto-generated method stub
mCamera = Camera.open(mCameraID);
try {
Camera.Parameters parameters = mCamera.getParameters();
parameters.setPreviewSize(mWidth, mHeight);
parameters.setPreviewFormat(mFormat);
err = engine.AFD_FSDK_UninitialFaceEngine();
Log.d(TAG, “AFD_FSDK_UninitialFaceEngine =” + err.getCode());
3. 实现人脸识别
初始化相机：引擎需要的图像格式是NV21的，所以需要将摄像头中的图像格式预设置为NV21
@Override
public Camera setupCamera() {
// TODO Auto-generated method stub
mCamera = Camera.open(mCameraID);
try {
Camera.Parameters parameters = mCamera.getParameters();
parameters.setPreviewSize(mWidth, mHeight);
parameters.setPreviewFormat(mFormat);