【嵌牛导读】：安卓上使用opencv实现人脸监测。opencv上提供训练好的人脸模型，使用Haar分类器进行匹配。都是库的调用，不过其中还有一些小细节，比如：摄像头预览的旋转，.so文件的调用等。如果你刚开始学习android或者opencv的话，这篇文章还是有不少价值的。
【嵌牛鼻子】：opencv4android Haar 人脸监测
【嵌牛提问】：如何在安卓上实现人脸监测
【嵌牛正文】：
1.首先新建一个工程，不用多说，大家应该都轻车熟路。
2.将编译好的libopencv_java.so文件添加到jniLibs文件夹下面（当然你可以在手机上安装opencvmanager来代替此步骤）
引入opencv java sdk作为一个module。
3.编写布局文件，很简单。两个button,一个JavaCameraView
xmlns:app="http://schemas.android.com/apk/res-auto"
xmlns:tools="http://schemas.android.com/tools"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:orientation="vertical"
tools:context="com.tinymonster.opencvstudyfacedetect.MainActivity">
android:layout_width="match_parent"
android:layout_height="match_parent"
android:id="@+id/Main_surface_view"
/>
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:orientation="horizontal"
>
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:text="后置"
android:id="@+id/Main_bt_back"
/>
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:text="前置"
android:id="@+id/Main_bt_front"
/>
4.在main文件夹下面新建raw文件夹，将opencv中训练好的模型复制到文件夹中。你可以在opencv的face_detection例程中找到这个文件。
5.编写Activity。首先请求权限，加载opencv库文件。
在成功加载opencv库的回调函数中加载人脸模型文件
private BaseLoaderCallback mLoaderCallback = new BaseLoaderCallback(this) {
@Override
public void onManagerConnected(int status) {
switch (status) {
case LoaderCallbackInterface.SUCCESS: {
Log.i("MainActivity", "OpenCV loaded successfully");
try{
InputStream is=getResources().openRawResource(R.raw.lbpcascade_frontalface);//读取级联分类器
File cascadeDir=getDir("cascade", Context.MODE_PRIVATE);
mCascadeFile=new File(cascadeDir,"cascade.xml");//创建输出文件
FileOutputStream os=new FileOutputStream(mCascadeFile);
byte[] buffer=new byte[4096];//缓存
int bytesRead;
while ((bytesRead=is.read(buffer))!=-1){//直到文件末尾
os.write(buffer,0,bytesRead);//写入文件
}
is.close();
os.close();
haarCascade=new CascadeClassifier(mCascadeFile.getAbsolutePath());
if(haarCascade.empty()){
Toast.makeText(MainActivity.this,"加载级联分类器失败",Toast.LENGTH_SHORT).show();
haarCascade=null;
}
}catch (Exception e){
e.printStackTrace();
Log.e("MainActivity","未找到级联分类器");
}
// Main_surface_view.enableView();
// Main_surface_view.setCameraIndex(1);
// mOpenCvCameraView.enableView();
// mOpenCvCameraView.setOnTouchListener(ColorBlobDetectionActivity.this);
}
break;
default: {
super.onManagerConnected(status);
}
break;
}
}
};
然后初始化控件。两个按钮分别是跳转到前置摄像头和后置摄像头。按钮点击事件中设置摄像头的index，然后加载摄像头监听器。
6.Activity实现CameraBridgeViewBase.CvCameraViewListener2接口，实现三个函数
@Override
public void onCameraViewStarted(int width, int height) {
mRgba=new Mat(height,width, CvType.CV_8UC4);
size=(int)(height*0.3);
Log.e("MainActivity","size:"+size);
}
@Override
public Mat onCameraFrame(CameraBridgeViewBase.CvCameraViewFrame inputFrame) {
Mat mGray=inputFrame.gray();
mRgba=inputFrame.rgba();
if(mIsFrontCamera){
Core.flip(mRgba,mRgba,1);//翻转图片
Core.flip(mGray,mGray,1);//翻转图片
}
MatOfRect faces=new MatOfRect();
if(haarCascade!=null){
haarCascade.detectMultiScale(mGray,faces,1.1,2,2,new Size(size,size),new Size());
}
Rect[] facesArray=faces.toArray();
for(int i=0;i
Log.e("MainActivity",facesArray[i].tl()+" "+facesArray[i].br());
Core.rectangle(mRgba,facesArray[i].tl(),facesArray[i].br(),new Scalar(0,255,0,255),3);
}
return mRgba;
}
@Override
public void onCameraViewStopped() {
}
7.在opencv SDK中找到CameraBridgeViewBase，修改deliverAndDrawFrame(CvCameraViewFrame frame)函数（某些机型会出现摄像预览图片旋转90度的问题，改步骤可以解决这个问题）。
protected void deliverAndDrawFrame(CvCameraViewFrame frame) {
Mat modified;
if (mListener != null) {
modified = mListener.onCameraFrame(frame);
} else {
modified = frame.rgba();
}
boolean bmpValid = true;
if (modified != null) {
try {
Utils.matToBitmap(modified, mCacheBitmap);
} catch (Exception e) {
Log.e(TAG, "Mat type: " + modified);
Log.e(TAG, "Bitmap type: " + mCacheBitmap.getWidth() + "*" + mCacheBitmap.getHeight());
Log.e(TAG, "Utils.matToBitmap() throws an exception: " + e.getMessage());
bmpValid = false;
}
}
if (bmpValid && mCacheBitmap != null) {
Canvas canvas = getHolder().lockCanvas();
if (canvas != null) {
canvas.drawColor(0, android.graphics.PorterDuff.Mode.CLEAR);
// 修改预览旋转90度问题
canvas.rotate(90,0,0);
float scale = canvas.getWidth() / (float)mCacheBitmap.getHeight();
float scale2 = canvas.getHeight() / (float)mCacheBitmap.getWidth();
if(scale2 > scale){
scale = scale2;
}
if (scale != 0) {
canvas.scale(scale, scale,0,0);
}
canvas.drawBitmap(mCacheBitmap, 0, -mCacheBitmap.getHeight(), null);
// 修改预览旋转90度问题end
if (mFpsMeter != null) {
mFpsMeter.measure();
mFpsMeter.draw(canvas, 20, 30);
}
getHolder().unlockCanvasAndPost(canvas);
}
}
}
8.别忘记活动结束时释放资源
9.这样就完成了人脸监测。现在还有一个问题，必须将手机横过来才能正确地识别人脸。我试着在程序中将摄像头获取的MAT矩阵翻转，但是没有成功。