OpenCV4Android人脸检测功能

最近公司需要做一个人脸检测的新功能，在网上找了找，有很多开源的第三方库都可以用，例如OpenCV,虹软，Face++，百度，阿里等等。

由于在APP的需求，只能本地检测，所以Face++，百度，阿里这些需要用HTTP进行网络请求返回结果的，只能舍弃了。集中研究OpenCV以及虹软。
首先介绍一下虹软，这家公司开源了so库以及jar包，可直接下载集成到项目中，简单配置之后就可检测人脸，而且识别率还是不错的。可借鉴此博客点击打开链接。详细教你在Android Studio中使用虹软检测以及识别人脸。

接下来讲一下使用OpenCV开源库检测人脸。其实OpenCV非常强大，有兴趣的同学可以去查阅一下。目前只讲一下使用OpenCV通过Camera动态检测人脸。OpenCV搭建流程可百度，内容很多，这里仅做简单说明。

首先下载OpenCV4Android Demo，新建项目等操作省略，然后倒入OpenCV Samples中的face_detection项目，使用NDK编译检测的so库，倒入OpenCV SDK中的java Module到项目中，在app/src/main目录下新建jniLibs，复制sdk/native/libs/armeabi-v7a/libopencv_java3.so到jniLibs/armeabi-v7a中（可多选，arm，x86等，由于我只需要v7a即可，只倒入这个），复制sdk/native/jni/include到jniLibs下。可直接下载代码OpenCVJ。

到此搭建完工程，点击运行，发现只有横屏下才能正确检测到人脸，但是项目需求是在竖屏下检测人脸，怎么办，接着寻找答案，发现这篇博客OpenCV on Android 开发 （4）竖屏预览图像问题解决方法-续，在此多谢这位兄台的先驱行动，使用Core.rotate函数，最后一个参数填入Core.ROTATE_90_CLOCKWISE,旋转Gray Mat后可正确检测到人脸，返回MatOfRect，再把MatOfRect放入到mRgba中，再次通过Core.rotate函数，但是最后一个参数需填入Core.ROTATE_90_COUNTERCLOCKWISE，再返回到CameraBridgeViewBase中的deliverAndDrawFrame中，经过此操作后可以正确显示出人脸检测框。

使用上述方法就基本完成了。按照惯例，文章没有写完，肯定会有但是的，没错，这里也有。

但是：实际使用时，发现帧率只有10帧左右，完全无法接受，整个页面都是卡顿的，怎么办，接着寻找方法。想到一个idea，既然是检测，我只需要OpenCV的检测功能，不需要OpenCV来自己画图，直接使用camera的预览效果，我只把人脸检测框画到预览图上面去就好，这样可以保证预览不卡顿，只是检测框可能要一点时间才能显示，这也是无法避免的了。

首先看xml文件：

`

使用JavaCameraView开启Camera，id为fd_switch_camera_view为切换前置后置摄像头，id为fd_image_view用来显示人脸检测框。

    再看FdActivity.java文件，只展示主要修改地方：
	`
@Override
    public Mat onCameraFrame(CvCameraViewFrame inputFrame)
    {
        mGray = inputFrame.gray();
        Utils.bitmapToMat(mAlphaBitmap, mRgba);
        //使前置的图像也是正的
        if (mOpenCvCameraView.getCameraIndex() == CameraBridgeViewBase.CAMERA_ID_FRONT)
        {
            Core.flip(mRgba, mRgba, 1);
            Core.flip(mGray, mGray, 1);
        }
        if (mAbsoluteFaceSize == 0)
        {
            int height = mGray.rows();
            if (Math.round(height * mRelativeFaceSize) > 0)
            {
                mAbsoluteFaceSize = Math.round(height * mRelativeFaceSize);
            }
            if (mNativeDetector != null)
            {
                mNativeDetector.setMinFaceSize(mAbsoluteFaceSize);
            }
        }
 
        MatOfRect faces = new MatOfRect();
        Core.rotate(mGray, gMatlin, Core.ROTATE_90_CLOCKWISE);
        Core.rotate(mRgba, Matlin, Core.ROTATE_90_CLOCKWISE);
        if (mNativeDetector != null)
        {
            mNativeDetector.detect(gMatlin, faces);
        }
 
        Rect[] faceArray = faces.toArray();
        for (Rect rect : faceArray)
        {
            Imgproc.rectangle(Matlin, rect.tl(), rect.br(), new Scalar(0, 255, 0, 255), 2);
        }
        Core.rotate(Matlin, mRgba, Core.ROTATE_90_COUNTERCLOCKWISE);
 
        deliverAndDrawFrame(mRgba);
        return mRgba;
    }
protected void deliverAndDrawFrame(Mat modified)
    {
 
        boolean bmpValid = true;
        if (modified != null)
        {
            try
            {
                Utils.matToBitmap(modified, mCacheBitmap, true);
            }
            catch (Exception e)
            {
                Log.e(TAG, "Mat type: " + modified);
                Log.e(TAG, "Bitmap type: " + mCacheBitmap.getWidth() + "*" + mCacheBitmap.getHeight());
                Log.e(TAG, "Utils.matToBitmap() throws an exception: " + e.getMessage());
                bmpValid = false;
            }
        }
 
        if (bmpValid && mCacheBitmap != null)
        {
            mHandler.post(new Runnable()
            {
                @Override
                public void run()
                {
                    Matrix matrix = new Matrix(); // I rotate it with minimal process
                    matrix.preTranslate((mViewWidth - mCacheBitmap.getWidth()) / 2, (mViewHeight - mCacheBitmap.getHeight()) / 2);
                    matrix.postRotate(90f, (mViewWidth) / 2, (mViewHeight) / 2);
                    float scale = (float) mViewWidth / (float) mCacheBitmap.getHeight();
                    matrix.postScale(scale, scale, mViewWidth / 2, mViewHeight / 2);
                    //                    final Matrix matrix = new Matrix(); // I rotate it with minimal process
                    //                    matrix.preTranslate((mViewWidth - mCacheBitmap.getWidth()) / 2, (mViewHeight - mCacheBitmap.getHeight()) / 2);
                    //                    matrix.postRotate(90, mViewWidth / 2, mViewHeight / 2);
                    //                    float scale = (float) mViewWidth / (float) mViewHeight;
                    //                    matrix.postScale(scale, scale, mViewWidth / 2, mCacheBitmap.getHeight() / 2);
                    Bitmap bitmap = Bitmap.createBitmap(mCacheBitmap, 0, 0, mCacheBitmap.getWidth(), mCacheBitmap.getHeight(), matrix, false);
                    mImageView.setImageBitmap(bitmap);
                }
            });
        }
    }

上面两部分代码都为FdActivity中，将MatOfRect贴到Mat中，再转换成Bitmap显示到ImageView中。

JavaCameraView.java的修改：

initializeCamera函数增加

mCamera.setPreviewDisplay(getHolder());

mCamera.setDisplayOrientation(90);

CameraBridgeBaseView.java的修改

protected void deliverAndDrawFrame(CvCameraViewFrame frame)
    {
        Mat modified;
 
        if (mListener != null)
        {
            modified = mListener.onCameraFrame(frame);
        }
        else
        {
            modified = frame.rgba();
        }
}

只需要调用onCameraFrame的回调即可，不用再贴图了。

到此基本完成。

后续还需要优化，等优化完再更新。。。。

----------更新更新-----------

回调onCameraFrame函数时，将Mat先缩小，然后再开始检测，可以大幅提升检测速度。

使用Imgproc.resize()函数即可，具体使用可网上查阅。