iOS 相机流人脸识别(三)-稳定的人脸检测+关键点检测(MTCNN 附demo)

上两篇文章介绍了用iOS原生的人脸检测 与 Dlib的关键点检测来实现的 人脸关键点识别，相信已经实现的小伙伴会感觉到，当你转头的时候，关键点会飘，位置很不稳定，确实存在这种情况，根本原因可能是iOS原生的人脸检测出来的人脸框，跟Dlib 的检测出的人脸框不一致（Dlib也有人脸检测，但是由于性能问题我没用，后面试了一下，效果也不是很好）,总之有时候就会不准，由于水平问题我没有很深的探究，只是猜想；

今天介绍一个比较稳定的东西，这个东西包含了人脸检测与关键点检测，所以我们放弃原来的iOS原生人脸检测，这个东西叫作MTCNN，这个东西查了一下资料，对不起看不懂（非机器学习方向）！！！看名字就知道是CNN的网络（卷积神经网络），简单的看了一下，这个东西是靠着3个网络一起来工作的，分别是Pnet,Rnet,Onet,每一层的输出都给到下一层，最后出来就是比较好的输出结果。可以给他理解成流水线吧，每个步骤都会将数据加工成下一个步骤想要的数据，去其糟粕，取其精华，因此他的名字还叫 多任务级联卷积神经网络

1.按照老套路，依旧先看下效果

IMB_of7rVi.GIF

我们可以看到，当人在摇头的时候关键点 并没有大幅度的飘离，稳定性要比之前的好很多，下面我们就开始来将MTCNN放在移动设备中吧

Step 1

移动端可以基于ncnn来写MTCNN，由于水平有限，我在github上找到了一个基于ncnn写的MTCNN 下载MTCNN

image.png

• 首先将上图中mtcnn.cpp 与 mtcnn.h拖入你的工程中
• 然后 将models文件夹整个拖入你的工程中，其实这里面有些文件是没有用的，只是为了省事，我们用到的只有.bin和.param

Step 2

下载 ncnn与openmp 下载ncnn.framework 与 openmp.framework
将这两个framework 拖进你的工程中

• command + B 看是否build 成功，可能出现round 报错，那就#include ，还有找不到 “net.h” 那就换成#include

Step 3

下面我们可以写代码了，新建一个FaceMtcnnWrapper类

{
   MTCNN *mtcnn;
}

- (instancetype)init
{
   self = [super init];
   if (self) {
       mtcnn = new MTCNN([[[NSBundle mainBundle] bundlePath] UTF8String]);
       //设置可以检测到的最小人脸，越小越耗费性能，检测时间越久
       mtcnn->SetMinFace(40);
   }
   return self;
}


- (NSArray *)detectMaxFace:(UIImage *)image
{
   
   int w = image.size.width;
   int h = image.size.height;
   unsigned char* rgba = new unsigned char[w*h*4];
   {
       CGColorSpaceRef colorSpace = CGImageGetColorSpace(image.CGImage);
       CGContextRef contextRef = CGBitmapContextCreate(rgba, w, h, 8, w*4,
                                                       colorSpace,
                                                       kCGImageAlphaNoneSkipLast | kCGBitmapByteOrderDefault);
       
       CGContextDrawImage(contextRef, CGRectMake(0, 0, w, h), image.CGImage);
       CGContextRelease(contextRef);
   }
   
   
   
   ncnn::Mat ncnn_img;
   ncnn_img = ncnn::Mat::from_pixels(rgba, ncnn::Mat::PIXEL_RGBA2RGB, w, h);
   
   std::vector finalBbox;
   //还有一个detectMaxFace 方法，这个返回一个人脸信息 下面的返回一堆
   mtcnn->detect(ncnn_img, finalBbox);
   
   int32_t num_face = static_cast(finalBbox.size());
   
   int out_size = 1+num_face*14;
   
   NSMutableArray *faceInfoArr = [NSMutableArray arrayWithCapacity:0];

   int *faceInfo = new int[out_size];
   faceInfo[0] = num_face;
   for(int i=0;i

我们在 AVCaptureSession 的回调里面直接检测就可以了

#pragma mark - AVCaptureSession Delegate -
- (void)captureOutput:(AVCaptureOutput *)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{

    UIImage *image = [self imageFromPixelBuffer:sampleBuffer];
    cv::Mat mat;
    UIImageToMat(image, mat);
    
    NSArray *info = [_mt detectMaxFace:image];
    
    for (Face *face in info) {
        cv::rectangle(mat, cv::Rect(face.rect.origin.x,face.rect.origin.y,face.rect.size.width,face.rect.size.height), cv::Scalar(0,255,0,255));

        for (int i = 0; i < face.landmarks.count; i++) {
            NSValue *point = face.landmarks[i];
            CGPoint p = [point CGPointValue];
            cv::rectangle(mat, cv::Rect(p.x,p.y,4,4), cv::Scalar(0,255,0,255),-1);
        }
    }
    
    //这里不考虑性能 直接怼Image
    dispatch_async(dispatch_get_main_queue(), ^{
        self.cameraView.image = MatToUIImage(mat);
    });
}

都写在一个工程里了，自行切换 觉得不错别忘记Star-demoGitHub