JavaCV人脸识别三部曲之三：识别和预览
- @return 相同尺寸的灰度图片的MAT对象
*/
static Mat buildGrayImage(Mat src) {
return new Mat(src.rows(), src.cols(), CV_8UC1);
}
/**
-
初始化操作，例如模型下载
-
@throws Exception
*/
void init() throws Exception;
/**
-
得到原始帧，做识别，添加框选
-
@param frame
-
@return
*/
Frame convert(Frame frame);
/**
- 释放资源
*/
void releaseOutputResource();
}
- 然后就是DetectService的实现类DetectAndRecognizeService .java，功能是用摄像头的一帧图片检测人脸，再拿检测到的人脸给RecognizeService做识别，完整代码如下，有几处要注意的地方稍后提到：
package com.bolingcavalry.grabpush.extend;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.javacpp.Loader;
import org.bytedeco.javacv.Frame;
import org.bytedeco.javacv.OpenCVFrameConverter;
import org.bytedeco.opencv.opencv_core.*;
import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;
import java.io.File;
import java.net.URL;
import java.util.Map;
import static org.bytedeco.opencv.global.opencv_imgproc.*;
/**
-
@author willzhao
-
@version 1.0
-
@description 音频相关的服务
-
@date 2021/12/3 8:09
*/
@Slf4j
public class DetectAndRecognizeService implements DetectService {
/**
- 每一帧原始图片的对象
*/
private Mat grabbedImage = null;
/**
- 原始图片对应的灰度图片对象
*/
private Mat grayImage = null;
/**
- 分类器
*/
private CascadeClassifier classifier;
/**
- 转换器
*/
private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();
/**
- 检测模型文件的下载地址
*/
private String detectModelFileUrl;
/**
- 处理每一帧的服务
*/
private RecognizeService recognizeService;
/**
- 为了显示的时候更加友好，给每个分类对应一个名称
*/
private Map
/**
-
构造方法
-
@param detectModelFileUrl
-
@param recognizeModelFilePath
-
@param kindNameMap
*/
public DetectAndRecognizeService(String detectModelFileUrl, String recognizeModelFilePath, Map
this.detectModelFileUrl = detectModelFileUrl;
this.recognizeService = new RecognizeService(recognizeModelFilePath);
this.kindNameMap = kindNameMap;
}
/**
-
音频采样对象的初始化
-
@throws Exception
*/
@Override
public void init() throws Exception {
// 下载模型文件
URL url = new URL(detectModelFileUrl);
File file = Loader.cacheResource(url);
// 模型文件下载后的完整地址
String classifierName = file.getAbsolutePath();
// 根据模型文件实例化分类器
classifier = new CascadeClassifier(classifierName);
if (classifier == null) {
log.error(“Error loading classifier file [{}]”, classifierName);
System.exit(1);
}
}
@Override
public Frame convert(Frame frame) {
// 由帧转为Mat
grabbedImage = converter.convert(frame);
// 灰度Mat，用于检测
if (null==grayImage) {
grayImage = DetectService.buildGrayImage(grabbedImage);
}
// 进行人脸识别，根据结果做处理得到预览窗口显示的帧
return detectAndRecoginze(classifier, converter, frame, grabbedImage, grayImage, recognizeService, kindNameMap);
}
/**
- 程序结束前，释放人脸识别的资源
*/
@Override
public void releaseOutputResource() {
if (null!=grabbedImage) {
grabbedImage.release();
}
if (null!=grayImage) {
grayImage.release();
}
if (null==classifier) {
classifier.close();
}
}
/**
-
检测图片，将检测结果用矩形标注在原始图片上
-
@param classifier 分类器
-
@param converter Frame和mat的转换器
-
@param rawFrame 原始视频帧
-
@param grabbedImage 原始视频帧对应的mat
-
@param grayImage 存放灰度图片的mat
-
@param kindNameMap 每个分类编号对应的名称
-
@return 标注了识别结果的视频帧
*/
static Frame detectAndRecoginze(CascadeClassifier classifier,
OpenCVFrameConverter.ToMat converter,
Frame rawFrame,
Mat grabbedImage,
Mat grayImage,
RecognizeService recognizeService,
Map
// 当前图片转为灰度图片
cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);
// 存放检测结果的容器
RectVector objects = new RectVector();
// 开始检测
classifier.detectMultiScale(grayImage, objects);
// 检测结果总数
long total = objects.size();
// 如果没有检测到结果，就用原始帧返回
if (total<1) {
return rawFrame;
}
PredictRlt predictRlt;
int pos_x;
int pos_y;
int lable;
double confidence;
String content;
// 如果有检测结果，就根据结果的数据构造矩形框，画在原图上
for (long i = 0; i < total; i++) {
Rect r = objects.get(i);
// 核心代码，把检测到的人脸拿去识别
predictRlt = recognizeService.predict(new Mat(grayImage, r));
// 如果返回为空，表示出现过异常，就执行下一个
if (null==predictRlt) {
System.out.println(“return null”);
continue;
}
// 分类的编号（训练时只有1和2，这里只有有三个值，1和2与训练的分类一致，还有个-1表示没有匹配上）
lable = predictRlt.getLable();
// 与模型中的分类的距离，值越小表示相似度越高
confidence = predictRlt.getConfidence();
// 得到分类编号后，从map中取得名字，用来显示
if (kindNameMap.containsKey(predictRlt.getLable())) {
content = String.format(“%s, confidence : %.4f”, kindNameMap.get(lable), confidence);
} else {
// 取不到名字的时候，就显示unknown
content = “unknown(” + predictRlt.getLable() + “)”;
System.out.println(content);
}
int x = r.x(), y = r.y(), w = r.width(), h = r.height();
rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0);
pos_x = Math.max(r.tl().x()-10, 0);
pos_y = Math.max(r.tl().y()-10, 0);
putText(grabbedImage, content, new Point(pos_x, pos_y), FONT_HERSHEY_PLAIN, 1.5, new Scalar(0,255,0,2.0));
}
// 释放检测结果资源
objects.close();
// 将标注过的图片转为帧，返回
return converter.convert(grabbedImage);
}
}
- 上述代码有几处要注意：
《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 1. 重点关注detectAndRecoginze方法，这里面先调用classifier.detectMultiScale检测出当前照片所有的人脸，然后把每一张人脸交个recognizeService进行识别，
-
识别结果的lable是个int型的，看起来不够友好，因此从kindNameMap中根据lable找出对应的名称来
-
最终给每个头像添加矩形框，还在左上角添加识别结果，以及confidence的值
-
处理完毕后转为Frame对象返回，这样的帧显示在预览页面，效果就是视频中每个人被框选出来，并带有身份
- 现在核心代码已经写完，需要再写一些代码来使用DetectAndRecognizeService
[](()编码：运行框架
-
[《JavaCV的摄像头实战之一：基础》](()创建的simple-grab-push工程中已经准备好了父类AbstractCameraApplication，所以本篇继续使用该工程，创建子类实现那些抽象方法即可
-
编码前先回顾父类的基础结构，如下图，粗体是父类定义的各个方法，红色块都是需要子类来实现抽象方法，所以接下来，咱们以本地窗口预览为目标实现这三个红色方法即可：
-
新建文件PreviewCameraWithIdentify.java，这是AbstractCameraApplication的子类，其代码很简单，接下来按上图顺序依次说明
-
先定义CanvasFrame类型的成员变量previewCanvas，这是展示视频帧的本地窗口：
protected CanvasFrame previewCanvas
- 把前面创建的DetectService作为成员变量，后面检测的时候会用到：
/**
- 检测工具接口
*/
private DetectService detectService;
- PreviewCameraWithIdentify的构造方法，接受DetectService的实例：
/**
-
不同的检测工具，可以通过构造方法传入
-
@param detectService
*/
public PreviewCameraWithIdentify(DetectService detectService) {
this.detectService = detectService;
}
- 然后是初始化操作，可见是previewCanvas的实例化和参数设置，还有检测、识别的初始化操作：
@Override
protected void initOutput() throws Exception {
previewCanvas = new CanvasFrame(“摄像头预览和身份识别”, CanvasFrame.getDefaultGamma() / grabber.getGamma());
previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
previewCanvas.setAlwaysOnTop(true);
// 检测服务的初始化操作
detectService.init();
}
- 接下来是output方法，定义了拿到每一帧视频数据后做什么事情，这里调用了detectService.convert检测人脸并保存图片，然后在本地窗口显示：
@Override
protected void output(Frame frame) {
// 原始帧先交给检测服务处理，这个处理包括物体检测，再将检测结果标注在原始图片上，
// 然后转换为帧返回
Frame detectedFrame = detectService.convert(frame);
// 预览窗口上显示的帧是标注了检测结果的帧
previewCanvas.showImage(detectedFrame);
}
- 最后是处理视频的循环结束后，程序退出前要做的事情，先关闭本地窗口，再释放检测服务的资源：
@Override
protected void releaseOutputResource() {
if (null!= previewCanvas) {
previewCanvas.dispose();
}
// 检测工具也要释放资源
detectService.releaseOutputResource();
}
- 由于检测有些耗时，所以两帧之间的间隔时间要低于普通预览：
@Override
protected int getInterval() {
return super.getInterval()/8;
}
- 至此，功能已开发完成，再写上main方法，代码如下，有几处要注意的地方稍后说明：
public static void main(String[] args) {
String modelFileUrl = “https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_alt.xml”;
String recognizeModelFilePath = “E:\temp\202112\18\001\faceRecognizer.xml”;
// 这里分类编号的身份的对应关系，和之前训练时候的设定要保持一致
Map
kindNameMap.put(1, “Man”);
kindNameMap.put(2, “Woman”);
// 检测服务
DetectService detectService = new DetectAndRecognizeService(modelFileUrl,recognizeModelFilePath, kindNameMap);
// 开始检测
new PreviewCameraWithIdentify(detectService).action(1000);
}
- 上述main方法中，有以下几处需要注意：
-
kindNameMap是个HashMap，里面放这每个分类编号对应的名称，我训练的模型中包含了两位群众演员的头像，给他们分别起名Man和Woman
-
modelFileUrl是人脸检测时用到的模型地址