中国计量大学刷脸领卷系统上线，整合人脸识别技术到具体业务系统以海康为例。

1.起因

• 高校教师很多，新进教师多，人员变动今年来越来越频繁，没有人有办法认识所有教师，试卷领取光靠人眼识别不靠谱；
• 试卷领取安全性要求高，考试是学风建设的最后一道关，试卷安全性也是考试整体安全性的重要环节，试卷被冒领或错领，都对考试是很大的安全挑战；
• 监管难度大，尤其在考试密集发生的期末，为了照顾领取的效率，在没有系统辅助的情况下势必妥协身份核验的过程，私下替换监考、研究生代领试卷存在一定的发生概率；
• 监考老师来领取试卷，为了安全起见，还需要填写一个试卷领取确认登记表，期末集中考试的时候有时候队伍排出老远，秩序不好，老师也觉得麻烦，但出于试卷安全和出现事故的时候时候追查的需要，这些也避免不了；

2.解决设想

• 采用人脸识别技术将可领取试卷的人员范围锁定在在职在校的教师范围，确保领卷的人是教师；
• 采用与教务数据联动将教师中在指定时间可领取试卷的范围进一步收缩到2~3人内，确保领卷的人是监考教师；
• 采用语音播报方式，可实现领卷教师与寻卷的工作人员不见面，尽量分离工作人员与领取人；
• 采用高速队列转发，人脸识别后2秒内实现语音播报，提高工作效率；
• 实时统计领取进展情况，提升工作效度；
• 记录领卷元数据，识别结果直接记录到数据库，无需教师领卷签字，提升体验度；

3.解决方案

• 采用海康明眸系列产品，可承载3000个人脸3秒内识别；
• 将人脸识别设备接入海康9600集中管理平台，并在重点目标库中建立好人脸数据和教工工号姓名等基础数据；
• 编写海康队识别转发试卷领取平台队列的模块，通过监听海康识别结果的消息队列，将消息转发到试卷领取平台的队列，来实现人脸识别的数据结果采集；
• 编写转换函数，调用海康的restful api，将队列中识别结果的cardno转换成9600平台登记的教师工号；
• 编写一个websoket服务模块，监听试卷领取平台队列，从试卷领取队列pop出cardno，调用转换函数转换成工号，使用工号在监考数据中检索监考教师，检索到数据的广播给所有连接的客户端，检索到教师信息的但是没有监考安排的创建“无监考”消息广播给客户端，检索不到的丢弃；
• 编写client web ui，使用websocket连接服务器，获取实时推送的人脸识别结果后的监考信息，语音播报当前场次中，需要领取试卷的房间号（也可以播报别的，但是播报房间号最有利于找卷子）；
• 使用VUE来显示websocket接受到的广播信息，显示在web UI上；
• 试卷领取后，寻卷人点击“领取”按钮，web 页面发起请求通知web服务器某个试卷已经被领取走；
• 数据服务，已经领取试卷的数据，待领取试卷的数据，统计图等，略！

4.技术要点

• 海康给的sdk的包非常老，比较难直接与目前主流的springboot整合，所以把与海康通讯的部分单独成一个可运行的模块。为了开发方便，将需要的一些jar包先注册到本地的maven库，然后再使用maven项目来管理代码和打包，效果不错；

4.1 注册 jar包到本地的 maven 库

这个步骤也比较重要，因为 jar 包比较老，直接使用 maven 从网络引用，我试过几次都不成功，对应的版本已经引不到，但是不用 maven 的方式打包和管理有比较复杂，所以最后还是使用了注册本地库的方式，一劳永逸。

mvn install:install-file -Dfile=/lutra_face/hikang/libs/commons-lang3-3.3.2.jar -DgroupId=org.apache.commons -DartifactId=commons-lang3 -Dversion=3.3.2 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/commons-logging-1.1.1.jar -DgroupId=org.apache.commons -DartifactId=commons-logging -Dversion=1.1.1 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/ivms6-cms-core-1.3.2-SNAPSHOT.jar -DgroupId=com.hikvision.ivms6 -DartifactId=ivms6-cms-core -Dversion=1.3.2 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/jms-api-1.1-rev-1.jar -DgroupId=javax.jms -DartifactId=jms-api -Dversion=1.1 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/junit-4.8.2.jar -DgroupId=org.junit -DartifactId=junit -Dversion=4.8.2 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/log4j-1.2.17.jar -DgroupId=org.apache.log4j -DartifactId=log4j -Dversion=1.2.17 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.asm-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.asm -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.beans-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.beans -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.context.support-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.context.support -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.context-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.context -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.core-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.core -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.expression-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.expression -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.jms-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.jms -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.test-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.test -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/org.springframework.transaction-3.0.6.RELEASE.jar -DgroupId=org.springframework -DartifactId=org.springframework.transaction -Dversion=3.0.6 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/protobuf-java-2.3.0.jar -DgroupId=protobuf -DartifactId=protobuf-java -Dversion=2.3.0 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/slf4j-api-1.7.5.jar -DgroupId=slf4j -DartifactId=slf4j-api -Dversion=1.7.5 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/slf4j-log4j12-1.7.5.jar -DgroupId=log4j12 -DartifactId=slf4j-log4j12 -Dversion=1.7.5 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/tlclient-8.1.jar -DgroupId=tlclient -DartifactId=tlclient -Dversion=8.1 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/TLQRemoteApi-8.1.jar -DgroupId=TLQRemoteApi -DartifactId=TLQRemoteApi -Dversion=8.1 -Dpackaging=jar
mvn install:install-file -Dfile=/lutra_face/hikang/libs/TongJMS-8.0.jar -DgroupId=TongJMS -DartifactId=TongJMS -Dversion=8.0 -Dpackaging=jar

4.2 海康消息队列的监听和消息分析

首先需要装配一个消息队列的工厂类和消息的转换类，都使用海康 sdk 的默认类的实现即可。不展开；然后用给定 sdk 的 xml 配置装配一个消费者就可以使用了。

在监听消息队列的消费者类的消息处理这里，我们仅仅做了一个队列消息的转发，将拿到的消息简单根据 sdk 的指引，解析一个 cardno 然后就推送到我们自己的 redis 缓存队列中去了。把与海康的平台耦合从这里解耦。（PS： 但是由于明眸系列还需要再回到9600平台去做一次 cardno 和工号的转换，这里还是解的不彻底，但是如果在消息平台转发平台直接再次去做一次 http 请求，我觉得这个组件的层级设定又有些抽象的高了些，所以索性就简单做基础操作吧）

/**
     * 接受处理消息recvLogMsgrecvLogMsg
     *
     * @param notify
     */
    public void processMsg(String notify) {
        try {
            //这里需要根据不同的业务规则和消息结构进行解析,目前使用人脸识别的重点对象识别消息,解析 cardno
            Document docResult = XmlUtil.parseXml(notify);//尝试获取 xml 结构
            //读取卡号
            Object cardno = XmlUtil.getByXPath("//EventNotify/describe/ExtEventInfo/CardNo", docResult, XPathConstants.STRING);
            if (!StrUtil.isEmpty(Convert.toStr(cardno))) {
                log.info("解析得到" + Convert.toStr(cardno));
                //将卡号推送到自己的消息队列,或者调用自己的 service,这里使用自己的消息队列转存一次.
                client.lpush("cardno", Convert.toStr(cardno));
            }
            Thread.sleep(10);
        } catch (Exception e) {
            log.error("处理上报的日志信息时出现异常", e);
        }
    }

最后再用一个 spring 跑一下

public class HKServer {
    public static void main(String[] args){
        ApplicationContext context        = new ClassPathXmlApplicationContext("classpath:applicationContext-mq.xml");
        CommonConsumer     commonConsumer = context.getBean(CommonConsumer.class);
        commonConsumer.start();
        while(true){
            try {
                Thread.sleep(10 * 60 * 1000);
            } catch (InterruptedException e1) {
                e1.printStackTrace();
            }
        }
    }
}

4.3在springboot中创建一个 websocket 服务器端

• Websocket，服务器端发起对客户端的更新，必须使用这个东西，这里zk 做了前期的技术准备。

第一步需要注册ServerEndpointExporter

@Configuration
public class WebSocketConfig {
    @Bean
    public ServerEndpointExporter serverEndpointExporter() {
        return new ServerEndpointExporter();
    }

}

第二步 建立自己的websocket服务

@ServerEndpoint(value = "/websocket/{pwd}")
@Component
public class MyWebSocket {
    //concurrent包的线程安全Set，用来存放每个客户端对应的MyWebSocket对象。
    public static CopyOnWriteArraySet webSocketSet = new CopyOnWriteArraySet();
    //静态变量，用来记录当前在线连接数。应该把它设计成线程安全的。
    private static int onlineCount = 0;
    //与某个客户端的连接会话，需要通过它来给客户端发送数据
    private Session session;
    /**
     * 群发自定义消息
     * */
    public static void sendInfo(String message) throws IOException {
        for (MyWebSocket item : webSocketSet) {
            try {
                item.sendMessage(message);
            } catch (IOException e) {
                continue;
            }
        }
    }

    public static synchronized int getOnlineCount() {
        return onlineCount;
    }

    public static synchronized void addOnlineCount() {
        MyWebSocket.onlineCount++;
    }

    public static synchronized void subOnlineCount() {
        MyWebSocket.onlineCount--;
    }

    /**
     * 连接建立成功调用的方法*/
    @OnOpen
    public void onOpen(Session session,@PathParam("pwd") String pwd) throws IOException {
        if (pwd.equals("")) {
            this.session = session;
            webSocketSet.add(this);     //加入set中
            addOnlineCount();            //在线数加1
            System.out.println("有新连接加入！当前在线人数为" + getOnlineCount());
//            sendMessage("连接成功");
        } else {
            session.getBasicRemote().sendText("认证失败,无法连接");
            session.close();
        }
    }

    /**
     * 连接关闭调用的方法
     */
    @OnClose
    public void onClose() {
        if(webSocketSet.remove(this)) {  //从set中删除
            subOnlineCount();           //在线数减1
            System.out.println("有一连接关闭！当前在线人数为" + getOnlineCount());
        }
    }

    /**
     * 收到客户端消息后调用的方法
     *
     * @param message 客户端发送过来的消息*/
    @OnMessage
    public void onMessage(String message, Session session) {
        System.out.println("来自客户端的消息:" + message);

//        //群发消息
//        for (MyWebSocket item : webSocketSet) {
//            try {
//                item.sendMessage("OK");
//            } catch (IOException e) {
//                e.printStackTrace();
//            }
//        }
    }

    @OnError
    public void onError(Session session, Throwable error) {
        System.out.println("发生错误");
        error.printStackTrace();
    }

    public void sendMessage(String message) throws IOException {
        this.session.getBasicRemote().sendText(message);
        //this.session.getAsyncRemote().sendText(message);
    }
}

第三步 在网页上建立 websocket 连接

// region websocket
        //判断当前浏览器是否支持WebSocket
        if ('WebSocket' in window) {
            websocket = new WebSocket("[[${host}]]/[[${password}]]");
        } else {
            ('不支持websocket')
        }
        //连接发生错误的回调方法
        websocket.onerror = function () {
            console.log("连接服务器异常")
        };

        //连接成功建立的回调方法
        websocket.onopen = function (event) {
            console.log(event);
        }
        //连接关闭的回调方法
        websocket.onclose = function () {
            console.log("关闭连接")
        }

        //监听窗口关闭事件，当窗口关闭时，主动去关闭websocket连接，防止连接还没断开就关闭窗口，server端会抛异常。
        window.onbeforeunload = function () {
            websocket.close();
        }
        //endregion
        //接收到消息的回调方法
        websocket.onmessage = function (event) {
            var jsonstr = event.data;
            var obj = JSON.parse(jsonstr);
            if(obj.code!="0"){
                voiceText("无监考信息！");
            }else{
                voiceText(changeCnNum(obj.data.JSMC)+"——领取试卷");
                vm.rows.push(obj.data);
            }
            console.log(voiceArray);
        }

4.4 HTML语音播报技术

为了提高领取试卷的效率，平台设计了这样的功能，识别后直接语音通知寻卷工作人员需要领取的试卷所在的考场号。

/**
         * baidu 文字转语音 API 实现 html javascript 的播报语音函数
         * @param str
         */
        function voiceText(str){
            var url = "http://tts.baidu.com/text2audio?lan=zh&ie=UTF-8&text=" + encodeURI(str);
            var audio = new Audio(url);
            audio.src = url;
            audio.volume =1;
            audio.speed=0.6;
            audio.play();
        }

用 javascript 接收到识别结果后这里有个小技巧，因为使用的百度的文字转语音的 api 所以对于房间号码比如404，中文读取四零四，直接调用会念成4百零4，不符合一般的认知，所以需要改写一下才能使用。

    var nums =["0","1","2","3","4","5","6","7","8","9"];
    var cnnums =["零","一","二","三","四","五","六","七","八","九"]
   /**
         * 将教室中的数字转换成中文added by jy 2019-01-05 ,符合中文的读法！
         * @param numstr
         * @returns {string}
         */
        function changeCnNum(numstr){
            var numArray = numstr.split("");
            var newArray = [];
            _.forEach(numArray,function(v){
                var index = _.indexOf(nums,v);
                if(index>=0){
                    newArray.push(cnnums[index]);
                }else{
                    newArray.push(v);
                }
            });
            return newArray.join("");
        }

最后

• 系统上线后领卷的人非常开心，难得的是老师也非常开心，因为海康硬件强大的识别能力，老师们很高兴10多年前的自己仍然还是自己，（照片比较久远），当然也有不开心的，比如自己学生时代的照片再拿出来跟现在的自己相比有些就不能识别了，因为胖了或其他想法，其实不是的，我知道！
• 由于没有特意进行采集，所以有部分教师的相片无法识别，识别的最低要求是照片眼睛间距80像素以上，但是事实上，我们导入的图片还有相当多的不符合规格的数据，这个还需要改进；
• 由于测试阶段，所以对于场地没有进行特意的规划，所以现场老师要走到比较深的位置才能接近人脸识别设备，这个与设计的工作流程稍有不同，下一次做一个梳理，并在现场做好数据采集工作；
• 国内百度无法告诉我，我们是不是第一个做到的，但是貌似我们这么做，效果很好，老师和工作人员都轻松，而且更安全了不是么？代价很低，一个明眸硬件8K 以内，施工1天，数据整理和代码编写，沟通，调试5天。上线了！记录于此！