虹软AI 人脸识别SDK接入 — 参数优化篇（1）

     使用虹软人脸识别已经有半年多时间了，当初选择虹软人脸识别SDK还是比较偶然的，最大的特点就是Free ，后来深挖了下虹软公司，还是比较神秘的老牌算法公司，半年多使用下来，效果还是可以的；我们现有的使用场景主要集中在校园和企业人脸门禁，目前用到的sdk有Android SDK和Windows SDK，微信群里经常有人问我，用虹软的人脸识别SDK的时候怎么调优，怎么设置各种参数，每次都想去写个文章总结下，总是没有时间，这回抽点时间，把心得写下来，请大家多提提建议。

主要有以下三点：

1.FD,FT 的性能比对与使用场景
2.参数FaceOrient对识别效果的影响与调优
3.Scale 参数介绍与性能实测

一：FD,FT 的性能比对与使用场景

1.1 FD（IMAGE），FT（VIDEO）模式介绍

     FD 人脸检测，对单帧或单张图片进行人脸检测，FT 是人脸跟踪检测，对连续帧或图片进行人脸检测；刚开始我和大多数人一样，也理解不了FD，FT到底有什么区别，后来仔细研究了下，发现FT 检测时，当前帧会受到上帧的影响，同时检测结果也会影响下一帧；FD检测时每张图片的结果是相互不影响的。简单举个例子，现在有连续帧A和B（B是A的下一帧），A帧有完整的脸，B帧中只有半张脸，如果对A和B做FD的时候，A可以检测到人脸，B检测不到人脸；如果对A，B做FT时，A可以检测到，B也是大概率可以检测到的（A的结果影响到B的检测）。

1.2 FD，FT性能比对

测试环境： CPU：骁龙835 Android 9.0 内存：6 GB

FD参数：

image.png

FT参数：

image.png

测试结果：

两种模式都做100 次人脸检测，最终测试结果如下：

FD：100次需要 4919ms，1次FD 需要49ms，吞吐量：20次/秒
FT：100次需要1034ms，1次FT需要10ms，吞吐量：100次/秒

image.png

1.3 不同场景下如何选择FD与FT

     视频（摄像头）情况下 ，每秒产生数据有25-30帧，由于每秒只能做20次 FD，所以视频情况下，用FD来做人脸检测是不适合的，因为算力不够；但FT可以每秒运行100次 ，这种情况下用FT来识别是非常适合的，而且FT在连续帧的侦测时，人脸跟踪更加稳定，TrackID也不容易丢。
     单张图片检测情况下,一般都采用FD来做人脸检测，感觉FD在做人脸检测时比FT要更加细腻，而且在这种情况下，FD的性能也不存在问题，一般情况1s内做5-10张就满足产品要求了，我们的门禁项目中，人员的人脸信息注册用的就是FD的模式。
有的开发人员觉得，在视频流情况下，也可以用FD来做检测，虽然1s内的吞吐量不足，但可以抽帧来解决，这种方案我之前也使用过，但效果真的不好，人运动的稍微快点，或者人脸转动大点时，FD就把TrackID 给跟丢了。

二. 参数FaceOrient对识别效果的影响与调优

2.1 FaceOrient人脸角度的理解

人脸角度指的是人脸在单帧图片中的2维倾斜角度，如图
0度 ASF_OP_0_ONLY

image.png

90度 ASF_OP_90_ONLY

image.png

180度 ASF_OP_180_ONLY

image.png

270度 ASF_OP_270_ONLY

image.png

大家可以把自己摄像头的单帧保存下来看看人脸的角度值。
FaceOrient角度设置是非常有讲究的，如果设置不对，对FT，FD的检测结果影响非常大。

2.2FaceOrient设置的两个原则：

a)如果系统使用场景固定，如门禁系统，摄像头出来的角度是固定的，非常强烈建议设置成实际的角度 ，这对检测速度和检测质量是最好的；例如实际是180度角度，sdk却设置成了错误的角度（0度，90度，270度）时，人脸检测结果要么是检测不到人脸，要么是结果不可信；但是官方有个全角度检测 ASF_OP_0_HIGHER_EXT，我试验了这个参数，比设置错误的角度肯定要好点，但检测性能和质量都比不上设置成180度（实际的人脸角度）
b)使用时的人脸角度经常变动，比如手机上，假如横屏是0度，那么倒着拿就是180度了，这个时候似乎也只能设置成全角度ASF_OP_0_HIGHER_EXT 检测了

2.3 使用中的坑

    我的门禁系统是android 系统APP应用，经过优化后，使用了固定的角度0度，检测非常准，也非常快速；但当我们把设备发给用户使用时，用户反馈系统不能检测到人脸，痛苦呀，非常怀疑是设备问题，打包回公司测试，发现一切正常，那个郁闷呀，只能出差到用户现场，现场安装，现场测试，一切安装好后，方了，原来用户也可以这么装，硬生生的把设备装反了，由于我是设置成0度，用户反过来安装就变成180度了，自然检测不正常了；我不大可能用全角度检测，因为测试出效果不是很理想，所以在安装的时候给用户定了下安装方向，同时在我们的程序中有个设置角度的界面入口，根据不同的场景，直接设置成实际角度；这样就可以灵活地解决问题。

三. Scale 参数介绍与性能实测

3.1 Scale定义

     Scale定义为人脸在整个帧或图片中的长边的占比的倒数，Scale的大小对性能的影响还是很显著的，看下下面图片的Scale值，估算下应该是3，如果SDK的Scale值设置成3时，实际的意思是小于这个大小的人脸，SDK是不做识别的；只有大于或等于这个大小的人脸，才会识别出来。

image.png

这个值要根据实际的需要进行设置，设置的越小越耗CPU。

3.2 性能对比测试

    两组性能测试，一组为FT，另一组为FD，每组均做100次检测，最大人脸数统一设置为10，scale 设置分别为4，8，16三种。

第一组

z1.png

第二组

z2.png

对比测试结果

VIDEO 模式（100次）

scale	totalTime
4	4ms
8	60ms
16	1035ms

IMAGE模式(100次）

scale	totalTime
4	95ms
8	241ms
16	4944ms

    清晰的可以看出scale参数的取值对CPU的影响，取值越大，耗时越久，同一取值下，IMAGE耗时比VIDEO更长，在实际的使用中，只要scale满足需要，就尽量设置小点，可以省不少资源。

    先写到这里吧，不准确的地方欢迎大家提建议，下次会给大家带来其他设置参数的调优与测试比对，敬请关注。