人脸识别产品相关知识整理

引言

这个文章是我18年初整理的一个基础人脸识别产品知识。

人脸识别规范、标准和白皮书

我在工标网站上找到了公安部的《GA∕T 1093-2013 出入口控制人脸识别系统技术要求》和《GA∕T 1126-2013 近红外人脸识别设备技术要求》两个规范。

人脸识别设备通用规范-2016版

信息技术 生物特征样本质量 第五部分 人脸图像数据

信息技术 生物特征识别 数据交换格式 第五部分 人脸图像数据

信息技术 移动设备生物特征识别第一部分 通用要求

并且找到了《生物生物特征识别白皮书2017版》，2019年初将会出版《生物特征识别白皮书2018版》。这个白皮书是由中国电子技术标准化研究院撰写。

2018年8月，蚂蚁金服与电气和电子工程师协会(IEEE)在北京召开《生物特征识别活体检测标准》启动会，蚂蚁金服与中国电子技术标准化研究院有密切合作，预计19年将会推出相关标准。

基础知识

这个是一个基础知识的链接https://blog.csdn.net/neu_chenguangq/article/details/52983093

 

人脸识别市场

下面两个图都来源与前瞻网的研究报告，可以看出人脸识别在国内市场一直是增长的，只不过增长幅度不是很大。

下图是前瞻网关于全球市场的一个情况，第一个图的单位是百万美元，第二个图的单位是亿美元

人脸识别的应用

 

 

人脸识别的基础概念

来源：http://ai.dataguru.cn/article-11640-1.html

人脸检测

“人脸检测（Face Detection）”是检测出图像中人脸所在位置的一项技术。

人脸检测算法的输入是一张图片，输出是人脸框坐标序列（0个人脸框或1个人脸框或多个人脸框）。一般情况下，输出的人脸坐标框为一个正朝上的正方形，但也有一些人脸检测技术输出的是正朝上的矩形，或者是带旋转方向的矩形。

 

常见的人脸检测算法基本是一个“扫描”加“判别”的过程，即算法在图像范围内扫描，再逐个判定候选区域是否是人脸的过程。因此人脸检测算法的计算速度会跟图像尺寸、图像内容相关。开发过程中，我们可以通过设置“输入图像尺寸”、或“最小脸尺寸限制”、或“人脸数量上限”的方式来加速算法。

人脸检测结果举例（绿色框为人脸检测结果）

 人脸配准

“人脸配准（Face Alignment）”是定位出人脸上五官关键点坐标的一项技术。

人脸配准算法的输入是“一张人脸图片”加“人脸坐标框”，输出五官关键点的坐标序列。五官关键点的数量是预先设定好的一个固定数值，可以根据不同的语义来定义（常见的有5点、68点、90点等等）。

 

当前效果的较好的一些人脸配准技术，基本通过深度学习框架实现，这些方法都是基于人脸检测的坐标框，按某种事先设定规则将人脸区域扣取出来，缩放的固定尺寸，然后进行关键点位置的计算。因此，若不计入图像缩放过程的耗时，人脸配准算法是可以计算量固定的过程。另外，相对于人脸检测，或者是后面将提到的人脸提特征过程，人脸配准算法的计算耗时都要少很多。

人脸配准结果举例（右图中的绿色点位人脸配准结果）

 

人脸属性识别

“人脸属性识别（Face Attribute）”是识别出人脸的性别、年龄、姿态、表情等属性值的一项技术。

 

一般的人脸属性识别算法的输入是“一张人脸图”和“人脸五官关键点坐标”，输出是人脸相应的属性值。人脸属性识别算法一般会根据人脸五官关键点坐标将人脸对齐（旋转、缩放、扣取等操作后，将人脸调整到预定的大小和形态），然后进行属性分析。

 

常规的人脸属性识别算法识别每一个人脸属性时都是一个独立的过程，即人脸属性识别只是对一类算法的统称，性别识别、年龄估计、姿态估计、表情识别都是相互独立的算法。但的一些基于深度学习的人脸属性识别也具有一个算法同时输入性别、年龄、姿态等属性值的能力。

 

人脸属性识别过程（最右侧文字为属性识别结果）

 

人脸提特征

“人脸提特征（Face Feature Extraction）”是将一张人脸图像转化为一串固定长度的数值的过程。这个数值串被称为“人脸特征（Face Feature）”，具有表征这个人脸特点的能力。

人脸提特征过程的输入也是 “一张人脸图”和“人脸五官关键点坐标”，输出是人脸相应的一个数值串（特征）。人脸提特征算法都会根据人脸五官关键点坐标将人脸对齐预定模式，然后计算特征。

近几年来，深度学习方法基本统治了人脸提特征算法，这些算法都是固定时长的算法。早前的人脸提特征模型都较大，速度慢，仅使用于后台服务。但的一些研究，可以在基本保证算法效果的前提下，将模型大小和运算速度优化到移动端可用的状态。

人脸提特征过程（最右侧数值串为“人脸特征”）

人脸比对（人脸验证、人脸识别、人脸检索、人脸聚类）

“人脸比对（Face Compare）”是衡量两个人脸之间相似度的算法

人脸比对算法的输入是两个人脸特征（注：人脸特征由前面的人脸提特征算法获得），输出是两个特征之间的相似度。人脸验证、人脸识别、人脸检索都是在人脸比对的基础上加一些策略来实现。相对人脸提特征过程，单次的人脸比对耗时极短，几乎可以忽略。

基于人脸比对可衍生出人脸验证(Face Verification)、人脸识别(Face Recognition)、人脸检索(Face Retrieval)、人脸聚类（Face Cluster）等算法。

 

人脸验证

“人脸验证（Face Verification）”是判定两个人脸图是否为同一人的算法。

 

它的输入是两个人脸特征，通过人脸比对获得两个人脸特征的相似度，通过与预设的阈值比较来验证这两个人脸特征是否属于同一人（即相似度大于阈值，为同一人；小于阈值为不同）。

 

 

 

人脸识别

“人脸识别(Face Recognition)”是识别出输入人脸图对应身份的算法。

它的输入一个人脸特征，通过和注册在库中N个身份对应的特征进行逐个比对，找出“一个”与输入特征相似度较高的特征。将这个较高相似度值和预设的阈值相比较，如果大于阈值，则返回该特征对应的身份，否则返回“不在库中”。

 

人脸识别过程（右侧身份“jason”为人脸识别结果）

 

 人脸检索

“人脸检索”是查找和输入人脸相似的人脸序列的算法。

人脸检索通过将输入的人脸和一个集合中的说有人脸进行比对，根据比对后的相似度对集合中的人脸进行排序。根据相似度从高到低排序的人脸序列即使人脸检索的结果。

 

人脸检索过程（右侧绿框内排序序列为检索结果）

 

人脸聚类

“人脸聚类（Face Cluster）”是将一个集合内的人脸根据身份进行分组的算法。

人脸聚类也通过将集合内所有的人脸两两之间做人脸比对，再根据这些相似度值进行分析，将属于同一个身份的人划分到一个组里。

 

在没有进行人工身份标注前，只知道分到一个组的人脸是属于同一个身份，但不知道确切身份。另外假设集合中有N个人脸，那么人脸聚类的算法复杂度为O(N2)

 

 

人脸聚类过程（右侧绿框内按身份的分组结果为聚类结果）

 

人脸活体

“人脸活体（FaceLiveness）”是判断人脸图像是来自真人还是来自攻击假体（照片、视频等）的方法。

 

和前面所提到的人脸技术相比，人脸活体不是一个单纯算法，而是一个问题的解法。这个解法将用户交互和算法紧密结合，不同的交互方式对应于完全不同的算法。鉴于方法的种类过于繁多，这里只介绍“人脸活体”的概念，不再展开。

活体检测概念

被动式活体检测/静默活体检测

这两个概念是同一个，即用户需要面向摄像头，做眨眼、摇头、微笑等动作，以证明她是活的。

主动式活体检测/红外活体

主动式活体检测采用的是红外（或近红外）摄像头，通过实时的视频检测判断是不是活体。

这种弥补了被动式活体检测的不足，降低了对光线的依赖，提升了用户体验性（用户参与度低）。

近红外人脸活体检测无需指令配合，检测成功率较高。根据光流法，利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，从图像序列中得到各个像素点的运行信息，采用高斯差分滤波器、LBP特征和支持向量机进行数据统计分析。同时，光流场对物体运动比较敏感，利用光流场可以统一检测眼球移动和眨眼。这种活体检测方式可以在用户无配合的情况下实现盲测。

活体（实时视频的某帧）

下图是照片

由以上两张对比图可以看出，活体的光流特征，显示为不规则的向量特征，而照片的光流特征，则是规则有序的向量特征，以此即可区分活体和照片。

3D人脸模型/3D模型

来源：https://www.sohu.com/a/231580777_99926976

 

 

常见的识别模式

1:1

这是市场上份额最多的也是最挣钱的模式，即所谓的人证合一，也是身份核验。用的非常多的有旅游管理、安检通道、自助闸机、自助通关，广泛用于机场、车站（国内的高铁车站）、海关边检检疫等场所。

对应的是静态比对

1：N

即人脸搜索功能，主要用于一些幼儿园的接送、公司打卡、重要会议等等，这些都是要求必须提前录好相关的人脸库，然后采集图像进行比对。

1:N具有动态比对和非配合的特点，动态对比是指通过对动态视频流的截取来获得人脸数据并进一步比对的过程，而非配合性是识别过程非强制性与高效性的表现

M:N

这个很考验技术，与1：N类似，但他是一个全动态比对。它也有一个库，比如在逃人员库、黑名单库等等，主要用于人流量较大的车站、机场等场所，科幻电影中的天眼即此类。这个M:N需要大量的人脸库，不然实际价值不对。一般安防类厂商特别喜欢炫耀这个，比如海康、华为、商汤、旷视等等。

 

人脸识别流程

下图来源于https://blog.csdn.net/u014696921/article/details/74779792。

他基于他做过的项目和使用过的人脸识别产品，得出下面的流程图，大部分都正确没有问题。

在其一个1：N的项目上，他整理了一个流程图，这可以看做是内部的会员管理、小区住户管理、公司打卡管理等等，这些流程上都是一样的。即需要注册人脸，识别人脸之后去库里查找比对已找到对应的人；如果找到了那么就认为此人通过核验。

当然在通过人脸比对之后，还要再做ID的确认，确认是谁，工牌号、住所等等。

人脸识别常见的攻击模式

常见的攻击手段

来源于：http://news.qudong.com/article/399695.shtml

来源于：https://zhuanlan.zhihu.com/p/25401788

（1）纸片翻拍，通过打印用户的照片进行攻击；

2）屏幕翻拍，一些3D建模技术可以驱动用户的单张照片或视频做出系统要求的摇头、张嘴、眨眼等动作；同样利用人工智能技术，可以制作某些人的假视频，比如制作奥巴马、特朗普的视频，甚至有人做h视频

 

 

（3）用户戴面具

（4）3D假体

3D假体可以做眨眼、张嘴等动作

 

常见的防御手段

来源：https://zhuanlan.zhihu.com/p/25401788

针对那三种攻击手段，目前有以下几种应用广泛的活体检测方法：

从用户配合、对光照影响、是否需要附加设备、抵挡攻击、用户体验等方面对比了人脸识别系统中活体检测应用较多的7类具体方法，形成下表：

 

人脸识别厂商及排名

这个排名不是最新的

 

#腾讯优图#

属于腾讯云旗下的一个小部门，主要做在线的识别平台和解析，依托于腾讯本身的资源，不大发愁开发型客户，直接挂在云服务旗下。目前比较知名的应用是微众银行，但是人脸识别技术跟微信本身的衔接并不友好，bug一堆。

 

#百度AI研究院#

由吴恩达一手创办，技术方面基本达到业界的顶级水平，当时为了做深度学习，老李给了一大把经费，国内有N多个超算中心，配备百度的大量数据，有许多免费的接口可以用，不过因为商业化程度太低，以至于后来走人，连自动驾驶平台都开放了。

 

#商汤科技#

是目前行业里面融资最多的，高达4.1美金，公司的影响力主要来自当年香港中文大学的汤晓鸥博士所做的突破（目前的资本估值也主要在算法上），不过商汤科技整体的气氛太像一个研究院，反而不像商业公司，变现的能力和本身的品牌资源并不匹配（可能不屑于做产品和项目），在2016-2017年期间，产品线极为单薄，主要以技术输出为主。

 

#旷视科技#

融资高达1亿，出自于清华大学，一个非常年轻的团队，和大部分互联网公司一样，非常高调，目前公司以提供在线平台和SDK为主，但是价格极为昂贵，一般都是投资圈内自己消化，李开复等人也经常为其站台，产品有部分硬件，但是市场开拓范围极为有限，目前比较多的项目都是免费做，主要还是为扩大影响力。

 

#上海依图#

红杉资本最早投的公司，该公司比较低调，大部分时间都在做政府内部项目，比如人脸检索跟踪等系统，貌似在杭州也有一个团队，该公司主要做大型项目为主，实战方面较强，但是项目对于未来市场复制性扩张有很大的难度，会影响其发展。目前扎根在公安安防领域。

 

#重庆云丛#

上市公司佳都科技所投，该公司发展迅速，团队高达300人，产品走法跟旷视类似，但是项目的品类繁多，银行、公安各种系统都做，最大的坏毛病是喜欢低价中标，业界流传的几个银行1元中标，这种做法为扩大知名度还行，但是最终还会会损伤公司品牌形象。

 

 #格林深瞳# 之前一直尝试硬件集成，但是市场的反馈量较少，出过高管离职的负面新闻，目前看情况过得一般，外部的评价褒贬不一，高调走向低调。之前有一直在试图集成人脸识别摄像头技术，却被摄像头大厂，海康威视拔了头筹。 

 

#公安一所#

公安一所最大的算法贡献是NCIIC的人脸库（全国公民身份证人脸库）的建立，平时也做一些安检等设备的销售，目标全部都是公安机关（交通、出入境、地铁），人脸识别技术的产品只是很小的一个业务组成。目前的主要产品有人脸安检门等设备。

 

#中科院#

以谭铁牛为主要人脸识别算法团队，和清华大学类似，是国内大量人脸识别人才的培养机构，目前国内的二三线公司，以及新型的一些集成公司，包括云丛在内的公司都是来自中科院。专门做技术，产品鲜有，没有太多的交集。

 

#天诚盛业#

最早一批做生物识别的公司，有API人脸比对平台和SDK授权销售模式，产品硬件打插边球做了一些摄像头硬件，手持硬件等设备，推广对象主要以银行为主，在行业内基本都可知道，算是最为中规中矩的企业，没有特别的品牌，计算上也没有明星团队助阵，跟传统公司差别不大。

 

#海鑫科金#

大部分情况以海鑫智圣为名义出现，跟天诚盛业公司非常类似，唯一的区别是背景来得更官企一些，接了很多公安系统的项目，在项目能力上还不错，公司营销团队较为庞大，技术上没有特别之处，算法方面也没有看到大牛背书，总体非常低调。

 

#广州像素#

广州比较知名的一家人脸识别公司，在当地的背景不错，拿了不少安防的项目，总体而言，产品还算比较有代表性，自身的硬件开发也有一定的能力。不过企业偏向于传统，办公室略微屌丝。

 

#杭州虹软#

一家老牌公司，目前无论是品牌还是融资，在某个程度上还是比较保守，品牌和融资都没有见到什么报道。目前提供了一些免费识别软件，效果没有具体评测，但是简单的产品合成，要使用问题不大。

 

#深圳科葩#

深圳硬件创业型公司，产品很大比例是电子硬件设备+人脸识别公安，产品线也较为丰富，但是产品的整体定价都比较高，和传统公司一样，主要的业务还是以安防和家用为主，报道比较少。

 

#深圳泰索#

深圳双创周的主要入口人脸设备校验机器的生产商，软件功能比较简单，可能与其算法来源有关，也没有相关的算法文献资料报道，整体而言是一家以实干集成产品为主，在深圳地区得以硬件优势做了不少新产品，产品主要集中在安防领域。

参考

人脸识别技术发展及实用方案设计：https://blog.csdn.net/qq_40027052/article/details/79020643

【AI入门指南】人工智能之人脸识别技术全面解析：https://www.douban.com/note/629942632/

人脸识别行业研究报告：https://www.sohu.com/a/142813251_786571

【AI入门】人脸识别技术的商业模式：

https://www.douban.com/note/680941252/

计算机视觉行业报告：http://report.iresearch.cn/report_pdf.aspx?id=3097

人工智能行业报告：http://report.iresearch.cn/report_pdf.aspx?id=3192

人脸识别几个解决方案分析与测评：https://www.jianshu.com/p/62a9639b16c6?utm_source=tuicool&utm_medium=referral

 

活体检测

人脸识别中的活体检测：https://www.sohu.com/a/127839127_624010

行业内活体检测的3种模式：https://www.sohu.com/a/231580777_99926976

 

设计参考

OCR识别和活体检测：http://www.zcool.com.cn/work/ZMjM0MzA2MDA=.html