【智能安防】人像态势识别及其在智能视频监控中的应用

来源：警用科技

安防已经成为人工智能落地场景中的重要赛道，其涉及的智能视频分析、人脸识别等关键技术也在研究领域受到了极大的关注。那么安防领域中涉及的人脸识别有何痛点？人工智能+安防的未来又有哪些新的趋势？

10月29日，清华大学媒体大数据认知计算研究中心主任王生进教授在2017年第十六届中国国际公共安全博览会（CPSE安博会）政府管理论坛上发表了题为《人像态势识别及其在智能视频监控中的应用》的演讲，他指出，目前我国视频监控建设卓有成效，摄像头的数量惊人，达到了2000多万个。如此大量级的数据只依靠人工监控已经无法实现大规模视频监控，急需人工智能以及智能分析技术有效的技术支撑。

王生进教授从三个方面阐述了人脸识别在安防中的应用：1、新一代人工智能发展与智能安防；2、人脸识别技术与应用系统；3、以人为中心的安防理念与人像态视识别。

一、新一代人工智能发展与智能安防

当前，世界范围内公共安全面临严峻情势，是国际上关注的重大课题，信息内容与情报成为掌控局势的关键要素。面向大数据背景下国家公共安全保障是重大的国家的需求。聚焦公共安全、平安城市、视频监控、网络安全的需求，以安防视频大数据，及网络空间各种视频、图像、语音、网络信息为大数据基础，创新人工智能和机器学习理论，构建公共安全大数据应用技术创新平台是我们工作的重点。

我们现在面向的空间主要有两个。

第一面向物理空间安全：全国平安城市建设视频监控前端数量已超过2000万。目标感知能力不足，大数据给公共安全事件即时感知、精确分析、快速搜索带来巨大困难，急需人工智能技术支撑。

第二面向网络空间安全：网络空间富媒体通信的引入，带来新型媒体信息管控难题，国家急需大数据环境下富媒体内容感知、网络信息安全、网络多媒体内容监测的支撑技术。

十二五期间，全国600大中城市视频采集系统建设已初具规模，监控系统26.8万余个（2009），安装摄像头2000万余个（2013）。按每个摄像头每天约7.2GB (0.3G（CIF）*24)的数据量，北京市摄像头40余万个（2011），每天产生的数据量为 2800TB，数据量巨大。

在这样大量的数据下，依赖人工监控，智能化程度低，无法实现大规模视频监控环境下的事前感知、事中联动、事后有效处理及智能检索。急需人工智能以及智能分析的技术，在视频监控里能够提供有效的技术的支撑。

2017年7月8日，国务院发布新一代人工智能发展规划（国发〔2017〕35号）。人工智能成为国际竞争的新焦点，是引领未来的战略性技术；人工智能成为经济发展的新引擎，作为新一轮产业变革的核心驱动力；人工智能带来社会建设的新机遇，将深刻改变人类社会生活、改变世界。抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国。

根据这个核心，《规划》里提出利用人工智能提升公共安全保障能力的规划和要求。

第一、促进人工智能在公共安全领域的深度应用，推动构建公共安全智能化监测预警与控制体系。

第二、围绕社会综合治理、新型犯罪侦查、反恐等迫切需求，研发集成多种探测传感技术、视频图像信息分析识别技术、生物特征识别技术的智能安防与警用产品，建立智能化监测平台。

第三、加强对重点公共区域安防设备的智能化改造升级，支持有条件的社区或城市开展基于人工智能的公共安防区域示范。

在智能视频分析关键技术方面，我简单列了相关的关键技术：

1、侵入/越界检测
2、遗留物体事件检测
3、拿走物体事件检测
4、徘徊检测
5、行人/车辆检测、跟踪
6、人脸（人像）/行人/车牌识别
7、人群密度监测
8、异常行为（奔跑打架斗殴）检测
9、视频质量诊断
10、视频浓缩与摘要
11、视频内容快速检索
12、图像增强与复原技术

人脸识别技术应用方面，根据实际应用场景，人脸识别可以分为如下3类：

第一、有配合人脸识别。分认证和查询，通常应用在证件照人脸，声明我是A，然后将A的模板人脸图像和现场采集的A的人脸图像进行比对，给出Yes or No，或查询大库。通常要求配合。

第二、半配合人脸识别。也分认证和查询。通常应用在受限的通道、卡口，进行黑/白名单比对。该类应用通常光照稳定，不要求配合。

第三、非配合人脸识别。查询为主，通常应用在视频监控的动态布控场合，进行黑名单查询。该类应用光照复杂，姿态不确定，难度大。

清华人脸识别技术——人证合一验证通关应用：2005年，由公安部出入境管理局主持集成清华大学人脸技术，世界上首次在我国出入境旅客最多的深圳罗湖口岸开通“旅客自助查验通道” ，日均出入境人数在数十万以上。已推广到深圳、珠海两个地区的边检口岸共已开通了近400条自助通道，近300万旅客，验放旅客超过数亿人次，通过率98％，成为世界人脸识别技术大规模成功应用的范例。

二、人脸识别技术与应用系统

人脸识别技术通过采用摄像机或摄像头，采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关处理技术，通常包括：人脸检测、人脸跟踪、人脸五官定位、人脸归一化、特征提取、分类器训练和比对匹配，以达到识别不同人身份的目的。被广泛地应用在安全、认证等身份鉴别领域，因而被誉为”21世纪十大影响人类生活“的革命性技术。

人脸识别从应用上一般分为人脸检测，人脸五官定位，1:1人脸识别，1：N人脸识别，M：N动态布控。人脸检测与五官定位应用方向：客流量统计，视频检索等。智能贴图，智能美妆美颜，变脸特效等：

1:1人脸识别应用方向是指身份证人脸认证系统，社保人脸识别。

1：N人脸识别应用方向是指身份证照片查重，护照照片查重。比如你现在要做一个护照，你是张三，公安部门会到人口库里面查一下，看你会不会是顶替，也就是一人多证。

M：N人脸识别应用方向是指动态监控，黑名单监控，VIP客户管理系统，校园人脸识别系统，智能楼宇。

人脸识别技术，近两年发展非常迅速。基于机器学习的人脸识别方法方面，人脸识别方法总体上可分为三大类：

一是基于统计的识别方法，主要包括特征脸(Eigenface)方法、隐马尔科夫模型方法、子空间法等；

二是基于网络连接机制的识别方法，包括人工神经网络(ANN)方法和弹性图匹配方法等；

三是几何特征方法和三维模型等一些其他的综合方法。

1.人脸识别核心课题

人脸识别的过程：令x 为一个待识别的人脸输入，F(x)为一个分类器函数，y 是关于x 的类别标签输出。人脸识别的关键，是获得高性能的F函数。传统的人脸识别的方法（Deep Learning以前）： F分类器函数的构建，主要是分步处理、人工设计的。

基于统计学习的人脸识别方法得到了广泛的应用。人脸识别当前遇到的主要困难包括：

人脸面部结构的相似性
人脸的姿态变化
人脸的表情变化
复杂环境的光照变化
人脸的饰物遮挡
人脸的年龄变化

以上问题给人脸识别带来了相当大的挑战。随着深度学习的发展，我们遇到的困难得到了解决。

2.人工智能新浪潮的关键技术——深度学习

人工神经网络是一种端到端的机器学习方法（全步骤一次性学习）。端到端的学习方法一出现给人工智能带来了巨大的推动，应用在AlphaGo，图像识别，语音识别，无人驾驶，VR/AR，智能交通，智能视频，智慧医疗，智能制造。

3.人脸识别关键技术

1)人脸检测：判断输入图像中是否存在人脸；如果存在人脸，返回人脸所在的位置。

2)关键点定位：确定人脸中眼角、鼻尖和嘴角等关键点所在的位置，为人脸的对齐和归一化做准备。

3)人脸归一化：根据关键点的位置，采用相似变换，将人脸对齐到标准脸关键点，并裁剪成统一大小。

4)特征提取：利用海量数据，训练卷积神经网络；将人脸图像表示成具有高层语义信息的特征向量。

5)特征比对：主要是利用Metric Learning等技术，进一步提升识别准确率。

4.人脸检测技术

（1）基于A CNN Cascade for FaceDetection框架。一共6个CNN，3个detection-net用于判断输入的区域是否是人；3个calibration-net对输入的人脸框进行校正，得到更加准确的人脸框。检测过程中采用NMS消除高度重叠的窗口。

（2）人脸识别网络。针对不同人脸识别场景，设计了多种网络架构，以适应不同场景（速度、精度）的要求。图是我设计的一个网络，左边的网络具有速度快的特点，仅需要5毫秒的CPU时间，在LFW上的识别准确率为97.28%，主要用于对实时性要求高的场景。右边的网络，RES-FaceNet，一共包含26个卷积层，5个max-pooling和1个全连接，单个model在LFW上的识别准确率可达99.22%。

三、以人为中心的安防理念与人像态视识别

基于以人为中心的安防理念，提出人像态视识别新概念。安防的重点是人，特别需要关注和获取重点人群的全面信息。例如以下的相关信息：关注人物出现在公共场所和交通卡口；他的行为和举止是否异常；携带包裹进入公共场所，走出后箱包是否消失；其面部表情和神态如何；近期是否有过敏感接触、过激言语等。

人像态视识别

人像态视识别，是我们构建的深度人像识别的一个新概念，即对于人的像态、形态、神态、意态。

—像态包括人脸和行人表观图像；像态，感知两个维度: 1、对感知对象的物理特征进行精准认知，以表达如颜色、尺寸等；2、对这些特征组合的表象进行属性描述，以表达是什么，如车牌、人脸、行人。像态包含表观：人脸、指纹、掌纹、虹膜、指静脉、人群聚集事件等。

形态包括静止和序惯图像。形态，感知两个维度: 

1、对感知对象的静止肢体特征进行认知，以表达如动作、姿态等；

2、对感知对象的肢体变化特征进行描述，以表达做什么，如步态、奔跑、逆行。形态包含多种人体肢体特征：姿态、行为、动作、步态、轨迹等。视频监控行人识别系统，是在跨视域视频监控网络中，依据行人外观和步态特征，识别查找追踪在不同摄像头下的特定行人。

神态包括主动和被动下的人脸图像。神态，感知主动和被动两个维度: 

1、对感知对象的面部表情特征进行认知，以表达如喜怒哀乐等；

2、对感知对象的面部神色特征进行描述，以表达其内心的波动、思想的意识、精神的状态，通常不为人的意志所控制。神态主要用于表达人的内心状态：神态自若、神色慌张、精神恍惚等。

意态包括显性信息和隐性信息。按照这个范畴定义，构成人像态势识别新概念，智能安防，人是其中核心关键的要素。意态与隐形信息相关联，主要体现在信息的逻辑关系的关联上，具有显性和隐性两个维度:

1、对感知对象行为的企图、目标、后果的显性特征进行认知；

2、对感知对象行为的企图、目标、后果的隐性特征进行认知，以表达其行为与其他事件的关联、影响、及潜在的可能后果。意态的显性特征认知较为容易实现，意态的隐性特征认知难度较大，但实际的事件预测十分需要。例如，同样是购买一把菜刀，如果是一个主妇，可能是用于家庭的厨房餐饮；但若是有前科的人，则需要预警；—又如，一个人长时间在某个地方徘徊，像态是徘徊，但意态可能预示可能的事件。

大数据时代，如何处理从各个数据源收集来的信息，如何对不同地点、不同媒体、不同时间、以及不同清晰度、不同粒度的信息进行综合利用，包括对信息的真伪进行鉴定；都是从未完成过的挑战。显性信息关联，主要体现在目标表观信息的关联上，如目标类型，目标属性，目标状态，目标时空点；隐性信息关联。主要体现在逻辑关系信息的关联上—“蝴蝶效应”，亚洲蝴蝶拍拍翅膀，将使美洲几个月后出现比狂风还厉害的龙卷风！

人像态视识别，全面构建对人的像态、形态、神态、意态的深度识别。通过人像态视识别，实现对目标人的整体信息分析、完善的状态描述。1、2态，侧重“格物”，本意即为考察人这个事物; 3、4态，偏向“致知”，进而达到完善的识别和理解; 人像态视识别的目标就是“格物致知”。综上，通过人像态视识别，实现对目标人的整体信息分析、完善的状态描述。人脸识别系统包含人脸识别、年龄估计、性别识别等，新一代的具有智能的安全监控技术，可实现对人脸的检测、识别和分类；人像态视识别，全面构建对人的像态、形态、神态、意态的深度识别。通过人像态视识别，实现对目标人的整体信息分析、完善的状态描述。

将人像态视识别与智能视频分析有机结合，运用于安防领域，无疑将提高公安安防工作的效率，为平安城市建设和公共安全保障提供精准和有效的信息技术手段，大数据背景下国家社会安全保障重大需求。

人工智能赛博物理操作系统

AI-CPS OS

“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。

AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：

1. 重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？

2. 重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？

3. 重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？

AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：

1. 精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。

2. 智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。

3. 高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。

4. 不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。

5. 边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：

1. 创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；

2. 对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；

3. 人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。

给决策制定者和商业领袖的建议：

1. 超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；

2. 迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新

   评估未来的知识和技能类型；

3. 制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开

   发过程中确定更加明晰的标准和最佳实践；

4. 重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临

   较高失业风险的人群；

5. 开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。”  《论语·子路》云计算、大数据、物联网、区块链和 人工智能，像君子一般融合，一起体现科技就是生产力。

如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！

新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。

---

产业智能官  AI-CPS

用“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能），在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。

长按上方二维码关注微信公众号： AI-CPS，更多信息回复：

新技术：“云计算”、“大数据”、“物联网”、“区块链”、“人工智能”；新产业：“智能制造”、“智能农业”、“智能金融”、“智能零售”、“智能城市”、“智能驾驶”；新模式：“财富空间”、“特色小镇”、“赛博物理”、“供应链金融”。

点击“阅读原文”，访问AI-CPS OS官网

本文系“产业智能官”（公众号ID：AI-CPS）收集整理，转载请注明出处！

---

---

版权声明：由产业智能官（公众号ID：AI-CPS）推荐的文章，除非确实无法确认，我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题，烦请原作者联系我们，与您共同协商解决。联系、投稿邮箱：[email protected]

---

---