视频结构化处理技术解析及应用

http://www.d1net.com/ipvs/technology/439773.html

前言：视频监控系统作为一种有效的技术手段，在威慑和打击犯罪，保障人们人身和财产安全，维护社会秩序方面有着不可替代的作用，然而，随着城市智慧安防的深入应用，针对视频内容的结构化提取给现有的视频监控系统带来了又一轮技术挑战。

随着“平安城市”、“3111工程”、“城市立体化治安防控”、“智慧城市”等科技强警项目建设的开展不断深入，我国一线、二线、三线城市已经基本完成城市监控与报警系统由标清改高清的建设，并且基于统一的国家标准正在开展视频监控资源的联网整合任务。一线、二线城市已经在联网整合后视频资源基础上深入开展智能视频分析系统、且取得了初步成果。然而，视频监控系统作为面向城市公共安全综合管理的物联网应用中智慧安防和智慧交通的重要组成部分，面临着深度应用的巨大挑战。其应用的瓶颈是视频信息如何高效提取，如何同其他信息系统进行标准数据交换、互联互通及语义互操作。当下主要的问题在于：缺少视频信息情报的标准化生成方法，进而缺少利用视频信息情报指导侦查、破案的新型警务工作模式；视频信息化情报化警务应用各环节缺乏统一的标准和规范。解决这一问题的核心技术即是视频结构化描述技术。

视频结构化技术

简单来讲，视频结构化技术是一种将视频内容(人、车、物、活动目标)特征属性自动提取技术，对视频内容按照语义关系，采用目标分割、时序分析、对象识别、深度学习等处理手段，分析和识别目标信息，组织成可供计算机和人理解的文本信息的技术。

从数据处理的流程看，视频结构化描述技术能够将监控视频转化为人和机器可理解的信息(如下图)，并进一步转化为公安实战所用的情报，实现视频数据向信息、情报的转化。

pt1:理论基础、算法模块、系统的层次体系

从视频、录像、图片中定位人脸所在区域，并将人脸图像区域从中提取，通过算法，转换为一组特征值向量。

人脸特征识别

人脸识别在应用上，具有先天性的隐蔽、方便、直观等优势。借助人脸识别技术，公安业务部门可在机场、商场、小区、火车站、高铁站、地铁站、汽车站、人行道等进行布控，提取包括人的生理特征(如性别、年龄、肤色、发色、胡须)、表情特征(微笑、正常、愤怒)、脸部穿戴饰物特征(眼镜、墨镜、帽子、口罩)，从而实现人脸的实时布控，高危人员比对、以图搜图、语义搜索等方面的业务应用。如人脸实时布控系统对视频进行实时人脸采集，人脸特征提取和人脸识别，并与各种人脸库提供的图片(警综、出入境、人口库、在逃库、犯罪人员库等)进行实时比对，若发现重点关注人员，将推送到实战平台或手机终端，实现实战预案联动。结合实战平台研判模型、技战法库，实现人员的频次分析、频繁出入、昼伏夜出、深入出入、团伙分析等多轨碰撞分析，为公安预警、侦查、追逃等应用发挥作用。

1、 人体结构化

在视频中除了包括人员的面部精确定位、面部特征提取、面部特征比对，人员的性别、年龄等特征范围外，还可对人的衣着、运动方向、是否背包、拧包、打伞、是否骑车等信息进行结构化描述；以及包含人体行为如越界、区域、徘徊、遗留、聚集等多种行为特征描述。

人体特征

在人体结构化基础上进行检索查询，可以解决快速目标查找问题，如将嫌疑人的截图输入至侦查系统中，利用人形检索的功能，系统会根据目标嫌疑人的衣着、颜色分布、体态特征快速地在案发点附近的多路摄像头中进行全局搜索，查找出相似的目标，并将结果以快照的形式输出，结合GIS地图进行时空研判分析，刻画出嫌疑人的行动轨迹。

2、 车辆结构化

随着智能交通高清电警、卡口、虚拟卡口、停车场的广泛建设和应用、借助智能识别算法将电警、卡口、停车场出入口等场所的车辆相关结构化信息存入车辆主题库，包括车牌、车牌颜色、车辆品牌、车辆类型、车身颜色、车标及遮阳板、是否系安全带、打电话、车辆年检标、摆件挂件、司乘人员的人脸。

车辆特征识别

基于这些车辆关键特征信息，形成上亿条过车记录数据，从而推动了后台大数据分析服务的发展应用和行业数据挖掘，形成隐匿车辆挖掘、套牌车辆筛选、初次入城、一车多牌、一牌多车、频繁过车、相似车辆串并、同行车**、高危车辆积分模型、车辆行驶轨迹分析、时空碰撞等实战技战法的应用。在此基础上对车辆特征数据的大数据搜索，即可迅速找到所有符合条件的车辆信息，包括行驶时间与方向、行驶速度、车标、车牌、年款等，还可结合以图搜图的检索方法，在实战平台上调取相关视频和图像文件，快速查询到有关嫌疑车辆信息，还原车辆行驶的轨迹历史信息，实现嫌疑车辆在整个城市的全程运行轨迹查询或结合视频监控信息，实现车辆全程化的可视化轨迹回放，以及对涉事车辆的精准布控和查询，也可以联合公安车辆管理信息库，实现车人关联。

视频结构化面临的问题

作为一项视频处理的核心技术，算法对环境比较敏感，受环境干扰大，光线、杂物、恶劣天气、晃动都会影响实际效果。实现高效精准的视频结构化描述技术成为今后一段时间各个算法研究机构努力的方向。随着计算机视觉前沿技术的日益成熟，深度学习、高性能计算、海量训练数据、多维信息结合、大数据挖掘分析、目标跟踪、现有算法的优化都将有力快速推动视频结构化分析技术、算法效果的逐步提升。能够根据不同的复杂环境进行自动学习和过滤，能够将视频中的一些干扰目标进行自动过滤，能够将视频中的一些干扰目标进行自动过滤，从而达到提高准确率。

视频结构化技术发展前景

在大数据时代，利用视频结构化描述技术实现视频图像结构化数据提取，将是公安机关实现安防大数据应用的重要基础建设。视频结构化描述技术紧紧抓住视频内容信息处理和网络化共享应用的主线，力争经过若干年的技术攻关和系统建设，全面实现监控视频信息的情报化、视频监控网络的智慧化，强化警务视频应用的普适性。即实现以机器自动处理为主的视频信息处理和分析，并且通过技术手段转化为公安工作可用的情报；实现监控网络之间、终端之间、警种之间的信息共享和主动互操作，实现主动监控、自动联网分析等网络功能;全方位拓展视频在警务工作中的应用模式，大幅度提高技术的易用性，实现以业务民警为中心的随时随地的灵活、简单、多样的视频按需服务应用。

从应用前景看，视频监控技术所拥有的市场潜力为视频结构化描述提供了广阔的应用前景。全面开展视频结构化描述技术研究和产品开发，建立完全自主知识产权的技术体系，不但对我国安防行业的健康发展极为重要，也可以大力带动相关芯片制造、软硬件产品开发等一大批民族产业的发展。

实际上，中国有AVS标准，视频的所有产品都可以纳入该体系下，在该体系下进行视频的去伪存真，进行视频的二次分析合并，挖掘，进行实时和事后的智能分析，结合行业管理，将视频应用深入到行业的各种应用。

不论是垂直行业，还是平安城市，未来视频都是最直观的资源，它将类似于企业的数据，因而针对视频的深度应用将是未来安防发展的必然。

http://baijiahao.baidu.com/s?id=1591091221931895646&wfr=spider&for=pc

http://www.iqiyi.com/w_19rxuoazm5.html

http://www.1000video.com.cn/product/jiegouhua/