行人异常行为检测

什么是行人异常检测

异常行为

在某一场景中不寻常的位置或不寻常的时刻发生的动作
在某一场景中正常位置、正常时刻发生的不寻常动作

分类

暴力性质

群殴、踩踏, 游 行、骚乱、聚集、奔跑、恐慌逃散、人群中异常事件(如 步行街上的骑车、轮滑、轿车、急停急跑、检票口的 逆行、逃票和徘徊等)等等
特征：

非暴力性质

静坐、围观

特征

人群密度异常：
群密度或人数是异常人群的一个重要特征, 不少人群异常检测算法都依赖人群密度进行检测。
运动模式异常：
通常表现在人群的运动异常, 如人群混乱等, 人群运动特征的提取就可以表示人群异 常. 运动模式特征通常分为运动速度和运动方向两类,

意义

分析视频监控，提高安保人员效率

分类

按行为定义的方法

基于定义规则的方法

使用预定义的规则来定义正常或异常活动

基于概率的统计学方法

学习正常模型

学习正常行为模型，并以此为基础检测异常行为

学习所有数据

从观测数据的统计属性中学习正常和异常行为模式。

基于机器学习的方式

无监督

与正常行为不相似的方法为异常

有监督

有标签的训练集

半监督

只有正常行为或异常行为数据集，学习边界

基于选择的特征

局部运动特征

轨迹

方法

人群特征的提取

图像

像素级特征提取方法：基于像素的特征通常通过边缘检测和背景/前景 减法获取, 且通常只关注底层的密度估计信息.

纹理特征提取方法：纹理分析集中图像块的高层次分析.

对象

基于对象特征提取：通过确认场景中的 对象个体, 从而可以获取更加准确的结果

基于帧的特征提取方法：基于帧图像分析是对视场内的整个场景行为建模

人群异常建模技术

基于个体对象的建模

群体中局部异常行为识别是针对人群中单个或者几个个体表现出的非从众 行为, 这些行为的识别需要关注个体行为, 而不需要 关注群体的环境.
基于个体对象的方法, 以个人的集合来处理分析估计其速度、方向和运动异常. 以个人对象进行行为 的识别, 可以准确定位出场景中异常发生位置及异常 类型, 是目前研究的热点. 然而, 当遮挡存在时, 会影 响对象检测、跟踪, 从而增加识别的复杂程度.
基于局部的方法可以定位场景中的典型活动和互 动, 检测正常和异常, 并支持活动和交互的高层语义 查询. 然而, 这些方法不能处理密集拥挤的场面, 因 单个个体无法检测, 且人群的动力学是混乱的. 在这 种情况下, 低层次视觉特征的空间分布也是混乱的, 随后的聚类程序也将无法正常工作

基于整体的建模

群体整体异常行为建模是群体整体表现出异常行为, 识别过程中不关注个体行为。
整体分析方法把人群作为一个实体来估计速度、方向和运动异常, 涵盖中高密度人群场景.
整体分析方法是对整个人流分类为正常、异常或预定义行为, 是把人群作为一个单一的实体, 适合分 析中高密度人群的结构化场景, 以及高密度人群中行 为特征很少或者小到无法提取的场景. 这种方法会忽 略个体差异, 并认为人群中所有个体都有类似的运动 特性, 从而从系统角度分析人群行为. 但是, 由于没 有对象检测和跟踪的信息, 同时发生的人群其他活动 无法区分开, 且非结构化场景的局部行为也无法处理.

挑战

(1) 算法鲁棒性问题. 由于人群行为发生的场景通常较为复杂, 切伴随着场景变化(光照、遮挡、距离等), 目前算法识别的稳定性需要进一步提高.
(2) 智能化问题. 目前的人群行为识别, 通常针对单一行为分析其行为识别特征, 从而也只能识别单一异常行为, 无法对异常进行统一建模识别.
(3) 目前基于机器学习是人群行为识别的主流方 法, 该方法需要大量训练样本, 且由于群行为的发生通常是多样式的, 很难有统一的学习模型.

(1) 多传感器融合下的行为识别. 单一传感器获取的信息量是有限的, 通常存在遮挡、信息缺失等问题, 通过融合多个监控信息, 就可以全面提取人群行为. 同时, 语言包含了更多的人类情感信息, 视频结合语音的人群行为识别技术, 将是未来的研究方向之一.
(2) 人群的高层次行为建模是具有挑战性的研究方向. 人群是一个复杂的群体, 人群行为不能单纯通过视频特征进行描述, 需要更深层的理解人的个体行为、个体与个体之间的行为影响、人与环境之间的相互关系等, 从而建立人群行为的语义知识模型, 从根本上理解是否真的人群中有异常事件存在.
(3) 实时处理和泛化. 随着高清及智能监控网络的发展需要, 更大更多的数据需要及时处理, 并对其 中问题进行及时告警.
(4) 大数据下行为识别技术. 大数据是未来的发展趋势, 如何利用大数据对人群行为进行建模识别, 摆脱单一视频识别技术的依赖, 从而更加系统地对人 群行为进行定义及预测预警, 是一个开拓性的研究方 向.

数据集

人群异常行为检测数据集汇总
人类异常行为识别数据集汇总【转载】（附链接）

参考

行人异常行为检测方法的研究与系统实现
人群异常识别技术研究进展

待调研

https://blog.csdn.net/wzmsltw/article/details/80560918
https://blog.csdn.net/liuxiao214/article/details/78281160
https://blog.csdn.net/liuxiao214/article/details/78669211
https://blog.csdn.net/weixin_38730719/article/details/88026338