【论文笔记】监控视频中异常事件检测及异常事件摘要

论文作者林巍峣做的一次关于其发表在2015 neurocomputing 上的论文的讲座。因为是讲座+后期自己稍微看了一下原文，所以在这的介绍只是一个大概，属于科普方法类论文笔记…

• 论文链接：Summarizing surveillance videos with local-patch-learning-based abnormality detection, blob sequence optimization, and type-based synopsis

• 一个summary的视频，觉得做得很不错：An example summary video

目的：对监控视频中的异常事件（如闯红灯、横穿马路等）进行检测，并聚类，浓缩到一段摘要中。

大致流程是：

• 提取前景物体（团块）
• 跟踪(相邻帧similar HOG+large overlapping area)+团块优化
• 获得blob sequences后，根据对normal activities的学习判定其是否为abnormal
• 对异常事件聚类
• 生成异常事件的视频摘要

1.对正常行为进行建模：基于patch的学习

首先将输入的视频场景划分成相同的patch,

然后对每一个patch学习这一块局部区域的normal activity pattern.具体做法是对训练数据中normal activities的轨迹在每个patch中是如何分布的学习一个概率分布（特征为光流，建模用kernel density estimation），以及正常行为的key regions(即轨迹的端点)一般是如何组合的。

2.团块优化

在实际场景中不同物体的运动轨迹有可能会“黏连”，通过分割代价函数来分离不同物体的模态。

具体的分割代价函数包含了3部分的优化，在这不做详细介绍，感兴趣的可以阅读原文。

3.团块序列的分类

根据团块优化和跟踪，我们可以得到物体运动的团块序列（blob sequences）。根据之前学习到的正常行为的概率分布和key regions对团块序列做检测，筛选出abnormal activities.
然后对abnormal activities进行聚类，得到不同类型异常事件的团块序列集合。

4.视频摘要

基于不同类型的异常事件集合，将他们浓缩到一起实现不重叠但连续的一段异常事件的摘要。