论文Real-Time Moving Object Segmentation and Classification from HEVC Compressed Surveillance Video

很久之前看过的一篇论文，网上可以下载，PDF下载地址

Real-Time Moving Object Segmentation and Classification from HEVC Compressed Surveillance Video
摘要——从压缩视频中移动对象分割和分类对智能视频监控起着重要的作用。与H.264 / AVC相比，HEVC引入了许多新的编码特征，可以进一步用于移动对象的分割和分类。在本文中，我们提出了一种实时的方法，使用从HEVC压缩域直接提取的视频监控的独特特征对运动对象进行分割和分类。在所提出的方法中，首先采用帧内编码预测单元的运动矢量插值和MV异常值去除来进行预处理。其次，利用四连通分量标注算法将具有非零运动向量的块聚集到连接的前景区域中。再次，将基于时间一致性的目标区域跟踪应用于连通的前景区域，去除噪声区域。运动物体区域的边界通过编码单元大小和预测单元大小进一步细化。最后，使用时空HEVC语法单词袋的人车分类模型被训练以对运动对象（人或车辆）进行分类。实验结果表明，该方法具有较好的性能，可以对移动人员和车辆进行准确分类。

索引术语 - 压缩域，对象分割，对象分类，HEVC，视频监控。

1、预处理
A、对于Intra-coded PUs的运动矢量插值处理
目的：分割前景和背景区域，向intra-coded PU 分配一个MV。
做法：the MVs of first-order neighboring Pus
(top-left, top, top-right, left, right, bottom-left, bottom, bottom-right) are employed。构建MVList，后选择最大MV。
细节：将邻域的范围扩展到16*16（块）。

B、MV Outlier Removal（MV离群值去除）
目的：通过空间参考的一致性与连续性来减少运动噪声（压缩比特流的MV值是通过Rdcost确定的，不一定全部代表真实的物体运动）
做法：（1）、MV Filtering（MV滤除）
1）采用M个先前帧和M个后续帧中的共同位置处的原始MV来对当前t处的原始MV进行过滤，CU、PU大小划分为4*4
2） 分别代表t帧在（k,l）处沿着水平和垂直方向的原始MV。我们所求的filtered MVs：

注：loor(x)表示得到小于等于x的最大整数的操作，在实验中，m根据经验设为4。
（2）MV Refining（MV改善）
用原始的MVs来减少这些非零MV噪声
首先，如果NumNonzeroMV小于2，我们估计空间紧凑性的状态不满足；
其次，检查前一帧和后一帧的相同时间PU中的MV是否为0；如果其中一个MV是0，我们假设时间连续性条件不满足。如果不满足空间紧凑型条件或时间连续性条件，则这些非零MV将被标记为噪声并设置为0。
（3）Isolated and Small MV Removal（去除孤立和小型的MV）
将具有隔离非零MV或小MV的PU标记为背景PU，另外当前PU的MVs及其超过一半的空间相邻PU小于或等于1时，将一个MV定义为小MV，则其相关相关MV被修改为0。

2、在HEVC压缩域移动目标的分割
预处理后，非0的MV块被标记为前景块。对于每个前景区域，首先使用目标区域跟踪来检查它的时间一致性；其次，通过使用块的CU和PU大小来优化运动物体区域的边界。
A、Object Region Tracking（对象区域跟踪）
目的：检查前景区域的时间一致性，对前景区域进行时间跟踪。
做法：
步骤1：使用变量bTemporal来指示当前前景区域的相应前景区域是否连续地向后描述相同的物体。
步骤2：通过使用其MV 将前景区域 中的每个4×4块 投影到前一帧t-1。它在t-1帧中的投影位置 是 。
步骤3：对于时间t-1的每个投影块 ，如果 属于背景区域，则 的区域将被设置为φ。
步骤4：计算在帧t-1的每个前景 区域中的投影块的数量。然后，将具有最多投影块的前景区域 标识为帧t处的对应于 的前景区域。
步骤5：计算 与其对应的前景区域 的交点并将其与经验阈值进行比较。 在（5）中，大小（对象）表示区域Object中的前景块的数量，并且 经验地设置为50％。
如果（5）不满足，则bTemporal被设置为假，并且该过程结束。否则，我们假设 和其对应的前景区域 被假定为描述相同的对象区域，然后返回到步骤1并重复整个过程。

B. Object Boundary Refinement（物体边界细化）
目的：建议使用CU和PU的大小来改进对象边界（4*4块）
做法：
（看原文）

3、HEVC压缩域中的移动对象分类
目的：“HEVC语法单词包”（“bag of words”）
主要步骤：
（1）使用HEVC语法特征描述运动对象区域内的每个编码块;
（2）使用聚类方法构造码本;
（3）使用码本的码字的归一化直方图来表示每个移动对象;
（4）训练二元分类器，将运动物体分类为人和车辆。
具体实行：
因为车辆内部的MVS是比人内部的MVD更一致，车辆区域内相邻块之间的MVD通常比在人的区域内相邻块之间的MVD小。由于我们关注的是运动对象内部的运动变化，所以只有当当前块及其相邻块都具有非零MVS时，才能计算它们的MVD。具体来说，当前块的MVD 块由下式计算

其中 NeighMVt i 表示帧t处第I块相邻块的mv，CurrMVt 表示帧t处当前块的mv，CurrMVDti 表示当前块与第I块相邻块之间的MVD。而MaxCurrMVDt 表示当前块与其相邻块之间在帧t处的最大MVD。另外，在帧t-1和t+1处的同为块的最大MVD也用作当前块的特性，分别表示为MaxCurrMVDt-1 1和MaxCurrMVDt+1 .
表一总结了这些特征，其总特征大小为5。一旦提取了训练数据集中所有块的特征，这些特征向量采用k均值聚类方法被聚成M个聚类。每个集群的中心变成一个代码字。总之，该码书将有M码字。例如，在我们的实验中，我们设定M=25。