红外视频——行人识别

最近在做关于红外视频的项目，主要是对区域入侵检测，主要是能够对行人进行识别，又到了瓶颈期，所以看看论文找些灵感，下面也主要是对看到的论文的思想及实现步骤进行总结。
1.《Thermal-Infrared Pedestrian ROI Extraction through thermal and Motion Information Fusion》
2.《A Shape-Independent-Method for Pedestrian Detection with Far-Infrared-Images》
文章中作者对目标分割和目标分类分别做了介绍。
目标分割
“水平分割”方法是基于“亮像素垂直投影曲线”实现的，“垂直分割”基于“亮度/人体线条”实现的。
A.水平分割
A.1亮像素垂直投影曲线
亮像素垂直投影曲线是红外图像每一列”亮像素”的数量，”亮像素”定义为：
亮像素阈值=max(图像像素值)-Inensity Margin
亮像素垂直投影曲线实际操作如下图：

红外图像亮像素垂直投影曲线及基于亮度垂直分割结果.(a)(c)冬天结果.(b)(d):夏天结果。对于所有曲线：X-图像列位置；Y-每一列”亮像素”数量。
A.2 水平分割方法
过程如下：1.根据上面的等式选择一个亮度阈值，Inensity Margin 选择尽可能大，则阈值就会比较下，这样能够保证获得的感兴趣区域中一定含有行人目标。记录每一列像素值大于亮度阈值的个数，从而生成亮像素垂直投影曲线。
2.搜寻波开始的位置和波下降结束的位置；
3.忽略零值平坦区域，保存每一对波开始点和波结束点；
4.对应曲线波记录图像可能含有行人目标的每一竖条；
B.在水平分割条纹中截取行人垂直位置
作者介绍了两种垂直分割方法，第一种是基于亮度分割，这种方法对于冬季和户外情况分割效果较好，第二种是基于人形方法分割。
B.1基于亮度垂直分割
在水平分割得到图像条纹，搜索条纹中最亮和最暗的位置估计目标的垂直位置。
B.2基于人形的垂直分割
1.行人水平人形检测
行人的左右边缘是图像像素值变化较快的位置，为了获得行人人形的最终位置，利用Sobel算子计算水平方向的像素变化。

其中(x,y)是像素的位置，I(x,y)是图像像素值，是像素水平间距。计算每一行所有像素的水平间距，左半部分最大的值就是行人的左边界，对于梯度小于或等于0的跳过。右边界求取方法与左边界类似，但是这样求取的方法可能发生很多边界点属于其它的热目标。
2.基于人形匹配估计行人位置
图(a)是一个行人模板，定义了行人尺寸，利用腰来确定行人。人的腰容易检测，并且不容易丢失。(c)提供了行人检测的例子。

3.基于直方图行人搜索
利用直方图分类特征来搜索最可能的候选目标，行人分割流程图如下图，利用直方图匹配确定目标，之后再利用其它特征进行分类判断。

分类
传统的分类方法是获取目标的形状并且与模板进行对比分类，当分割错误或行人动作改变会出现错误。
A.直方图分类
作者简单的利用一个行人目标做为模板，对不同姿态的行人或不同尺寸的行人与飞行人进行分类
A.1行人的亮度直方图相似性统计
不同的行人、不同的动作、不同的季节图像亮度直方图曲线是不同的。

图(a0)是从一个夏天的视频中截取的行人模板，(a1)是冬季的图像，(b1)显示了(a1)的几个行人的亮度直方图的相似性，(c1)对(b1)曲线的均值与夏季行人的曲线进行了比较。通过对行人直方图曲线数据统计，行人直方图曲线类似于零均值的高斯曲线，值在[-10,10]之间，只有8.2%会有非常的大的变化。从这也可以看出行人直方图是非常相似的。
A.2直方图分类能力
(b2)是非行人(a2)的曲线，(c2)显示了(b2)均值和行人模板亮度直方图曲线的比较，(b)(c)显示了行人/非行人的亮度直方图特征区间值是不同的。(a0)做为模板，计算目标与模板直方图差值加权和，计算过程如下：

归一化系数，weight(i)权重函数。当亮度i比较暗或比较亮时，权重值要设置的小一些，以降低分割错误的影响。理想的直方图差值是0，差值越大，越不可能是行人。
B.惯性特征分类
图像的惯性特征计算如下：

B.1 行人惯性特征相似性统计
行人的统计计算如图(b),分布图如(c)，该分布与RayLeigh分布相似，惯性均值是1.03,70%的行人区域惯性值是0.8~1.2,94%的惯性值是0.6~1.4.


B.2惯性特征分类能力
惯性特征能解决直方图分类不彻底的问题。行人区域的很多亮度值在图像块的中间，和水平或垂直边缘头、手、或脚。而非行人区域亮像素在边界存在的很少。
C.基于对比度分类
行人的边界对比度很强，水平对比度被用来确定行人的左/右边界，垂直边缘如图(a)(b)所示，垂直边界根据(6)计算，当结果大于某一给定阈值则标定为边缘。大多数情况，行人上边界值应该小于2，一般人的上面是天空、建筑物、树，它们的值都小于2。只有当人站在等前面，人与背景的边界差值会接近2.因此如果有上边界并且行边界的值大，没有垂直对比，则这就是非行人目标。

虽然我们不能利用垂直对比度来确定行人，但可以移除一些不具有垂直对比度的非行人，当没有垂直对比并且满足下面一条或两条状况：
1.“底端行的边界”大于1；
2.“上边缘索引”和“感兴趣行边缘索引”都接近或大于1.5；
对比度分类特征数据统计

多特征融合