单目标追踪——【手工特征和深度特征】

梳理思路:

  • 写在前面
    • 手工特征
      • HOG(梯度特征)——基于形状边缘特征的描述算子
      • CN(颜色特征)
      • 颜色直方图(颜色的概率分布特征)
    • 深度特征

写在前面

最近看了几篇单目标追踪领域的综述论文,想着对单目标追踪领域的经典论文按照时间线进行梳理一下,以便能快快找到现在单目标追踪的研究热点,未来方向。总的是从【相关滤波】和【孪生网络】两个框架为中心进行梳理。此篇先梳理一下目标追踪领域的一些常用特征。

在梳理框架前,首先关注一下在单目标领域中常用的特征。有时,虽然CNN特征应用广泛,但是CNN特征也花费了较大的时间成本,所以在实际的算法落地时,CNN中看不中用。反而应用HOG特征、CN特征的追踪器也能在保证追踪效果不下降太多而达到高fps。

手工特征

HOG(梯度特征)——基于形状边缘特征的描述算子

论文来源:Histograms of Oriented Gradients for Human Detection
参考博客:行人检测之HOG
80行Python实现-HOG梯度特征提取

HOG算法思想
在计算机视觉以及数字图像处理中梯度方向直方图(HOG)是一种能对物体进行检测的基于形状边缘特征的描述算子,它的原理是在HOG特征描述符中,梯度方向的分布,也就是梯度方向的直方图被视作特征。图像的梯度(x和y导数)非常有用,因为边缘和拐角(强度突变的区域)周围的梯度幅度很大,并且边缘和拐角比平坦区域包含更多关于物体形状的信息

HOG的优缺点:对形变的目标比较敏感,一旦目标产生较大形变,前后特征变化就明显,对于最后追踪效果来说并不鲁棒。但是它对光照变化等情况鲁棒。

HOG提取效果图:

单目标追踪——【手工特征和深度特征】_第1张图片 单目标追踪——【手工特征和深度特征】_第2张图片

HOG特征提取的过程表示:
在这里插入图片描述
红色框内是对输入图像进行特征提取的处理。

  1. Normalize gamma & color——图片预处理。读入彩色图像,并转换为灰度值图像, 获得图像的宽和高。采用Gamma校正法对输入图像进行颜色空间的标准化(归一化),目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音。【论文中实验证明这个预处理的影响不大,对于彩色通道可以分3通道算梯度再合起来。】
  2. Compute gradients—— 计算图像每一个像素横坐标和纵坐标方向的梯度,并据此计算每个像素位置的梯度方向值;求导操作不仅能够捕获轮廓,人影和一些纹理信息,还能进一步弱化光照的影响。在求出输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值,从而求出梯度幅值和方向。
  3. Weighted vote into spatial & orientation cells——为每个cell单元构建梯度方向直方图。此步骤主要是为局部图像区域提供一个编码,同时能够保持对图像中人体对象的姿势和外观的弱敏感性。首先把图像分割成许多个cell单元格,然后把所有cell单元的全部像素通过梯度方向在直方图中执行加权投影的操作,则可获得每个cell单元格的梯度方向直方图。
  4. Contrast normalize over overlapping spatial blocks——组合相邻的细胞单元成大的相互有重叠的块(block),这样能有效的利用重叠的边缘信息,以统计整个块的直方图;并对每个块内的梯度直方图进行归一化,从而进一步减少背景颜色及噪声的影响。即每几个cell组成一个block(以3*3为例),一个block内所有cell的特征串联起来得到该block的HOG特征descriptor。
  5. Collect HOG‘s over detection window——将图像image内所有block的HOG特征descriptor串联起来得到该image(检测目标)的HOG特征descriptor,这就是最终分类的特征向量。

CN(颜色特征)

论文来源:Adaptive Color Attributes for Real-Time Visual Tracking

这篇论文是Danelljan将CN特征引入目标跟踪应用,并基于CSK追踪器进行改进,论证了在CN特征在目标追踪中的优越性。详情参见
该特征的缺点主要就是带来的计算量大,所以在Danelljan这篇文章中还提出了一个PCA降维(从11维降到2维)的方法,来保障追踪的实时性。
单目标追踪——【手工特征和深度特征】_第3张图片

颜色直方图(颜色的概率分布特征)

Possegger 等人在DAT (distractor-aware
tracker) 这篇文章方法中提出了颜色直方图特征,即统计前景目标和背景区域的颜色直方图并归一化,得到前背景颜色概率模型。将颜色直方图特征用于目标跟踪任务,通过逐像素判断其属于前景的概率,得到像素级前背景概率分布图,从而抑制与前景相似的干扰区域并缓解模型漂移 (model drift)。

(a)图表示得到的分离目标与背景的概率图。这里还预先识别出了潜在的干扰区域,即绿框周围的其它运动员;(b)使用了高斯权值函数抑制边缘相似的颜色物体,即抗干扰;两者结合的(c)就是目标区域了。
单目标追踪——【手工特征和深度特征】_第4张图片
**颜色直方图的优缺点:**对变形不敏感,但对光照变化和前背景颜色相似敏感,于是在实践中可以将 HOG 特征和颜色直方图特征结合。

**颜色直方图与CN特征的比较:**CN特征是模板类特征,DAT中统计颜色直方图是概率特征,举个例子,跟踪目标是人,穿白色上衣,黑色裤子,CN特征学习到上白下黑的模板,颜色直方图学习到目标60%是白色,40%是黑色。如果这个人倒立了,CN模板对不上就认为这个不是目标,而颜色直方图依然60%白40%黑,判定就是目标。

深度特征

最近,由于深度卷积特征的广泛应用和优越效果,将深度特征集成到相关滤波目标跟踪算法也逐渐成为主流。DeepSRDCF将 HOG特征替换为 VGG (Visual Geometry Group) 网络中单层卷积层的深度特征,使得目标跟踪精度相较于HOG特征有了很大提升。而网络必然不能一味加深,有研究尝试如果简单地将 VGG 网络换成更先进的
GoogLeNet 或 ResNet 提取深度特征
并没有像其他领域的研究一样对跟踪性能带来进一步的提升,而针对这个问题,UPDT (Unveiling the Power of Deep Tracking) 进一步发掘深度特征在目标跟踪中的潜力。文章发
现**深度特征可以更有效地表示高层语义信息,对目标旋转、变形等外观变化建模具备更强的鲁棒性;但同时平移和尺度不变性使得其无法精确定位目标,即准确性很差。相反,浅层特征(手工特征)可以更好地表示和建模纹理和颜色信息,保留高空间分辨率,更加适合准确的像素级目标定位;但是对旋转变形的鲁棒性很差。**于是 UPDT 算法利用深度特征保持鲁棒性,同时采用浅层特征负责准确性,利用两种特征检测得到的响应图进行自适应融
合,兼顾目标定位的准确性和跟踪的鲁棒性。在孪生网络这个领域也有SiamRPN++ (CVPR19 Oral)成功应用了深层网络的优势。

有关目标追踪中的常用特征的梳理就到这。接下来就是对两大框架的梳理~QQ

你可能感兴趣的:(SOT,计算机视觉,人工智能)