单目标追踪——【手工特征和深度特征】

写在前面

最近看了几篇单目标追踪领域的综述论文，想着对单目标追踪领域的经典论文按照时间线进行梳理一下，以便能快快找到现在单目标追踪的研究热点，未来方向。总的是从【相关滤波】和【孪生网络】两个框架为中心进行梳理。此篇先梳理一下目标追踪领域的一些常用特征。

在梳理框架前，首先关注一下在单目标领域中常用的特征。有时，虽然CNN特征应用广泛，但是CNN特征也花费了较大的时间成本，所以在实际的算法落地时，CNN中看不中用。反而应用HOG特征、CN特征的追踪器也能在保证追踪效果不下降太多而达到高fps。

手工特征

HOG（梯度特征）——基于形状边缘特征的描述算子

论文来源：Histograms of Oriented Gradients for Human Detection
参考博客：行人检测之HOG
80行Python实现-HOG梯度特征提取

HOG算法思想：
在计算机视觉以及数字图像处理中梯度方向直方图(HOG)是一种能对物体进行检测的基于形状边缘特征的描述算子，它的原理是在HOG特征描述符中，梯度方向的分布，也就是梯度方向的直方图被视作特征。图像的梯度(x和y导数)非常有用，因为边缘和拐角(强度突变的区域)周围的梯度幅度很大，并且边缘和拐角比平坦区域包含更多关于物体形状的信息。

HOG的优缺点：对形变的目标比较敏感，一旦目标产生较大形变，前后特征变化就明显，对于最后追踪效果来说并不鲁棒。但是它对光照变化等情况鲁棒。

HOG提取效果图：

HOG特征提取的过程表示：

红色框内是对输入图像进行特征提取的处理。

1. Normalize gamma & color——图片预处理。读入彩色图像，并转换为灰度值图像, 获得图像的宽和高。采用Gamma校正法对输入图像进行颜色空间的标准化（归一化），目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音。【论文中实验证明这个预处理的影响不大，对于彩色通道可以分3通道算梯度再合起来。】
2. Compute gradients—— 计算图像每一个像素横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值；求导操作不仅能够捕获轮廓，人影和一些纹理信息，还能进一步弱化光照的影响。在求出输入图像中像素点（x,y）处的水平方向梯度、垂直方向梯度和像素值，从而求出梯度幅值和方向。
3. Weighted vote into spatial & orientation cells——为每个cell单元构建梯度方向直方图。此步骤主要是为局部图像区域提供一个编码，同时能够保持对图像中人体对象的姿势和外观的弱敏感性。首先把图像分割成许多个cell单元格，然后把所有cell单元的全部像素通过梯度方向在直方图中执行加权投影的操作，则可获得每个cell单元格的梯度方向直方图。
4. Contrast normalize over overlapping spatial blocks——组合相邻的细胞单元成大的相互有重叠的块(block)，这样能有效的利用重叠的边缘信息，以统计整个块的直方图;并对每个块内的梯度直方图进行归一化，从而进一步减少背景颜色及噪声的影响。即每几个cell组成一个block（以3*3为例），一个block内所有cell的特征串联起来得到该block的HOG特征descriptor。
5. Collect HOG‘s over detection window——将图像image内所有block的HOG特征descriptor串联起来得到该image（检测目标）的HOG特征descriptor，这就是最终分类的特征向量。

CN（颜色特征）

论文来源：Adaptive Color Attributes for Real-Time Visual Tracking

这篇论文是Danelljan将CN特征引入目标跟踪应用，并基于CSK追踪器进行改进，论证了在CN特征在目标追踪中的优越性。详情参见
该特征的缺点主要就是带来的计算量大，所以在Danelljan这篇文章中还提出了一个PCA降维（从11维降到2维）的方法，来保障追踪的实时性。

颜色直方图（颜色的概率分布特征）

Possegger 等人在DAT (distractor-aware
tracker) 这篇文章方法中提出了颜色直方图特征，即统计前景目标和背景区域的颜色直方图并归一化，得到前背景颜色概率模型。将颜色直方图特征用于目标跟踪任务，通过逐像素判断其属于前景的概率，得到像素级前背景概率分布图，从而抑制与前景相似的干扰区域并缓解模型漂移 (model drift)。

（a）图表示得到的分离目标与背景的概率图。这里还预先识别出了潜在的干扰区域，即绿框周围的其它运动员；（b）使用了高斯权值函数抑制边缘相似的颜色物体，即抗干扰；两者结合的（c）就是目标区域了。

**颜色直方图的优缺点：**对变形不敏感，但对光照变化和前背景颜色相似敏感，于是在实践中可以将 HOG 特征和颜色直方图特征结合。

**颜色直方图与CN特征的比较：**CN特征是模板类特征，DAT中统计颜色直方图是概率特征，举个例子，跟踪目标是人，穿白色上衣，黑色裤子，CN特征学习到上白下黑的模板，颜色直方图学习到目标60%是白色，40%是黑色。如果这个人倒立了，CN模板对不上就认为这个不是目标，而颜色直方图依然60%白40%黑，判定就是目标。

深度特征

最近，由于深度卷积特征的广泛应用和优越效果，将深度特征集成到相关滤波目标跟踪算法也逐渐成为主流。DeepSRDCF将 HOG特征替换为 VGG (Visual Geometry Group) 网络中单层卷积层的深度特征，使得目标跟踪精度相较于HOG特征有了很大提升。而网络必然不能一味加深，有研究尝试如果简单地将 VGG 网络换成更先进的
GoogLeNet 或 ResNet 提取深度特征，并没有像其他领域的研究一样对跟踪性能带来进一步的提升，而针对这个问题，UPDT (Unveiling the Power of Deep Tracking) 进一步发掘深度特征在目标跟踪中的潜力。文章发
现**深度特征可以更有效地表示高层语义信息，对目标旋转、变形等外观变化建模具备更强的鲁棒性；但同时平移和尺度不变性使得其无法精确定位目标，即准确性很差。相反，浅层特征（手工特征）可以更好地表示和建模纹理和颜色信息，保留高空间分辨率，更加适合准确的像素级目标定位；但是对旋转变形的鲁棒性很差。**于是 UPDT 算法利用深度特征保持鲁棒性，同时采用浅层特征负责准确性，利用两种特征检测得到的响应图进行自适应融
合，兼顾目标定位的准确性和跟踪的鲁棒性。在孪生网络这个领域也有SiamRPN++ (CVPR19 Oral)成功应用了深层网络的优势。

有关目标追踪中的常用特征的梳理就到这。接下来就是对两大框架的梳理~QQ