SRDCF

完全参考知乎大佬YaqiLYU的专栏 https://zhuanlan.zhihu.com/p/26417182

总体来说,相关滤波类方法对快速变形和快速运动情况的跟踪效果不好。

快速变形主要因为CF是模板类方法。容易跟丢这个比较好理解,前面分析了相关滤波是模板类方法,如果目标快速变形,那基于HOG的梯度模板肯定就跟不上了,如果快速变色,那基于CN的颜色模板肯定也就跟不上了。这个还和模型更新策略与更新速度有关,固定学习率的线性加权更新,如果学习率太大,部分或短暂遮挡和任何检测不准确,模型就会学习到背景信息,积累到一定程度模型跟着背景私奔了,一去不复返。如果学习率太小,目标已经变形了而模板还是那个模板,就会变得不认识目标。(举个例子,多年不见的同学,你很可能就认不出了,而经常见面的同学,即使变化很大你也认识,因为常见的同学在你大脑里面的模型在持续更新,而多年不见就是很久不更新)

快速运动主要是边界效应(Boundary Effets),而且边界效应产生的错误样本会造成分类器判别力不够强,下面分训练阶段和检测阶段分别讨论。

训练阶段,合成样本降低了判别能力。如果不加余弦窗,那么移位样本是长这样的:

SRDCF_第1张图片
除了那个最原始样本,其他样本都是“合成”的,100x100的图像块,只有1/10000的样本是真实的,这样的样本集根本不能拿来训练。如果加了余弦窗,由于图像边缘像素值都是0,循环移位过程中只要目标保持完整那这个样本就是合理的,只有目标中心接近边缘时,目标跨越边界的那些样本是错误的,这样虽不真实 但合理的样本数量增加到了大约2/3(padding= 1), 即使这样仍然有1/3(3000/10000)的样本是不合理的,这些样本会降低分类器的判别能力。再者,加余弦窗不是“免费的”,余弦窗将图像块的边缘区域像素全部变成0,大量过滤掉分类器本来非常需要学习的背景信息,原本训练时判别器能看到的背景信息就非常有限,我们还加了个余弦窗挡住了背景,这样进一步降低了分类器的判别力(是不是上帝在我前遮住了帘。。不是上帝,是余弦窗)。

检测阶段,相关滤波对快速运动的目标检测比较乏力。相关滤波训练的图像块和检测的图像块大小必须是一样的,这就是说你训练了一个100x100的滤波器,那你也只能检测100x100的区域,如果打算通过加更大的padding来扩展检测区域,那样除了扩展了复杂度,并不会有什么好处。

目标运动可能是目标自身移动,或摄像机移动,按照目标在检测区域的位置分四种情况来看:

1.如果目标在中心附近,检测准确且成功。
2.如果目标移动到了边界附近但还没有出边界,加了余弦窗以后,部分目标像素会被过滤掉,这时候就没法保证这里的响应是全局最大的,而且,这时候的检测样本和训练过程中的那些不合理样本很像,所以很可能会失败。
3.如果目标的一部分已经移出了这个区域,而我们还要加余弦窗,很可能就过滤掉了仅存的目标像素,检测失败。
4.如果整个目标已经位移出了这个区域,那肯定就检测失败了。
以上就是边界效应(Boundary Effets),接下来简单介绍解决边界效应的方法,再次强调这些方法速度比较慢,相关滤波傲视群雄的高速已经不见了,但换来了可以匹敌深度学习方法的性能。

首先是VOT2015中最亮眼的相关滤波方法,Martin Danelljan大牛的SRDCF Learning Spatially Regularized Correlation Filters for Visual Tracking,主要思路:既然边界效应发生在边界附近,那就忽略所有移位样本的边界部分像素,或者说让边界附近滤波器系数为接近零:
Danelljan M, Hager G, Shahbaz Khan F, et al. Learning spatially regularized correlation filters for visual tracking [C]// ICCV. 2015.
SRDCF基于DCF,类SAMF多尺度采用更大的检测区域(padding = 4)同时加入空域正则化,惩罚边界区域的滤波器系数,优化目标如下
用户上传的图片

空域正则化函数w,传统DCF响应和SRDCF响应对比图如下(来自论文):
SRDCF_第2张图片

边界效应发生在原始样本目标中心循环移位到边缘附近时,所以越靠近边缘区域,正则化系数越大,惩罚并抑制这里的滤波器系数(有意忽略边界附近的样本值)。
注意区分余弦窗是加在原始图像块上的,之后进行移位产生样本集;而空域正则化是加在样本集中每个移位样本上的。
加正则项这种方法属于伤筋动骨类方法,破坏了DCF的封闭解,所以SRDCF采用高斯-塞德尔方法迭代求解最优化,这也是是导致SRDCF比较慢的原因。
padding=4检测和训练图像块更大,为了减小计算量SRDCF控制滤波器的大小不超过50*50,虽然速度只有5FPS,但实测对快速运动的提升非常明显。

你可能感兴趣的:(SRDCF)