相关滤波的视觉目标跟踪算法学习

相关滤波的视觉目标跟踪算法学习内容
1.视觉目标跟踪的难点：
①训练数据有限。通用目标跟踪任务中，目标先验知识缺乏，仅有目标初始位置信息。
②目标不确定性。跟踪过程中， 随着目标尺寸、形状以及姿态等变化，其外观模 型存在明显差异；多目标跟踪任务中，当目标进出视野或者完全遮挡时，目标数量存在不确定性。
③场景复杂性。在实际场景中存在光照变化、 背景杂乱、遮挡以及图像分辨率低等挑战
2.视觉目标跟踪算法主体框架：
①运动模型：确定目标搜索的候选
②特征提取：对目标或背景进行外观建模
③观测模型：根据目标或背景的外观模型，判断候选区域是否为目标区域
④模型更新：确定外 观模型和观测模型的更新策略
3.视觉目标跟踪算法类型：
①生成式跟踪算法：生成式跟踪算法对目标进行外观建模，利用跟踪序列中目标外观模型的相似性进行目标定位，选择与目标模板具有最大相似性或最小重建误差的候选区域作为跟踪结果。例如：粒子滤波、光流法、均值移位算法以及高斯混合模型
②判别式跟踪算法：对目标和背景同时进行外观建模，将跟踪任务视为目标和背景的分类问题，选择分类器输出最大值对应的候选区域作为跟踪结果。 基于支持向量机(SVM)、多示例学习、随机森林、在线 Boosting等经典分类器的跟踪算法以及基于相关滤波的跟踪算法。
4.相关滤波目标跟踪算法：
相关滤波跟踪算法基于相关性理论，构造相关滤波器作为在线分类器，通过在目标搜索区域 内对目标和背景进行分类，实现对目标的定位跟踪。其流程为：候选样本获取、特征提取、目标定位、模型更新。如下图

（1）最小输出误差平方和跟踪算法(MOSSE)
MOSSE算法采用灰度特征，根据上一帧目 标位置提取目标候选区域，通过构造相关滤波器 实现目标跟踪，并在频域加速计算。
（2）核相关滤波跟踪算法(KCF)
KCF算法在MOSSE算法的基础上，采用具有多维数据的方向梯度直方图（HOG）特征，利用循环移位采样构造密集样本，克服了MOSSE算法训练样本过少的问题，加入正则化项，防止相关滤波器过拟合，完成了相关滤波跟踪算法基本框架的搭建.
（3）空间正则化相关滤波跟踪算法(SRDCF)
采用较大的目标搜索区域，利用从中心区域到边缘区域平滑增大的滤波器系数约束权重，对远离中心区域的滤波器系数进行惩罚，使相关滤波器主要关注于样本的中心区域、忽略样本的边缘区域，从而抑制边界效应。(算法目的：实现对边界效应的抑制）
（4）基于时空正则化的相关滤波跟踪算法(STRCF)
利用时间 正则化近似多幅图像情况，将基于多幅图像的训练有效简化为基于单幅图像的训练，使得算法可利用交替方向乘子法对相关滤波器系数进行求 解，提高了跟踪速度。该方法相对 SRDCF 算法而言，大大降低了计算复杂度，但其仍沿用固定的空间正则化系数，不能根据跟踪的目标进行灵活调整。
（5）基于自适应空间正则化的相关滤波跟踪算法(ASRCF)
该算法联合训练滤波器系数和约束权重，使得约束权重能根据目标外观变化及时进行调整，更有针对性地抑制低可靠性区域的滤波器系数。针对预设空间约束权重先验性强、不能良好适应未知应用场景的问题。
（6）有限边界相关滤波跟踪算法(LBCF)
采用小尺寸相关滤波器，通过掩膜矩阵对其隐性补零扩 充，使相关滤波器能部分忽略循环移位样本的边界区域，在一定程度上缓解边界效应
（7）基于通道和空间可靠性的相 关滤波跟踪算法(CSR_DCF)
利用颜色直方图信息对图像的空间可靠性进行 判断，根据空间可靠性生成二进制掩膜矩阵，利用该矩阵对相关滤波器系数进行限制。该方法本质上也是一种空间正则化方法，但由于采用了由 0，1 组成的约束权重，使其既克服了边界效应， 也隐性打破了目标搜索区域矩形框形状预设的限制。
（8）无监督深度跟踪算法(UDT)
利用大规模无标注视频数据对深度卷积神经网络进行无监督训练，使其更贴合跟踪任务。该算法基于稳健跟踪器的前向跟踪和后向跟踪应同时可靠的预设，在孪生相关滤波网络基础上，采用多帧验证方法和对代价敏感的损失函数训练网络，使网络提取的深度特征更适合目标跟踪。
（9）群特征选择相关滤波跟踪算法 (GFS-DCF)
根据多通道特征的空间一致性，跨越空间维度和特征通道维度进行群特征选择，学习具有空间-通道群稀疏性的相关滤波器，实现了从空间维度和特征通道维度对特征进行压缩.
（10）尺度空间判别跟踪算法 (DSST)
利用二维平移相关滤波器确定目标位置，然后在此基础上，构造具有33个尺度的图像金字塔，利用一维尺度相关滤波器进行检测，根据尺度相关滤波器最大响应值确定目标尺寸
（11）多特征自适应尺度跟踪算法(SAMF)
首先构造具有7个尺度的图像金字塔， 然后利用相关滤波器检测，根据目标响应最大值，同时确定目标的位置和尺寸。
（12）多线索相关滤波跟踪算法 (MCCT)
根据不同特征组合构成多专家跟踪系统，通过多专家间分歧大小确定跟踪结果置信度，分歧小时，表明跟踪结果可靠性高。
（13）互补学习跟踪算法 (Staple)
将基于颜色直方图的跟踪模型和 基于 HOG 特征的相关滤波跟踪模型融合。
（14）基于卷积残差学习的视觉跟 踪算法(CREST)
将相关滤波器转化为一个深度神经网络卷积层，通过空间域卷积操作实现相关性运算，避免了样本周期性假设和循环移位采样，从根本上消除了边界效应；相关滤波卷积层 完全可微分，通过网络单向传播更新相关滤波器，克服了经验插值更新方式难以在模型自适应和稳定性之间取得良好平衡的问题；利用残差学习获取目标的外观变化，有效缓解了目标显著外观变化导致的模型快速退化问题。
（15）相关滤波网络跟踪算法 (DCFNet)
该算法将相关滤波器视作添加在孪生网络后的一个特殊网络层，该层输出定义为目标位置概率图，模型更新通过该层反向传 播实现，深度特征提取和相关滤波跟踪可端到端进行训练。由于相关滤波网络层的反向传播仍然通过频域中的点乘运算实现，该算法即保留了相关滤波跟踪算法的高效性，也受益于网络端到端训练。
（16）基于空间对齐的相关滤波网络(SACFNet)
该算法利用空间对准模块的空间对齐功能，将目标从边界区域转换到具有标准化纵 横比的区域中心，缩小目标搜索空间，有效应对了边界效应和目标纵横比变化。