(SPBACF)Robust Scalable Part-Based Visual Tracking for UAV with Background-Aware Correlation Filter

---

原文链接：https://ieeexplore.ieee.org/document/8665251
原文代码：https://github.com/vision4robotics/SPBACF-Tracker

1 主要贡献

该算法将要跟踪的对象最初划分成多个部分，并且不同的背景感知相关滤波器分别应用于这些划分的对象部分。 提出了一种有效的具有结构比较和贝叶斯推断的从粗到细策略，用于定位物体并估计物体的尺度变化。 另外，提出了自适应阈值，以使用高斯过程回归方法更新每个局部外观模型。如下图：

2 公式分析

首先，滤波器训练

其中，$\mathbf{\epsilon }\left(\mathbf{w},\hat{\mathbf{g}}\right)$表示在傅立叶域中，为获得所需的滤波器参数w

$\hat{\mathbf{y}}$是矢量化的高斯回归标签。

下标d表示D个特征信道的第d个

${\hat{\mathbf{X}}}_{\mathbf{d}}$定义为：${\hat{\mathbf{X}}}_{\mathbf{d}}=\text{diag}\left({\hat{\mathbf{x}}}_{\mathbf{d}}\right)$

$\hat{\mathbf{g}}$是辅助变量，可以表示为${\hat{\mathbf{g}}}_{\mathbf{d}}=\mathcal{F}\left({\mathbf{B}}^{\mathbf{T}}{\mathbf{w}}_{\mathbf{d}}\right)$

头上的小帽子^代表离散傅里叶变换

替代公式为${\hat{\mathbf{g}}}_{\mathbf{d}}=\sqrt{\mathbf{N}}{\mathbf{F}\mathbf{B}}^{\mathbf{T}}{\mathbf{w}}_{\mathbf{d}}$其中F是傅立叶变换的正交N×N映射矩阵

M×N二进制矩阵B实现了裁剪操作，该操作可以从大小为N的原始信号中裁剪出M个中间元素。表示矩阵或矢量的共轭转置。 λ是Tikhonov正则项的系数。 为了解决等式中闭式解方案的不足。 在公式1中，应用了增强的拉格朗日方法（ALM）。 特定的拉格朗日函数无需单通道表示即可重新得出：

其中，$\mathbf{\mu }$是折衷惩罚参数

$\hat{\mathbf{\zeta }}$是傅立叶域中的拉格朗日参数

${\mathbf{I}}_{\mathbf{K}}$是K×K单位矩阵

使用Kronecker乘积$\otimes$，重新定义的项为${\sum }_{\mathbf{D}}{\hat{\mathbf{X}}}_{\mathbf{d}}{\hat{\mathbf{g}}}_{\mathbf{d}}=\sqrt{\mathbf{N}}\hat{\mathbf{X}}\left({\mathbf{F}\mathbf{B}}^{\mathbf{T}}\otimes {\mathbf{I}}_{\mathbf{K}}\right)\mathbf{w}$

等式中的ALM问题。 可以通过交替方向乘子法（ADMM）迭代求解2。 这个主要问题可以分为两个子问题，分别可以得到解析解${\mathbf{w}}^{\ast }$和${\hat{\mathbf{g}}}^{\ast }$。 此外，凭借稀疏的带状特性？和Sherman-Morrison公式，ADMM迭代可以实现实时跟踪的性能。

再者，物体检测
使用新的图像块${\mathbf{z}}^{\mathbf{t}}$和辅助变量${\hat{\mathbf{g}}}^{\mathbf{t}-1}$估计帧t中跟踪物体的位置和尺度变化。 使用搜索区域的多种分辨率，可以确定最大相关滤波器响应，以便估计对象位置和比例变化：

其中${\hat{\mathbf{s}}}^{\mathbf{t}}$是跟踪对象的预测位置和比例变化。 $\odot$表示逐元素乘积。

最后进行滤波器更新

其中${\tilde{\mathbf{x}}}^{\mathbf{t}}$是从${\mathbf{x}}^{\mathbf{t}}$和${\tilde{\mathbf{x}}}^{\mathbf{t}-1}$获得的外观模型。 $\mathbf{\alpha }$是恒定的学习率。

如图2所示，跟踪对象分为多个部分。 对于每个部分，使用独立的分类器（即BACF）来提供局部响应图拟合。 最后，将这些局部响应图融合到联合响应图${\mathbf{f}}_{\mathbf{t}}$中以定位跟踪对象。 为了提高无人机跟踪的鲁棒性，基于两个参数设计了自适应权重，即每个局部响应图的重要性：（1）峰旁瓣比（PSR）：它评估响应图的清晰度。 （2）置信图的平滑约（SCCM）：它评估响应图的平滑性。
每个部分的自适应权重${\mathbf{\beta }}_{\mathbf{i}}^{\mathbf{t}}$定义为：

其中$\mathbf{\gamma }$是响应图的清晰度和时间平滑度之间的折衷参数。

${\mathbf{S}\mathbf{C}\mathbf{C}\mathbf{M}}_{\mathbf{i}}^{\mathbf{t}}$是第t个图像帧上第i个响应图的平滑度。

${\mathbf{P}\mathbf{S}\mathbf{R}}_{\mathbf{i}}^{\mathbf{t}}$是第t个图像帧上第i个响应图的清晰度。

将不同的本地响应图与相应的自适应权重相结合的联合响应图${\mathbf{f}}^{\mathbf{t}}$定义为：

接下来，是一种从粗到细策略的新方法来估计跟踪对象的位置和尺度变化。

具体而言，首先比较两个连续帧上的跟踪对象的结构，以估计初始位置和尺度变化，然后使用贝叶斯推理框架获取最终的对象位置和尺度变化。

结构比较：获得联合响应图后，根据局部响应图估计跟踪对象的粗略位置和尺度变化。 为了实现粗略估计，应用所有部分的位移矢量以获得对象平移的结果。 详细地，利用移位向量${\mathbf{v}}_{\mathbf{i}}^{\mathbf{t}}$及其信任分数${\mathbf{w}}_{\mathbf{i}}^{\mathbf{t}}=\frac{{\mathbf{\beta }}_{\mathbf{i}}^{\mathbf{t}}}{\sum {\mathbf{\beta }}_{\mathbf{j}}^{\mathbf{t}}}$来计算转换。 跟踪对象${\mathbf{v}}^{\mathbf{t}}$的移动向量定义为：
在等式7中，较高的${\mathbf{w}}_{\mathbf{i}}^{\mathbf{t}}$表示此部分的较高信任级别。 跟踪对象的平移由可靠部分的位移矢量确定。 减少了被遮挡部分的影响，以保持跟踪的鲁棒性。

为了估计尺度变化，作者提出了一种基于所有局部响应图的结构的方法。 在这种方法中，跟踪对象的比例变化可以参考其可靠的本地响应图的分布。

令${\mathbf{e}}_{\mathbf{i}}=||{\mathbf{v}}_{\mathbf{i}}^{\mathbf{t}}-{\mathbf{v}}^{\mathbf{t}}||$为误差。 计算这些误差的标准偏差${\mathbf{\sigma }}_{\mathbf{e}}$代表向量${\mathbf{v}}_{\mathbf{i}}^{\mathbf{t}}$分布的程度，作为选择可靠的局部响应图的阈值。 如果${\mathbf{e}}_{\mathbf{i}}>{\mathbf{\sigma }}_{\mathbf{e}}$，则相应的本地响应图将不可靠并被丢弃。

令${\mathbf{\sigma }}_{\mathbf{s}}^{\mathbf{t}}$和${\mathbf{\sigma }}_{\mathbf{s}}^{\mathbf{t}-1}$表示在帧t和t-1处可靠局部响应图的峰值位置的标准偏差，跟踪对象的尺度变化的粗略估计为${\mathbf{\sigma }}_{\mathbf{s}}^{\mathbf{t}}$与${\mathbf{\sigma }}_{\mathbf{s}}^{\mathbf{t}-1}$的比，即$\frac{{\mathbf{\sigma }}_{\mathbf{s}}^{\mathbf{t}}}{{\mathbf{\sigma }}_{\mathbf{s}}^{\mathbf{t}-1}}$。

在这项工作中，跟踪位置和尺度的变化首先通过位移矢量${\mathbf{v}}^{\mathbf{t}}$和比率$\frac{{\mathbf{\sigma }}_{\mathbf{s}}^{\mathbf{t}}}{{\mathbf{\sigma }}_{\mathbf{s}}^{\mathbf{t}-1}}$进行更新。

贝叶斯推理框架：在此框架中，使用从结构比较中获得的初始结果来估计最终对象的位置和尺度变化。 对象的状态${\mathbf{s}}^{\mathbf{t}}$用仿射运动表示，定义为：
其中${\mathbf{z}}^{1:\mathbf{t}}$是相对于联合置信度图的测量集，即${\mathbf{z}}^{1:\mathbf{t}}=\left\{{\mathbf{z}}_{\mathbf{i}},\mathbf{i}=1,\cdots ,\mathbf{k}\right\}$。${\mathbf{s}}_{\mathbf{j}}^{\mathbf{t}}$是第j个样本的状态。

为了模拟跟踪过程，使用了Chapman-Kolmogorov方程，即：
其中，$\mathbf{p}\left({\mathbf{s}}^{\mathbf{t}}|{\mathbf{s}}^{\mathbf{t}-1}\right)$被定义为：
其中${\tilde{\mathbf{s}}}^{\mathbf{t}-1}$是基于上文的结构比较 的位置和尺度的粗略估计。 $\Psi$表示对角协方差矩阵，其元素是仿射参数的方差。

公式9中的测量模型$\mathbf{p}\left({\mathbf{z}}^{\mathbf{t}}|{\mathbf{s}}^{\mathbf{t}}\right)$定义为：
其中${\mathbf{M}}^{\mathbf{t}}$表示余弦窗口空间掩码，其峰值取决于局部响应图的最大值。$|\cdot |$是相应边界框中的像素数。 ${\mathbf{f}}^{\mathbf{t}}\left({\mathbf{s}}_{\mathbf{j}}^{\mathbf{t}}\right)$是来自联合响应图的状态${\mathbf{s}}_{\mathbf{j}}^{\mathbf{t}}$的响应patch。

计算公式8中的最大后验$\mathbf{p}\left({\mathbf{s}}^{\mathbf{t}}|{\mathbf{z}}^{1:\mathbf{t}}\right)$等于获得似然性$\mathbf{p}\left({\mathbf{z}}^{\mathbf{t}}|{\mathbf{s}}^{\mathbf{t}}\right)$的最大值。 在工作中应用了响应图来计算似然性，从而大大简化了计算。 在图4中，直接针对每个采样候选者在边界框中计算响应分数的总和

再利用高斯过程回归更新分类器

提出了一种新颖的自适应阈值来更新每个局部外观模型，即分类器。 在这项工作中，我们使用高斯过程回归（GPR）对PSR和SCCM之间的关系进行建模，以实现自适应更新。 该关系被公式化为一组函数，即$\mathbf{g}:\mathbf{a}\in \mathbb{R}\to \mathbf{g}\left(\mathbf{u}\right)\in \mathbb{R}$，其中$\mathbf{u}={\mathbf{P}\mathbf{S}\mathbf{R}}_{\mathbf{i}}^{\mathbf{t}}$和$\mathbf{g}\left(\mathbf{u}\right)={\mathbf{S}\mathbf{C}\mathbf{C}\mathbf{M}}_{\mathbf{i}}^{\mathbf{t}}$ 高斯过程（GP）模型描述了此功能集的分布：

其中$\mathcal{G}\mathcal{P}$表示高斯过程。 $\mathbf{m}\left(\mathbf{u}\right)$和$\mathbf{G}\left(\mathbf{u},{\mathbf{u}}^{\prime }\right)$是这套函数的均值函数和协方差函数。 此协方差函数指定了${\mathbf{P}\mathbf{S}\mathbf{R}}_{\mathbf{i}}$对之间的协方差：

其中${\mathbf{\sigma }}_{\mathbf{f}}$和$\mathbf{l}$是超参数。 $\mathbf{q}$和${\mathbf{q}}^{\prime }$是输入，即${\mathbf{P}\mathbf{S}\mathbf{R}}_{\mathbf{i}}$值。 在对原始输入${\mathbf{P}\mathbf{S}\mathbf{R}}_{\mathbf{i}}$和输出${\mathbf{S}\mathbf{C}\mathbf{C}\mathbf{M}}_{\mathbf{i}}$进行归一化之后，对于帧t的每个跟踪部分i的函数的零均值分布由以下预测公式表示：

其中$\mathbf{y}=\mathbf{g}\left(\mathbf{a}\right)+\mathbf{ϵ}$是y的元素，是所有函数的有噪声的观测值。

$\mathbf{ϵ}$是具有方差矩阵${\mathbf{\sigma }}_{\mathbf{n}}^2\mathbf{I}$的高斯噪声。

${\mathbf{a}}_{\ast }$是${\mathbf{P}\mathbf{S}\mathbf{R}}_{\mathbf{i}}^{\mathbf{t}}$的归一化值，向量a的元素是先前${\mathbf{P}\mathbf{S}\mathbf{R}}_{\mathbf{i}}$的归一化值。

${\mathbf{g}}_{\ast }$是${\mathbf{S}\mathbf{C}\mathbf{C}\mathbf{M}}_{\mathbf{i}}^{\mathbf{t}}$的归一化值。

为了提高更新性能，我们仅从$\mathbf{t}-{\mathbf{t}}_{\mathbf{r}}$到$\mathbf{t}-1$帧中选择a和y，其中${\mathbf{t}}_{\mathbf{r}}$是输入存储器的长度。

这种方法使GP模型更多地关注于最近的输入，而舍弃了较远的输入。

$\mathbf{K}\left(\cdot ,\cdot \right)$和$\mathbf{k}\left(\cdot ,\cdot \right)$分别表示输入的协方差矩阵和向量。

描述函数分布的关键预测方程为：

其中${\bar{\mathbf{g}}}_{\ast }$和$\mathbb{V}\left({\mathbf{g}}_{\ast }\right)$分别是条件分布的均值和方差。

利用这些参数，构建了SCCM的有效区域。

此区域的上限为${\bar{\mathbf{g}}}_{\ast }+2\sqrt{\mathbb{V}\left({\mathbf{g}}_{\ast }\right)}$，下限为零。

在此基础上，将帧t处的外观模型i的更新方案定义为：

其中，$\mathbf{\alpha }$是控制外观模型更新的学习率。

当计算的${\mathbf{S}\mathbf{C}\mathbf{C}\mathbf{M}}_{\mathbf{i}}^{\mathbf{t}}$位于有效区域中时，${\tilde{\mathbf{x}}}_{\mathbf{i}}^{\mathbf{t}}$将被更新。 否则，将不会更改。

提出的用于更新分类器的自适应阈值能够帮助我们的跟踪器获得更好的跟踪性能，中心位置误差（CLE为ground-truth与估计物体中心之间的欧几里得 距离，如图5所示。