相关滤波跟踪·KCF公式详细推导

因为KCF算法和CSK基本一样，因此关于KCF的笔记仅记录从section 4 开始的公式推导和理解。
为了表述清楚，本文所有小写加粗符号表示列向量，小写不加粗表示元素或参量，大写符号表示矩阵。

4 Building blocks

4.1 Linear regression

通过岭回归（ridge regression）或支持向量机（SVM）
$$\underset{\mathbf{w}}{\min }\sum _i^n(f({\mathbf{x}}_i)-y_i{)}^2+\lambda \Vert \mathbf{w}{\Vert }^2$$
分类器$f({\mathbf{x}}_i)={\mathbf{w}}^T{\mathbf{x}}_i$
所以上式$$\begin{array}{rl}& =\underset{\mathbf{w}}{\min }\sum _i^n({\mathbf{w}}^T{\mathbf{x}}_i-y_i{)}^2+\lambda \Vert \mathbf{w}{\Vert }^2\\ & =\underset{\mathbf{w}}{\min }\Vert X\mathbf{w}-\mathbf{y}{\Vert }^2+\lambda \Vert \mathbf{w}{\Vert }^2\\ & =(X\mathbf{w}-\mathbf{y}{)}^T(X\mathbf{w}-\mathbf{y})+\lambda {\mathbf{w}}^T\mathbf{w}\end{array}$$
接下来是矩阵的求导，这里是分子布局(numerater layout)的标量/向量情况
$$\begin{array}{rl}\frac{\partial [...]}{\partial \mathbf{w}}& =2(X\mathbf{w}-\mathbf{y}{)}^T\frac{\partial }{\partial \mathbf{w}}(X\mathbf{w}-\mathbf{y})+2\lambda {\mathbf{w}}^T\\ & =2(X\mathbf{w}-\mathbf{y}{)}^T\frac{\partial }{\partial \mathbf{w}}(X\mathbf{w})+2\lambda {\mathbf{w}}^T\\ & =2(X\mathbf{w}-\mathbf{y}{)}^{T}X+2\lambda {\mathbf{w}}^T\end{array}$$
令$\frac{\partial [...]}{\partial \mathbf{w}}=0$，有
$$\begin{array}{r}{\mathbf{w}}^T{X}^{T}X-{\mathbf{y}}^{T}X+\lambda {\mathbf{w}}^T=0\\ {\mathbf{w}}^T(X^{T}X+\lambda I)={\mathbf{y}}^{T}X\\ {\mathbf{w}}^T=(X{X}^T+\lambda I{)}^{-1}{\mathbf{y}}^{T}X\\ \mathbf{w}=(X{X}^T+\lambda I{)}^{-1}{X}^T\mathbf{y}\end{array}$$
因为后续会变换到傅里叶域，所以将$X^T$处理为$(X^{\ast }{)}^T$，记为$X^H$，所以$$\mathbf{w}=(X{X}^H+\lambda I{)}^{-1}{X}^H\mathbf{y}$$

4.2 Cyclic shift 4.3 Circulant matrics

引入循环矩阵增加样本量，首先讨论一维样本$\mathbf{x}$的情况（n*1)

$P\mathbf{x}=[x_n{x}_1{x}_2......x_{n-1}{]}^T$
$\left\{\begin{array}{c}{P}^u\mathbf{x}|u=0,1,2,...,n\end{array}\right\}$

u<[n/2]往正方向移动，u>[n/2]往相反方向移动，u>n循环为i=1的情况。
其循环位移的结果可以由图片简式

每一行都是上一行通过位移矩阵P位移一个元素的结果。
$$X=C(\mathbf{x})=\left[\begin{array}{c}(p^0\mathbf{x}{)}^T\\ (p^1\mathbf{x}{)}^T\\ (p^2\mathbf{x}{)}^T\\ ⋮\\ (p^n\mathbf{x}{)}^T\end{array}\right]={\left[\begin{array}{cccccc}{p}^0\mathbf{x}& p^1\mathbf{x}& p^2\mathbf{x}& p^0\mathbf{x}& \cdots & p^n\mathbf{x}\end{array}\right]}^T$$
顺便一提，一维样本通过循环位移形成二维的循环矩阵，二维样本通过循环位移成为四维的循环矩阵（可以形象地理解为二维图片的处理有两个自由度（上下方向、左右方向），处理后的许多样本图片再堆叠起来）。

引入循环矩阵是将原来${\mathbf{x}}_{\mathbf{i}}$样本扩充为$C({\mathbf{x}}_{\mathbf{i}})$,增加样本数，提高准确率，但这样计算量不是大大增加吗，为什么还能简化运算？
之所以引入循环矩阵，还是为了利用循环矩阵的傅里叶对角化特性，将其转入傅里叶域加快计算。（其他特性及证明这里不多赘述）$$（1）X=C(\mathbf{x})=F\cdot diag(\hat{\mathbf{x}})\cdot F^H$$
$diag$是保留对角化元素形成矩阵（这里是矩阵，不是向量）；相对文章简化一下，令$F\cdot \mathbf{x}=\hat{\mathbf{x}}$ ；$F{F}^H=F^{H}F=I$

$$（2）C(\mathbf{x})\mathbf{y}=F^{-1}(F^{\ast }(\mathbf{x})\cdot F(\mathbf{y}))$$这个性质实质上是由上个式子推导得到。

4.4 Putting it all together

$$X=F\cdot diag(\hat{\mathbf{x}})\cdot F^H$$
$$X^H=(F^H{)}^H\cdot diag({\hat{\mathbf{x}}}^{\ast })\cdot F^H=F\cdot diag({\hat{\mathbf{x}}}^{\ast })\cdot F^H$$
$$\begin{array}{rl}{X}^{H}X& =F\cdot diag({\hat{\mathbf{x}}}^{\ast })\cdot (F^H\cdot F)\cdot diag(\hat{\mathbf{x}})\cdot F^H\\ & =F\cdot diag({\hat{\mathbf{x}}}^{\ast })\cdot diag(\hat{\mathbf{x}})\cdot F^H\\ & =F\cdot diag({\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}})\cdot F^H\end{array}$$
设$$I=C\left(\delta \right),\delta ={\left[\begin{array}{ccccc}1& 0& 0& ...& 0\end{array}\right]}^T,\hat{\delta }=1$$
$$C(\delta )=F\cdot diag(\hat{\delta })\cdot F^H=FI{F}^H$$
$$\begin{array}{rl}\mathbf{w}& =(X{X}^H+\lambda I{)}^{-1}{X}^H\mathbf{y}\\ & =(X^{H}X+\lambda C(\delta ){)}^{-1}{X}^H\mathbf{y}\\ & =(F\cdot diag({\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}})\cdot F^H+\lambda FI{F}^H{)}^{-1}{X}^H\mathbf{y}\\ & =(Fdiag({\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}+\lambda )F^H{)}^{-1}{X}^H\mathbf{y}\\ & =(Fdiag({\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}+\lambda {)}^{-1}{F}^H)X^H\mathbf{y}\\ & =Fdiag({\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}+\lambda {)}^{-1}(F^{H}F)diag({\hat{\mathbf{x}}}^{\ast })F^H\mathbf{y}\\ & =Fdiag(\frac{{\hat{\mathbf{x}}}^{\ast }}{{\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}+\lambda })F^H\mathbf{y}\\ & \\ & =C(F^{-1}(\frac{{\hat{\mathbf{x}}}^{\ast }}{{\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}+\lambda }))\mathbf{y}\\ & \\ & =F^{-1}(F^{\ast }(F^{-1}(\frac{{\hat{\mathbf{x}}}^{\ast }}{{\hat{\mathbf{x}}}^{\ast }\odot \hat{\mathbf{x}}+\lambda }))\odot F(\mathbf{y}))\\ & \\ & =\frac{\hat{\mathbf{x}}}{\hat{\mathbf{x}}\odot {\hat{\mathbf{x}}}^{\ast }+\lambda }\odot F(\mathbf{y})\\ & \\ & =\frac{\hat{\mathbf{x}}\odot \hat{\mathbf{y}}}{\hat{\mathbf{x}}\odot {\hat{\mathbf{x}}}^{\ast }+\lambda }\end{array}$$

4.5 relationship to correlation filter

之前已经总结过，这里不赘述。
相关滤波跟踪·MOSSE算法的梳理
相关滤波跟踪·CSK算法梳理（巨详（啰）细（嗦））

5. Non-linear regression

5.1 kernel trick - brief overview

第四部分讨论的是样本线性可分的情况的，当样本线性不可分时，将样本映射到高维空间使线性可分。
但不仅这个映射关系复杂无规律，而且在高维空间的点乘计算量巨大，易产生“维数灾难”，所以利用核函数技巧（kernel trick），通过一些特殊的核函数将高维空间的运算等同到低维空间来。
这部分具体解释见SVM学习整理·结合CSK\KCF

映射关系${\mathbf{x}}_i\to \phi ({\mathbf{x}}_i)$
分类器权重$\mathbf{w}$的线性组合$\mathbf{w}={\sum }_j^n{\alpha }_j\phi ({\mathbf{x}}_j)$
岭回归表示为$$\begin{array}{rl}& \min \sum _i(f(\phi ({\mathbf{x}}_i))-y_i{)}^2+\lambda \Vert \mathbf{w}{\Vert }^2\\ =& \min \sum _i(\sum _j{\alpha }_j{\phi }^T({\mathbf{x}}_j)\phi ({\mathbf{x}}_i)-y_i{)}^2+\lambda \Vert \mathbf{w}{\Vert }^2\\ =& \min ({\phi }^T(X)\phi (X)\mathbf{\alpha }-{\mathbf{y}}_i{)}^2+\lambda {\mathbf{\alpha }}^T{\phi }^T(X)\phi (X)\mathbf{\alpha }\end{array}$$
$(here,X_{ij}={\mathbf{x}}_i^T{\mathbf{x}}_j)$
令$$\begin{array}{rl}& K={\phi }^T(X)\phi (X)\\ & \\ & K_{ij}={\phi }^T({\mathbf{x}}_i)\phi ({\mathbf{x}}_j)=\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)\end{array}$$

5.2 fast kernel regression

现引入循环操作矩阵$P$(此处有附录A.2证明$K$可以随$X$是循环矩阵而是循环矩阵的证明过程：$X$是（j-i)%n的循环，$K$也是（j-i)%n的循环)
$$\begin{array}{rl}& {\mathbf{x}}_i=P^i\mathbf{x}\\ & {\mathbf{x}}_j=P^j\mathbf{x}\\ & \\ & K_{ij}={\phi }^T(P^i\mathbf{x})\phi (P^j\mathbf{x})=\kappa (P^i\mathbf{x},P^j\mathbf{x})=\kappa (p^{-i}{P}^i\mathbf{x},p^{-i}{P}^j\mathbf{x})=\kappa (\mathbf{x},P^{j-i}\mathbf{x})\end{array}$$(此处利用了文中定理1）
现在，已知$K$是循环矩阵，那么求他的生成向量，也就是求这个矩阵的第一行。
即，令$i=1$,$K_{1j}==\kappa (\mathbf{x},P^{j-1}\mathbf{x})$，也表示为
$${\mathbf{k}}_i^{\mathbf{x}\mathbf{x}}={\phi }^T(\mathbf{x})\phi (P^{i-1}\mathbf{x})=\kappa (\mathbf{x},P^{i-1}\mathbf{x})$$

回到求解滤波器上，即求解$\alpha$
$$\begin{array}{rl}\mathbf{\alpha }=& (K+\lambda I{)}^{-1}\mathbf{y}\\ & =(C({\mathbf{k}}^{\mathbf{x}\mathbf{x}})+\lambda I{)}^{-1}\mathbf{y}\\ & =(Fdiag({\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}})F^H+\lambda Fdiag(\hat{\delta })F^H{)}^{-1}\mathbf{y}\\ & =(Fdiag({\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda {)}^{-1}{F}^H)\mathbf{y}\end{array}$$
两边同乘以$F^H$
$$\begin{array}{rl}{F}^H\mathbf{\alpha }& =diag({\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda {)}^{-1}{F}^H\mathbf{y}\\ {\hat{\mathbf{\alpha }}}^{\ast }& =diag(\frac{1}{{\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda }){\hat{\mathbf{y}}}^{\ast }\\ & =\frac{{\hat{\mathbf{y}}}^{\ast }}{{\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{x}}+\lambda }\end{array}$$

5.3 fast detection

这部分只是把其中一个样本$\mathbf{x}$换成在该帧中上一帧的位置取的图像$\mathbf{z}$
$$\hat{\mathbf{y}}=\hat{\mathbf{f}}(\mathbf{z})={\hat{\mathbf{k}}}^{\mathbf{x}\mathbf{z}}\hat{\mathbf{\alpha }}$$

6 fast kernel correlation

这部分讲了符合循环矩阵的几种核函数的具体形式

6.1 dot-product and polynomial kernels

6.2 Radial Basis Function and Guassian kernels

6.3 other kernels

eg:intersection kernel

KCF的公式推导笔记基本上就是这样，欢迎讨论。

[181118]
%这周先交差，第五部分第六部分明天再写
[181122]
%线性回归里的下标就是循环产生的虚拟样本