【目标跟踪: 相关滤波器 二】岭回归（正则化最小二乘分类器）

前言

首先说声抱歉，之前的【目标跟踪: 相关滤波器 一】挖坑太深，从五月份发完小论文之后就开始搞DSP了，过完暑假又开始找工作，写毕业论文，在学院里兼职又搞的我很忙，一直没能静下心来写博客。直到现在，毕业论文已提交送审，导师又暂时没啥事找我，纯粹的自由时间，才有功夫把毕业论文中的内容摘出来，用markdown重写一遍，分享给大家。

另外说一下，我不是计算机专业出身，没上过正规的机器学习课程，有关这部分的知识全是看文献和大神博客学来的，我的基础知识并不扎实，文中理论若有错误，欢迎各位看官提出并指正，我不胜感激，也欢迎各位给我评论，我们可以相互学习，共同进步。

闲话说完，开始正题。

岭回归

通过检测实现跟踪（tracking-by-detection）的思想就是将目标跟踪的问题转化为前景与背景的二分类问题。对于给定的训练样本集 {(xi,yi),i=1,2,⋯,l} ，通过寻找正则风险最小化（regularized risk minimization）参数来训练分类器。通常情况下，其线性分类器的形式为：

f(xi)=⟨w,xi⟩+b(1)

其中 ⟨⋅,⋅⟩ 表示点积运算， w 为待求参数向量， b 为偏移常数，在实际应用中通常将 增广一个常数为1的项，从而将 b 划归为 w 的最后一个元素，故在表达式中可将其省略，简化为 f(xi)=⟨w,xi⟩ 。正则风险最小化问题可以表示为：

minw∑i=1mL(yi,f(xi))+λ∥w∥2(2)

其中， L(⋅) 表示损失函数， λ 是防止过拟合而设置的正则化参数。式(2)为一个通用框架，在SVM中，其损失函数采用合页损失 L(yi,f(xi))=max(0,1−yif(xi)) ，而在正则化最小二乘法(regularized least squares, RLS)中，又被称为岭回归(ridge regression, RR)，损失函数则使用二次损失 L(yi,f(xi))=(yi−f(xi))2 。根据样本是否线性可分，可以分为以下两种情况。

线性岭回归

在样本线性可分的情况下，设 X 为n个具有m个特征的样本集，第i个样本表示为 xi ， y 为对应 X 的n个样本类别标签，即 X 为n×m的矩阵， xi 为1×m的行向量， y 为n×1的列向量，则 w 是m×1的列向量，满足 yi≈f(xi)=⟨w,xi⟩=xiw 形式。对于正则风险最小化问题，令：

F(w)=∑i=1n(yi−f(xi))2+λ∥w∥2=(y−Xw)T(y−Xw)+λwTw

欲使 F(w) 值最小，仅需对 w 求导，并令其等于0，

dF(w)dw=(y−Xw)T(−X)+λwT=wT(XTX+λI)−yTX=0

由此得到线性岭回归的解为：

w=(XTX+λI)−1XTy(3)

当样本为频域数据时，该解的形式为：

w=(XHX+λI)−1XHy(4)

其中上标 (⋅)H 表示Hermitian转置，即共轭转置，形式为 XH=(X∗)T 。

核岭回归

当样本线性不可分时，可以通过引入核函数的方式，将样本投影到高维特征空间，从而使用线性回归的手段寻找非线性样本的最优分类面，这一点与SVM是一致的。
设映射函数为 φ(x) ，根据表示定理（Representer Theorem）[47]，该分类器的解可以表示为所有输入样本的线性组合，即：

w=∑i=1nαiφ(xi)

其中， α 为n×1的列向量，是正则化风险最小化问题在对偶空间中的待求参量，则对应样本的分类面为：

f(xj)=⟨w,φxj⟩=φ(xj)∑i=1nαiφ(xi)=∑i=1nαi⟨φ(xi)φ(xj)⟩

令 K 表示n×n的核函数矩阵，其中 Kij=κ(xi,xj)=⟨φ(xi),φ(xj)⟩ ，则正则风险最小化问题具有如下形式：

F(α)=∑j=1n(yj−∑i=1nαiκ(xi,xj))2+λ∑inαiφ(xi)∑jnαjφ(xj)=(y−Kα)T(y−Kα)+λαTKα

欲使 F(α) 取最小值，仅需对 α 求导，并令其等于0：

dF(α)dα=(y−Kα)T(−K+λαTK=−yTK+αTKTK+λαTK=0

由此得到核岭回归的解为：

α=(K+λI)−1y(5)