【目标跟踪: 相关滤波器 二】岭回归(正则化最小二乘分类器)

前言

首先说声抱歉,之前的【目标跟踪: 相关滤波器 一】挖坑太深,从五月份发完小论文之后就开始搞DSP了,过完暑假又开始找工作,写毕业论文,在学院里兼职又搞的我很忙,一直没能静下心来写博客。直到现在,毕业论文已提交送审,导师又暂时没啥事找我,纯粹的自由时间,才有功夫把毕业论文中的内容摘出来,用markdown重写一遍,分享给大家。

另外说一下,我不是计算机专业出身,没上过正规的机器学习课程,有关这部分的知识全是看文献和大神博客学来的,我的基础知识并不扎实,文中理论若有错误,欢迎各位看官提出并指正,我不胜感激,也欢迎各位给我评论,我们可以相互学习,共同进步。

闲话说完,开始正题。

岭回归

通过检测实现跟踪(tracking-by-detection)的思想就是将目标跟踪的问题转化为前景与背景的二分类问题。对于给定的训练样本集 {(xi,yi),i=1,2,,l} ,通过寻找正则风险最小化(regularized risk minimization)参数来训练分类器。通常情况下,其线性分类器的形式为:

f(xi)=w,xi+b(1)

其中 , 表示点积运算, w 为待求参数向量, b 为偏移常数,在实际应用中通常将 增广一个常数为1的项,从而将 b 划归为 w 的最后一个元素,故在表达式中可将其省略,简化为 f(xi)=w,xi 。正则风险最小化问题可以表示为:

minwi=1mL(yi,f(xi))+λw2(2)

其中, L() 表示损失函数, λ 是防止过拟合而设置的正则化参数。式(2)为一个通用框架,在SVM中,其损失函数采用合页损失 L(yi,f(xi))=max(0,1yif(xi)) ,而在正则化最小二乘法(regularized least squares, RLS)中,又被称为岭回归(ridge regression, RR),损失函数则使用二次损失 L(yi,f(xi))=(yif(xi))2 。根据样本是否线性可分,可以分为以下两种情况。

线性岭回归

在样本线性可分的情况下,设 X 为n个具有m个特征的样本集,第i个样本表示为 xi y 为对应 X 的n个样本类别标签,即 X 为n×m的矩阵, xi 为1×m的行向量, y 为n×1的列向量,则 w 是m×1的列向量,满足 yif(xi)=w,xi=xiw 形式。对于正则风险最小化问题,令:

F(w)=i=1n(yif(xi))2+λw2=(yXw)T(yXw)+λwTw

欲使 F(w) 值最小,仅需对 w 求导,并令其等于0,
dF(w)dw=(yXw)T(X)+λwT=wT(XTX+λI)yTX=0

由此得到线性岭回归的解为:
w=(XTX+λI)1XTy(3)

当样本为频域数据时,该解的形式为:
w=(XHX+λI)1XHy(4)

其中上标 ()H 表示Hermitian转置,即共轭转置,形式为 XH=(X)T

核岭回归

当样本线性不可分时,可以通过引入核函数的方式,将样本投影到高维特征空间,从而使用线性回归的手段寻找非线性样本的最优分类面,这一点与SVM是一致的。
设映射函数为 φ(x) ,根据表示定理(Representer Theorem)[47],该分类器的解可以表示为所有输入样本的线性组合,即:

w=i=1nαiφ(xi)

其中, α 为n×1的列向量,是正则化风险最小化问题在对偶空间中的待求参量,则对应样本的分类面为:
f(xj)=w,φxj=φ(xj)i=1nαiφ(xi)=i=1nαiφ(xi)φ(xj)

K 表示n×n的核函数矩阵,其中 Kij=κ(xi,xj)=φ(xi),φ(xj) ,则正则风险最小化问题具有如下形式:
F(α)=j=1n(yji=1nαiκ(xi,xj))2+λinαiφ(xi)jnαjφ(xj)=(yKα)T(yKα)+λαTKα

欲使 F(α) 取最小值,仅需对 α 求导,并令其等于0:
dF(α)dα=(yKα)T(K+λαTK=yTK+αTKTK+λαTK=0

由此得到核岭回归的解为:
α=(K+λI)1y(5)

你可能感兴趣的:(图像跟踪)