深度学习跟踪算法总结

深度学习领域小白一只，刚开始看论文半个月，把自己看论文的思路记下来，方便以后回顾和总结~

2018.07.27
TLD是传统算法，没有用到深度学习，
DLT是第一个将深度学习成功应用于目标跟踪领域的算法，SO-DLT是它的改进版，
SO-DLT和FCNT都是纯深度的，端到端的跟踪，其中FCNT中使用了不同层的特征获取不同level的信息用来跟踪，不过时间久远了。。。
HCF是深度特征+传统算法（粒子滤波），其中深度特征部分使用了三层特征来提取深度特征
MDNet是纯深度算法，自己构建了一个简单的CNN，不过速度慢。
SO-DLT和MDNet都是预训练+SGD在线微调

传统跟踪算法（correlation filters）速度快，很容易做到实时，但是鲁棒性没有深度算法好，深度算法往往运算量大，而且因为很多都用到了在线微调，所以速度慢。

--------------------------------------------------------------------分割线----------------------------------------------------------------------------

2018.08.03
说一下最近看的几篇，以及和师兄交流的心得~
传统算法MOSSE帧率669fps，KCF帧率292fps（来自论文EAST，ICCV2017 spotlight）
SANet是基于MDNet的基础上进行改进的，精度很高，但是速度才1fps，不能达到实时要求的算法基本不要考虑了，不实用。
VITAL（CVPR2018）：使用了GAN来扩充正样本数量，还用了高阶敏感损失函数，减小简单负样本对于分类器训练的影响，是基于CREST（ICCV2017，spotlight）的改进版。
深度算法中的GOTURN速度很快，165fps，精度还没查，不知道~~
ROLO（2016ArXiv）：YOLO+LSTM

孪生网络SiamFC（ECCV2016，基于模板匹配的，不需要在线微调，86fps）很实用，这两年基于SiamFC的改进版很火，感觉这是一个很好的方向，改进版主要有以下几篇：
CFNet（CVPR2017）：和SiamFC同作者，不过CFNet又将相关滤波的理论在神经网络里构建了一个层，实现了端到端（数学功底相当强），膜拜大神
RFL（ICCV2017）：用到了LSTM，思路但是精度并没有提升多少。。。
EAST（ICCV2017）：正在看，下次来更新。。。
PTAV（ICCV2017）：（思路很好）在速度和精度上达到一种平衡。将 tracking 过程分解为两个并行但是相互协作的线程（Thread）：一个用于快速的跟踪，另一个用于准确的验证

CVPR2018有四篇都是SiamFC的改进版，
SINT++（CVPR2018）：除了使用SiamFC的基础上，还提出了PSGN（positive sample generation network）扩充正样本数量，HPTN（hard positive transformation network）来生成更加有挑战性的正样本。
SiamRPN：SiamFC + RPN Network，输出两个分支，分别用于分类和回归（SiamFC没有回归，而是用多尺度测试），帧率160fps（不需要在线微调），端到端，单目标跟踪
RASNet：将特征学习和判别学习分离（原始的SiamFC是通过$\varphi (.)$函数来同时学习这两个的，作者说这样容易过拟合，CFNet虽然加了循环矩阵，但是引入了边界效应），在模板分支中（检测分支没有变） 添加了三个attention机制，首先使用General attention来学习所有训练样本的普适特征，Residual attention分支用来学习当前帧和普适特征的区别，二者求和就是当前帧的特征。还使用了一个channel attention分支对特征进行加权。
SA-Siam：
后面这两篇还没有看，等看完了再来更新~~

-----------------------------------------------------------------分割线--------------------------------------------------------------------------------------

今天看到了一个比较好的总结，在此记录一下~

Tracker	AUC	Precision	OS (%)	DP(%)	CLE (pixel)	FPS	Deep Learning
MDNet	0.70767	0.94803	-	-	-	-	Y
C-COT	0.6725	0.89912	-	-	-	-	N
SINT+	0.65517	0.88157	-	-	-	–	Y
SRDCFdecon	0.65257	0.86967	-	-	-	-	N
MUSTer	0.64107	0.86458	-	-	-	-	N
DeepSRDCF	0.64073	0.84881	-	-	-	-	Y
SINT	0.63495	0.85064	-	-	-	–	Y
LCT	0.62786	0.84802	-	-	-	-	N
SRDCF	0.6262	0.83795	-	-	-	-	N
SiamFC	0.61217	0.81532	-	-	-	-	Y
SiamFC_{3s}	0.60829	0.80922	-	-	-	-	Y
CF2	0.60466	0.8907	-	-	-	-	Y
HDT	0.60279	0.88853	-	-	-	-	Y
Staple	0.59952	0.79256	-	-	-	-	N
FCNT	0.59902	0.85587	-	-	-	-	Y
CNN-SVM	0.5971	0.85159	-	-	-	-	Y
SCT	0.59526	0.84546	-	-	-	-	Y
DLSSVM	0.58915	0.82884	-	-	-	-	Y
SAMF	0.57935	0.78495	-	-	-	-	N
RPT	0.57694	0.8045	-	-	-	-	N
MEEM	0.56596	0.83004	-	-	-	-	N
DSST	0.55386	0.73705	-	-	-	-	N
CNT	0.54475	0.72309	-	-	-	–	Y
TGPR	0.5294	0.76612	-	-	-	-	N
KCF	0.5138	0.73999	-	-	-	-	N

---

以后会慢慢把每篇论文的阅读笔记发上来的~

最后附上一个很好的链接：https://javascript.ctolib.com/foolwood-benchmark_results.html#articleHeader6