CNN-tracking-文章导读

1.MDnet:learning multi-domain convolution neural networks for visual tracking

MDnet是vot2015的冠军paper,由韩国Postech的Bohyung Han发表,测试了代码,在多个benchMark上的测试结果都比较好,但是速度比较慢,1fps,下面就开始介绍这篇paper的整体思路。他主要是用检测的思想来做跟踪,并针对跟踪和检测的区别提出offline训练的fc为多分支,online阶段针对具体的跟踪对象将fc替换为一个分支,并用到了BBox回归。

  • 文章特点
    • 采用离线pre-train和online update.shared layer 为offline train, unshared layer的parameter为online train.
    • 在offline阶段,fc6层有多个branches,每一个branch对应一种video/sequence[paper 中取名叫 domain-specific layers],即在进行train iteration时,每一次iteration,只有一个branch的fc6响应,所以需要每一次迭代的data-batch[文中叫mini-batch]要与相应的fc6_K相对应[原文为:Each domain in MDNet is trained separately and iteratively while the shared layers are updated in every iteration]。
    • online阶段,将fc6_1~fc6_K换为一个fc6,然后固定conv的参数不变,训练fc6的权重,病fine-tune fc4~fc5的权重。
    • online阶段,训练数据利用到hard negative的思想,将negative samples 排序,选取其中score大的样本(更接近正样本的negative samples).
  • details
  1. shared layer的训练流程[offline train]如下图:

 CNN-tracking-文章导读_第1张图片

红色部分为domain-specific layers,offline train 时,选取positive&negative的规则见paper的4.4节[也是根据IoU来选]。network并不深,文章分析了采用这种VGG-M network的原因:deep为高级的语义特征,浅层为具有区分的特征。

  1. 对于mini-batch迭代时与fc6对应问题:每次iteration只利用一个sequence[假设时第k个sequence]来生成mini-batch,并激活对应的fc6_k,其他的fc6_i被抑制,所以特别注意有这么一个对应关系。
  2.  online 阶段网络调整:将Figure1中的红色fc6_1 ~fc6_k统一换成一个fc6,因为在tracking时,只用一个sequence。训练时,固定conv的参数不变,训练fc6的参数,并fine-tune fc4,fc5的参数。因为原文中将conv3的输出作为特征,并不是fc5的输出作为特征,因为fc5输出的特征更具有语义性。最后网络输出score
  3. online : 阶段数据选取规则[hard minibatch]:原文The hard negative examples are identified by testing M− (>> M_h − ) negative samples and selecting the ones with top M_h- positive scores.利用Gaussion 分布来选取候选框[translation],并做一定的scale处理[具体设置见paper]
  4. update策略:采用Long-term(T_l) & short-term(T_s)更新,原文:Long-term updates are performed in regular intervals using the positive samples collected for a long period of time while short-term updates are conducted whenever potential tracking failures are detected—when the estimated target is classified as background—using the positive samples in a short-term period。
  5. Bounding box regression:利用conv3出来的特征做regression.paper 只是利用了first frame来train regressor[time cosuming].

2. Fcnt:Visual Tracking with Fully Convolutional Networks

由港中文王晓刚发表,调试了代码,速度比MDnet快3倍左右,3fps.效果比MDnet差点,比一般的传统算法较好。

  • 文章特点
    •  同样时offline pre-trained
    •  主要探索了不同Layer的特征具有不同的表达[基于VGG-net],toper layers 更多的时语义特征,而lower更多的discriminative information。
    •  然后在探索了不同特征影响之后,运用不同layers的feature map来做tracking.选择某些层的feature map可以去掉一些干扰(其实就是想用高层的语义信息和底层的更有区别的信息的结合)
  • details
  1. 首先作者进行实验说明不同layers的feature map 有不同的意义,toper layers 更多的类别信息[即语义信息,对应选取conv5_3的特征],lower更多间内差别的信息[对应选取conv4_3的特征]。并且发现特征是稀疏的[很多背景的响应为zores,所以用稀疏矩阵更好],所以作者利用第一帧的mask和卷积的特征F,来计算稀疏矩阵C,之后,C固定,在之后的帧中,利用F和C来反求mask,公式如下:

CNN-tracking-文章导读_第2张图片

         2. paper中提出的方法如下:

CNN-tracking-文章导读_第3张图片

  • 步骤为:
  1. 根据conv5_3和conv4_3筛选feature map(paper中4.1节有公式,更具对loss function的贡献来选择).因为conv4_3和conv5_3有很多个channels的feature map 它要选择一个最好的feature map 最为对应Gnet和Snet的输入。
  2. 利用conv5_3的特定feature map生成Gnet,conv4_3的特定feature map生成Snet,在Figure5中(c),(d)的两层卷积是一样的,Snet和Gnet的update策略不同(4.3节有update的策略,fix Gnet, update Snet very 20 frames,在更新Snet时,加入第一帧作为监督,因为只有第一帧是可信的)。
  3. 对于input,将候选区域(既有前景又有背景)crop后feed给VGG Net.
  4. 根据Snet和Gnet来确定跟踪的结果(4.2节有Location的策略,mentor paper sharing时提到,其实就是求概率score的最大,写paper时直接这么写太low)。

3. Learning to Track at 100 FPS with Deep Regression Networks

    这篇文章也是基于cnn的tracking,貌似这篇文章没有被收录。思想很简单,下面说一下基本思想

  • 文章特点
  1. 针对以前有online的cnn-tracking,本问提出offline-cnn-tracking[就连最后的fc都是offline-cnn,可以看出此处会有些效果不好],由于时offline,所以速度很快,100fps.
  2. 网络的输出:t_frame 相对 t-1_frame的位移坐标(相当于已经回归后的position)。
  • details
  • 训练的流程图如下:

 CNN-tracking-文章导读_第4张图片

图中,current frame 的crop会比 previous frame的object region大一些(paper中有一个策略),Conv Layers采用的是AlexNet的minor版,卷积后,将current和previous的特征输出合在一起为n*1的向量,然后fc层,最后以相对previous frame的center位置的平移向量(坐标)为输出。其实就是比对后回归出相对移动,由于很简单,就不多说了。


4.Online Tracking by Learning Discriminative Saliency Map with Convolutional Neural Network

    cnn-tracking的思路大同小异.

  • 文章特点
  1. paper采用RCNN特征学习为offline,以fc6输出为特征,然后online的SVM分出正负sample
  2. 定位:利用SVM的weight和SVM分类出来的positive samples反投影为Target-specific features,进而得到saliency map,利用Generative model来定位
  3. update SVM&Generative model.
  • details

        流程图:

CNN-tracking-文章导读_第5张图片

图中,sample features是fc6层出来的特征,这一步为offline,在SVM时,正负样本也是利用IoU来选取。

那么怎么利用SVM weights 和分类后的positive sample来获取显著图呢,显著图的直观意义为:The class-specific saliency map of a given image I is the gradient of class score Sc(I) with respect to the image as:


上式求解过程见原paper,求解会用到SVM weight.最后利用概率求最佳位置。


5.DeepTrack: Learning Discriminative Feature Representations Online for Robust Visual Tracking

    由于时间关系,先上传流程图,有时间在补充每一步的细节。fps1.5~4.0

  • 文章特点
  1.  CNN online:注意有positive samples pool,从中挑选样本来训练,以及模型更新的策略,生成不同的cues
  2.  loss funtion
  3. SGD.
  • details(以后补充)

        输出:2D,表示正负score,利用指数函数来增加score的差距

        cues之后的特征合在一起

        输入图像灰度归一化到[0,10]

        online 更新的策略:long-term和short-term,long-term从positive sample pool 中按照一定概率抽取,负样本同理。

        最后按照mini-batch的误差大小来确定是否更新模型。

    CNN-tracking-文章导读_第6张图片

CNN-tracking-文章导读_第7张图片




你可能感兴趣的:(深度学习-CNN)