【原文:http://www.cnblogs.com/marcworld/p/3682579.html】
最近读了一篇名为《Fast Tracking via Spatio-Temporal Context Learning》的论文,主要介绍了一种基于时空上下文的物体跟踪算法。在此之前,CSDN博主“zouxy09”已经写过一篇对该论文的解读http://blog.csdn.net/zouxy09/article/details/16889905。在本博文中,我没有按照原论文的思路,而是在对原文内容已经熟悉的基础上(希望读者也能在熟悉原论文后再看本博文),按照自己的思路重新归纳,主要对一些自己容易忽略的重点,或者原文中没有得到强调的逻辑关系加以整理。
几个概念:
贝叶斯框架(Bayesian framework):建立目标与其周围的区域在低层特征(像素强度值)上的统计相关性
时空上下文模型(Spatio-temporal context model):空间关系(量化为“空间上下文模型”(spatial context model))是目标及其邻域间固有的,时间关系则是通过加权累加每一历史帧(当前帧之前的所有帧)的空间关系而得到的
主要思想:
基于“贝叶斯框架”建立目标物体和其局部上下文之间的时空关系,通过这一“时空模型”计算“置信图”(confidence map),由“置信图”中似然概率最大的位置预测出新的目标位置。
1.求“时空上下文模型”
是已得到的“时空上下文模型”(Spatio-temporal context model)(其中加权累加了第t-1帧到第1帧的所有“空间上下文模型”),可用于计算本帧的“置信图”,从而得到本帧的目标位置。
是在当前帧(第t帧)中新计算出来的“空间上下文模型”(spatial context model)。
是由以上两个模型按权相加后得到的新“时空上下文模型”,用于在下一帧中计算其“置信图”,得到下一帧的新目标位置。
是权值,是一个常数。
(1)“时空上下文模型”的初始化
对第1帧,上式显然不成立,因为我们并没有第0帧的“空间上下文模型”和“时空上下文模型”,所以在初始化时,直接令第1帧的“时空上下文模型”直接等于其“空间上下文模型”。
2.求“置信图”
置信图由上式求出,有这么几点应该注意:
3.求“空间上下文模型”
若已知本帧的目标位置,则在以该目标位置为中心的邻域(局部上下文)内,“置信图”可以如下建模:
这里,、
和b都是常数,故其值只与目标邻域中各点相对目标位置的距离有关,因此当该邻域大小确定时,该“置信图”是一个常量矩阵,不因每一帧目标位置的变化而变化,因此我将该置信图称为“相对置信图”,意指其大小只与目标周围点到目标的相对距离有关。
以上两式用来求“空间上下文模型”,但请注意它们均没有脚标,即没有时间上下文的概念。这也就是说,所有计算利用的都是本帧自身的信息(本帧自己的目标位置、本帧自己的目标尺度、本帧自己的像素强度值等)。因此在计算“空间上下文模型”时,特别要注意,我们首先要得到本帧的目标位置和目标尺度。因此除了第1帧外,context prior model要求两次,一次用上一帧的目标位置和尺度来求(用于求本帧的目标位置),一次用本帧的目标位置和尺度来求(用于求本帧的空间上下文模型)。
算法流程:
代码实现(Matlab):
在参考了作者的matlab代码后,我按照自己画的流程图重新写了一遍,参数初始化则完全照搬了作者的。
% My implementation for STC model based tracking %% clear, clc, close all; %% fftw('planner','patient'); %% addpath('./data'); img_dir = dir('./data/*.jpg'); %% Initializaiton % constant parameter target_sz = [95, 75]; % (rows, cols) context_sz = target_sz * 2; % (rows, cols) rho = 0.075; alpha = 2.25; beta = 1; lambda = 0.25; num = 5; hamming_window = hamming(context_sz(1)) * hann(context_sz(2))'; % variable initialization target_center = [65, 161] + target_sz ./ 2; % (row, col) sigma = mean(target_sz); scale = 1; [rs, cs] = ndgrid((1:context_sz(1)) - context_sz(1)/2, (1:context_sz(2)) - context_sz(2)/2); dist = rs.^2 + cs.^2; % a 190x150 matrix conf = exp( -1 .* (sqrt(dist) ./ alpha).^beta ); conf = conf/sum(sum(conf)); % normalization conff = fft2(conf); scale_arr = zeros(num+1, 1); %% for frame = 1:numel(img_dir) % read one frame img = imread(img_dir(frame).name); im = rgb2gray(img); % compute the context prior model with the target center and sigma of the previous frame window = hamming_window .* exp(-0.5 * dist / (sigma^2)); % It should be a 190x150 matrix window = window/sum(sum(window));%normalization context_prior = compute_prior(im, target_center, context_sz, window); % using the target_center and sigma of the previous frame if frame > 1 % compute the confidence map conf_map = real(ifft2( Hstcf .* fft2(context_prior) )); % find the new target center of the current frame [row, col] = find(conf_map == max(conf_map(:)), 1); target_center = target_center - context_sz / 2 + [row, col]; % here is weird, why we should substract 'context_sz/2' from the 'target_center'? % update sigma to current frame sigma = sigma * scale; % compute the new context prior model with the target center and sigma % of the current frame window = hamming_window .* exp(-0.5 * dist / (sigma^2)); % It should be a 190x150 matrix window = window/sum(sum(window));%normalization context_prior = compute_prior(im, target_center, context_sz, window); % using the new target_center and sigma of current frame % update the confidence map of the current frame conf_map = real(ifft2( Hstcf .* fft2(context_prior) )); % update scale (you can also keep 'scale=1') % scale_arr(1:num) = scale_arr(2:end); % scale_arr(num) = max(conf_map(:)); % scale_avr = 0; % if frame > (num + 1) % for i = 1:num % scale_avr = scale_avr + sqrt(scale_arr(num + 2 - i) / scale_arr(num + 1 - i)); % end % scale = (1 - lambda) * scale + lambda * scale_avr / num; % end end % learn the spatial context model hscf = conff ./ fft2(context_prior); % update spatio_temporal context model if frame == 1 Hstcf = hscf; else Hstcf = (1-rho) * Hstcf + rho * hscf; end %visualization target_sz([2,1]) = target_sz([2,1])*scale;% update object size rect_position = [target_center([2,1]) - (target_sz([2,1])/2), (target_sz([2,1]))]; imagesc(uint8(img)) colormap(gray) rectangle('Position',rect_position,'LineWidth',4,'EdgeColor','r'); hold on; text(5, 18, strcat('#',num2str(frame)), 'Color','y', 'FontWeight','bold', 'FontSize',20); set(gca,'position',[0 0 1 1]); pause(0.001); hold off; drawnow; end %% The end
代码目前还存在一些问题有待讨论: