GTOT和RGBT234测评工具箱使用

目录

说明

环境

GTOT测评工具箱使用

结构

准备工作

测评过程

生成ERRresults/xxx.mat

生成PR、SR曲线图

合成跟踪可视化视频

RGBT234测评工具箱使用

说明

结构

准备工作

测评过程

生成ERRresults_TIP/xxx.mat

 生成PR、SR曲线图

合成跟踪可视化视频


说明

  •  本篇博客是RGBT目标跟踪专题中的其中一篇:

Attribute-based Progressive Fusion Network for RGBT Tracking论文研读笔记

APFNet训练+测试复现过程记录

GTOT和RGBT234测评工具箱使用

环境

  • 下载测评工具箱,链接:GitHub - mmic-lcl/Datasets-and-benchmark-code
  • 将之前测试模型得到的结果复制过来,如果没有复现模型的训练和测试过程,也可以直接使用上面的链接中给出的Tracking Results进行测评
  • 安装Matlab,用于绘制PR、SR图,以及生成跟踪结果图片
  • Python3:额外的,用于生成测试展示视频

GTOT和RGBT234测评工具箱使用_第1张图片

GTOT测评工具箱使用

结构

        在GTOT 工具箱中,共有六个文件夹,其中, BBresults 文件夹中存放的是测试生成的目标跟踪框的 txt 文件,ERRresults 文件夹中的是计算生成的错误率文件,sequencesAttr 是工具箱中自带的关于 GTOT 数据集特性的一些文件,trackingResultsDisplay是存放带有跟踪框的结果图像的文件夹,GTOT_APFNet_tracking_result 文件夹存放的是使用RGBT234 数据集作为训练集,GTOT 作为测试集得到的测试跟踪结果(文件中每一行都含有八个数值,前四个和后四个分别代表在 RGB 图像和热红外图上的跟踪框四元数),my_video文件夹是自己建立的,用来存放合成视频的文件夹。

GTOT和RGBT234测评工具箱使用_第2张图片

准备工作

        在测评工具箱根目录下新建脚本cp_BBres_txts.py,用于将测试APF模型时生成的bbox框文件拷贝并重命名至 BBresults 与 ERRresults/APF 两个文件夹内

import os

input_path = './GTOT_APFNet_tracking_result/'
#output_path = './BBresults/'
output_path = './ERRresults/APF/'

for origin_txt in os.listdir(input_path):
    os.system('cp ' + input_path + origin_txt + ' ' + output_path + 'APF_' + origin_txt)

        修改output_path两次,执行脚本两次

python cp_BBres_txts.py

测评过程

生成ERRresults/xxx.mat

  • 使用main_GenerateMat.m和calcPlotErr.m两个脚本,其中main_GenerateMat.m 脚本调用了 calcPlotErr.m 脚本,即main_GenerateMat.m 脚本是主程序。该步骤的输入输出分别为:
input ERRresults/APF/*.txt
output ERRresults/APF/*.mat
  • 脚本中有一些参数需要修改:

(1)main_GenerateMat.m脚本中:basePath为GTOT数据集的位置,即"xxx/data/GTOT/";trackers为几个追踪算法的名字,这里设置为trackers={'APF'};

(2)calcPlotErr.m脚本中:basePath为GTOT数据集的位置;resultPath为跟踪框txt文件所在位置以及要输出的检测框mat文件所在位置,即resultPath='ERRresults/APF/'; 64行左右处也要改为'APF_',即:

results.res=dlmread([resultPath 'APF_' seq_name  '.txt']); %seq_length*8
  • 运行main_GenerateMat.m 脚本之后,将在ERRresults/APF下得到相应的mat文件

GTOT和RGBT234测评工具箱使用_第3张图片

生成PR、SR曲线图

  • 使用main_drawResult.m脚本。脚本中有一些参数需要修改:algs为ERRresults文件夹下存有的算法的名字;basePath为GTOT数据集的位置。
%algs={'APF'}; % ours
algs={'APF', 'ADNet', 'MANet', 'DAPNet', 'DAFNet', 'MDNet', 'SGT', 'RT-MDNet+RGBT', 'MDNet+RGBT', 'MACNet'}; % overall
pixelThreshold=5;

basePath='xxx/dataset/GTOT/';
  • 该步骤的输入输出为:
input ERRresults/*.mat
output PR、SR曲线图

GTOT和RGBT234测评工具箱使用_第4张图片

GTOT和RGBT234测评工具箱使用_第5张图片

         如上图所示,在PR图中,横轴表示定位损失阈值,单位是像素,纵轴是精确率 PR,论文中说到过,对于 GTOT 数据集,阈值设置为 5 个像素,所以横轴等于 5 像素时,得到APFNet 在GTOT数据集上的精确率为 90.5%。各个 RGBT 目标跟踪算法相互对比,可知 APFNet算法在众多算法当中,性能较为优越。

        在SR图中,横轴表示 overlap 阈值,即追踪框和 GT 框之间交并比的大小,纵轴表示成功率 SR。当阈值取 0.7 时,即当 overlap 大于 0.7 时表示成功追踪,APFNet 算法的 SR 为 73.7%。各个 RGBT 目标跟踪算法相互对比,可知 APFNet 算法在众多算法当中,性能较为优越。

合成跟踪可视化视频

  • 使用main_drawTrackersResult.m脚本生成追踪结果图片。tracker为追踪算法的名字,basePath为GTOT数据集的位置;sequence为视频序列的名字;sequencePath为GTOT数据集的位置;同时需要注意的是展示出来的图片未全部填充整个窗口,所以需要修改大约80和104行的两处imshow代码使图片完全填充窗口,消除白边。
tracker={'APF'} %使用几种跟踪算法就会同时有几种追踪框
basePath='xxx/dataset/GTOT/';

dirs = dir(basePath);
sequences = {dirs.name};
sequences(strcmp('.', sequences) | strcmp('..', sequences) | strcmp('anno', sequences) | ~[dirs.isdir]) = [];

%sequence='Minibus1';
sequence='Football';

%for ni=8
% sequence=sequences{ni}

trackerResultsPath='BBresults/';
sequencePath='xxx/dataset/GTOT/';
saveBasePath='trackingResultsDisplay/';


%imshow(uint8(im));
imshow(uint8(im),'border','tight');
  • 更换sequence为GTOT数据集中不同的序列名称,可在trackingResultsDisplay/文件夹下得到不同视频序列在两个模态下的APFNet的跟踪框的可视化图片。

GTOT和RGBT234测评工具箱使用_第6张图片

  •  在项目根目录下新建my_video文件夹和gen_video.py脚本,gen_video.py用于将trackingResultsDisplay/文件夹下已有的所有序列合成视频,gen_video.py内容如下:
import cv2
import os
import linecache

DEBUG = 1

def gen_video(sequence_path, res_video_path, gt_path):
    if not os.path.exists(res_video_path):
        os.system('mkdir ' + res_video_path)
    f = cv2.VideoWriter_fourcc('X', 'V', 'I', 'D') # 保存视频格式为avi
    for sequence_name in os.listdir(sequence_path):
        #save_sequence_path = os.path.join(res_video_path, sequence_name)
        save_sequence_path = res_video_path + '/' + sequence_name
        if DEBUG:
            print(save_sequence_path)
        if not os.path.exists(save_sequence_path):
            os.makedirs(save_sequence_path)
        test_frame_v = cv2.imread(os.path.join(sequence_path, sequence_name + '/v/1.jpg') )
        video_writter_v = cv2.VideoWriter(os.path.join(save_sequence_path, sequence_name + '_v.avi'), f, 25, (test_frame_v.shape[1], test_frame_v.shape[0]))
        test_frame_i = cv2.imread(os.path.join(sequence_path, sequence_name + '/i/1.jpg') )
        video_writter_i = cv2.VideoWriter(os.path.join(save_sequence_path, sequence_name + '_i.avi'), f, 25, (test_frame_i.shape[1], test_frame_i.shape[0]))

        for channel in ['v', 'i']:
            video_path = os.path.join(sequence_path, sequence_name, channel)
            label_path = os.path.join(gt_path, sequence_name)
            #for frame_name in os.listdir(video_path): # 这样读取是乱序,视频跳帧
            #    frame = cv2.imread(os.path.join(video_path, frame_name))
            for index in range(len(os.listdir(video_path))):
                frame = cv2.imread(os.path.join( video_path, str(index+1) + '.jpg') )
                if channel == 'v':
                    now_label = linecache.getline(os.path.join(label_path, 'groundTruth_v.txt'), index+1).strip() # 去掉换行符
                else:
                    now_label = linecache.getline(os.path.join(label_path, 'groundTruth_i.txt'), index+1).strip() # 去掉换行符
                ori_data_seq_vis_path = os.path.join(label_path, 'v')
                ori_data_seq_vis_img_name = os.listdir(ori_data_seq_vis_path)[0]
                ori_data_seq_vis_img = cv2.imread(os.path.join(ori_data_seq_vis_path, ori_data_seq_vis_img_name))
                ratio_w = test_frame_v.shape[1] / ori_data_seq_vis_img.shape[1]
                ratio_h = test_frame_v.shape[0] / ori_data_seq_vis_img.shape[0]
                #print(now_label)
                [x, y, x1, y1] = now_label.split(' ')
                [x, y, x1, y1] = [int(x), int(y), int(x1), int(y1)]
                cv2.rectangle(frame, ( int(x * ratio_w), int(y * ratio_h) ), ( int(x1 * ratio_w), int(y1 * ratio_h)), (255,255,255), 2)
                if DEBUG:
                    cv2.imshow(sequence_name + '_' + channel, frame)
                    cv2.waitKey(20)
                if channel == 'v':
                    video_writter_v.write(frame)
                else:
                    video_writter_i.write(frame)
            cv2.destroyAllWindows()


if __name__ == '__main__':
    sequence_path = './trackingResultsDisplay'
    res_video_path = './my_video'
    gt_path = 'xxx/dataset/GTOT'
    gen_video(sequence_path, res_video_path, gt_path)
  • 脚本中注意的是上一步保存的图片大小与原图大小不一致,所以脚本中有缩放操作,运行gen_video.py脚本之后,将在my_video下得到对应序列名称的所有视频,其中白色框为gt框,红色框为APFNet算法的跟踪框。

GTOT和RGBT234测评工具箱使用_第7张图片

RGBT234测评工具箱使用

说明

  • 大体流程与GTOT一致,细节有所不同
  • 参数设置不同
  • 脚本编写略微差异

结构

        在RGBT234测评工具箱中,共有七个文件夹,其中, BBresults_TIP 文件夹中存放的是测试生成的目标跟踪框的 txt 文件,ERRresults_TIP 文件夹中的是计算生成的错误率文件,figsResults_TIP文件夹中的是不同属性下的PR、SR曲线评测图,sequencesAttr 是工具箱中自带的关于 RGBT234 数据集特性的一些文件,trackingResultsDisplay是存放带有跟踪框的结果图像的文件夹,RGBT234_APFNet_tracking_result 文件夹存放的是使用GTOT数据集作为训练集, RGBT234作为测试集得到的测试跟踪结果(文件中每一行都含有八个数值,前四个和后四个分别代表在 RGB 图像和热红外图上的跟踪框四元数),my_video文件夹是自己建立的,用来存放合成视频的文件夹。

GTOT和RGBT234测评工具箱使用_第8张图片

准备工作

        在测评工具箱根目录下新建脚本cp_BBres_txts.py,用于将测试APF模型时生成的bbox框文件拷贝并重命名至 BBresults_TIP 与 ERRresults_TIP/APF 两个文件夹内,需要注意的是RGBT234数据集解压后可能自带有一个rgbt234.txt文件,需要将其删除。

import os

input_path = './RGBT234_APFNet_tracking_result/'
output_path = './BBresults_TIP/'
#output_path = './ERRresults_TIP/APF/'

for origin_txt in os.listdir(input_path):
    os.system('cp ' + input_path + origin_txt + ' ' + output_path + 'APF_' + origin_txt)

        修改output_path两次,执行脚本两次

python cp_BBres_txts.py

测评过程

生成ERRresults_TIP/xxx.mat

  • 使用main_GenerateMat_TPR.m和calcPlotErr_TPR.m两个脚本,其中main_GenerateMat_TPR.m 脚本调用了calcPlotErr_TPR.m脚本,即main_GenerateMat_TPR.m脚本是主程序。该步骤的输入输出分别为:
input ERRresults_TIP/APF/*.txt
output ERRresults_TIP/APF/*.mat
  • 脚本中有一些参数需要修改:

(1)main_GenerateMat_TPR.m脚本中:basePath为GTOT数据集的位置,即"xxx/data/RGBT234/";trackers为几个追踪算法的名字,这里设置为trackers={'APF'};

(2)calcPlotErr_TPR.m脚本中:basePath为RGBT234数据集的位置;resultPath为跟踪框txt文件所在位置以及要输出的检测框mat文件所在位置,即resultPath='ERRresults_TIP/APF/'; 需要提前建好APF文件夹;73行左右处也要改为'APF_',即:

results.res=dlmread([resultPath 'APF_' seq_name '.txt']); %seq_length*8
  • 运行main_GenerateMat_TPR.m脚本之后,将在ERRresults_TIP/APF下得到相应的mat文件

生成PR、SR曲线图

  • 使用main_drawResult_TPR.m脚本。脚本中有一些参数需要修改:algs为ERRresults_TIP文件夹下存有的算法的名字;basePath为RGBT234数据集的位置。
%algs={'APF'}; % ours
algs={'APF', 'CFnet+RGBT', 'MDNet+RGBT', 'DAFNet', 'KCF+RGBT', 'DAPNet', 'DAT', 'ECO', 'SGT', 'SiamDW+RGBT'}; % overall
pixelThreshold=20;

basePath='xxx/dataset/RGBT234/';
  • 该步骤的输入输出为:
input ERRresults_TIP/*.mat
output PR、SR曲线图

GTOT和RGBT234测评工具箱使用_第9张图片

GTOT和RGBT234测评工具箱使用_第10张图片

        如上图所示,在PR图中,横轴表示定位损失阈值,单位是像素,纵轴是精确率 PR,论文中说到过,对于RGBT234数据集,阈值设置为20个像素,所以横轴等于20像素时,得到APFNet 在RGBT234数据集上的精确率为 82.7%。各个 RGBT 目标跟踪算法相互对比,可知 APFNet算法在众多算法当中,性能较为优越。

        在SR图中,横轴表示 overlap 阈值,即追踪框和 GT 框之间交并比的大小,纵轴表示成功率 SR。当阈值取 0.7 时,即当 overlap 大于 0.7 时表示成功追踪,APFNet 算法的 SR 为 57.9%。各个 RGBT 目标跟踪算法相互对比,可知 APFNet 算法在众多算法当中,性能较为优越。

合成跟踪可视化视频

  • 使用main_drawTrackersResult_APF.m脚本生成追踪结果图片。该脚本复制于main_drawTrackersResult_PaGLe.m。其中,tracker为追踪算法的名字,basePath为RGBT234数据集的位置;sequencePath为RGBT234数据集的位置;trackerResultsPath为追踪结果框txt文件所在路径;saveBasePath为连续帧图片保存路径;大约28行的ni为选择某一个序列的序号,也可以直接对sequence赋值决定某一个视频序列。同时需要注意的是展示出来的图片未全部填充整个窗口,所以需要修改大约80和104行的两处imshow代码使图片完全填充窗口,消除白边。
basePath='xxx/dataset/RGB_T234/';
trackerResultsPath='BBresults_TIP/';
sequencePath='xxx/dataset/RGB_T234/';
saveBasePath='trackingResultsDisplay/';
if(isdir(saveBasePath)==0),
    mkdir(saveBasePath);
end

tracker={'APF'};
%tracker={'PaGLe','CSR','DSST','HCF','JSR','KCF','L1-PF','MDNet','SGT','SOWP','Staple'};%,'STRUCK','CN','CT','MIL','SCM'};

%all videos, call self with each video name.
%only keep valid directory names
dirs = dir(basePath);
sequences = {dirs.name};
sequences(strcmp('.', sequences) | strcmp('..', sequences) | strcmp('anno', sequences) | ~[dirs.isdir]) = [];

edgeColor={'r','g','b','y','k','m','c','g','b','y','r'};
lineStyle={'-','-','-','-','--','--','--','--','--','--','--'};

% for ni=100:numel(sequences)
for ni=120:120 % 选择第120个文件夹,即manwithluggage
% sequence='walkingtogether1';
sequence=sequences{ni};


%imshow(uint8(im));
imshow(uint8(im),'border','tight');
  • 更换sequence为RGBT234数据集中不同的序列名称,可在trackingResultsDisplay/文件夹下得到不同视频序列在两个模态下的APFNet的跟踪框的可视化图片。
  •  在项目根目录下新建my_video文件夹和gen_video.py脚本,gen_video.py用于将trackingResultsDisplay/文件夹下已有的所有序列合成视频。
  • 脚本中注意的是上一步保存的图片大小与原图大小不一致,所以脚本中有缩放操作,运行gen_video.py脚本之后,将在my_video下得到对应序列名称的所有视频,其中白色框为gt框,红色框为APFNet算法的跟踪框。

你可能感兴趣的:(计算机视觉,RGBT目标跟踪,目标跟踪,人工智能,计算机视觉)