【目标跟踪论文阅读】Cooling-Shrinking Attack: Blinding the Tracker with Imperceptible Noises

论文地址： https://arxiv.org/abs/2003.09595v1
项目地址： https://github.com/MasterBin-IIAU/CSA.

动机

• 对抗攻击测试能更好的了解深度学习的工作原理，为后续改进提供意见支持；
• 目前少有针对跟踪器的攻击测试
• 目标：生成一个肉眼不可见的噪声生成器，达到在跟踪过程中降低前景/背景分类置信度，缩小定位框大小的目的

创新点（贡献）

• 提出一种cooling-shrinking攻击方式。通过设计cooling和shrinking两个损失函数训练得到的噪声发生器，达到在跟踪过程中降低分类置信度，缩小定位框的目的。并在OTB100，VOT2018，LaSOT数据库上取得了良好的攻击效果。（被攻击的跟踪器是SiamRPN++）
• 证明利用GAN方法同时对判别器进行训练是没有必要的，仅使用L2损失函数度量噪声图片和真图片的相似度以及cooling-shrinking损失函数已经足够
• 该攻击方式具有良好的可移植性。实验证明该噪声发生器（只在SiamRPN++上训练过，不在其他跟踪器上微调）对DaSIamRPN和DiMP也有攻击效果

主要方法

整体流程

1. 跟踪器的参数是冻结的
2. 目的是训练得到一个噪音生成器，在尽可能小的改变图像的同时，最大化攻击效果
3. 噪声发生器和原图组合产生新的图像

Cooling-Shrinking 损失函数

1. 三个裕度的设置是为了避免cooling-shrinking损失函数无限制减小，均设置为-5
2. 目的在于让干扰（攻击）后前景/背景的置信度尽可能接近（区分度低）；预测框大小尽可能的小
3. 因为在SiamRPN++算法中BB的回归计算需要用分类置信度作为依托，所以需要输入干净的搜索图片，如果用噪音干扰的图片无法判断造成干扰的是置信图还是回归向量
4. 为了方便计算将三维张量重新排列为二维张量
5. 

算法细节

1. 噪声发生器采用U-Net，因为其更适应像素级别任务
2. 对于模板图像干扰，输入图像尺寸限定为128128；对于搜素图像干扰，输入图像尺寸限定为512512。对于尺寸不达标的输入，采用Padding，裁剪，或者双线性插值改变尺寸
3. 训练集为Got-10k
4. $$L=0.1\times L_{cooling}+1\times Lshrinking+500\times L_2$$

实验结果

对SiamRPN++攻击结果

1. 模板和搜素图像一起攻击，掉点基本在一半左右
2. 对搜素图像攻击效果远好于攻击模板图像
3. 对搜素图像产生噪声时间9ms，对模板图像产生噪声时间3ms，满足实时性要求
4. 
   
   
   

Ablation Study

1. cooling loss主要用于攻击分类置信度
2. shrinking loss主要用于攻击定位准确度
3. 只攻击模板图象时加上shrinking loss比不加shrinking loss攻击效果要差
4. 模板图像主要作用于分类置信度，帮助模型从搜索图像中确定出前景/背景；定位BB主要和搜索图像的实际情况有关。所以对模板图像干扰时带上shrinking loss, 让优化器在优化过程中没有将全部注意力放在分类干扰上，故cooling loss在学习过程中只达到了次优，得到的噪声发生器中对分类的攻击没有达到最优，对定位的攻击没有产生效果，故攻击效果欠佳。
   
5. 证明了在生成噪声发生器时，仅采用L2距离判断图片相似度可以起到应有的效果，没有必要采用判别器
   

其他

1. 生成器速度足够快，搜素图像9ms，模板图像3ms
2. 相对于在图片上生成高斯噪声和脉冲噪声，本文的噪声发生器产生的噪声更不明显，且攻击效果更好
   
3. 噪声发生器具备可移植性，在DaSIamRPN和DiMP跟踪器上同样具备攻击效果
   

总结/疑问

该噪声生成器产生的新图片可否作为一种数据扩增方法用于扩增跟踪训练集，以提高跟踪鲁棒性？