自监督学习（十五）Multi-task Self-Supervised Visual Learning

Introduction

这篇文章由DeepMind团队和VGG团队联手打造，作者包括大牛Zisserman。不过，文章没有提出特别创造性的方法，而是探究各种自监督学习任务的组合效果。作者将四种不同的自监督学习任务组成成多任务学习网络，研究多任务任务对自监督学习的效果。得出的结论是：更深的网络可以做的更好，而且组合不同的任务（即使是非常直接的组合）也比使用单一任务时的效果好。（如果不想往下看，看到这个结论就够了，但是后面作者的实验我认为还是有一定的参考意义的） 论文地址

Method

Self-Supervised Tasks

作者选取了四种常用的自监督学习任务，组合为多任务学习，这四种任务分别是：

1. Relative Position。即切片的相对位置预测，作者选用的是我们在自监督学习（三）Unsupervised Visual Representation Learning by Context Prediction中介绍的方法。
2. Colorization。即将图像上色作为自监督学习任务，这个我们在之前的博客中也介绍过。自监督学习（七）Colorful Image Colorization
3. Exemplar。该任务的基本思路是约束神经网络得到这样一个效果：对于同一张图像经过数据増广得到的图像输出尽可能接近的特征，对于不同图像输出尽可能不同的特征。
4. Motion Segmentation。通过预测视频中下一帧的像素变化达到自监督学习的效果。

Architectures

作者在这里采用了Resnet101作为网路的基准模型。同时，作者在文中分析了不同任务组合起来可能会产生的问题，不同的自监督学习任务需要的是不同尺度的特征，直接组合在一起的话，会加重网络学习的负担。因此，对于不同的head，都会单独配置一路输出，输入的特征是不同层特征的线性组合，而且组合系数是学习得到的，这样就可以让不同的任务选取对自己最有利的特征，就不会互相打架影响网络性能了。另外，作者还对这些系数加了L1的损失函数，使他们更加稀疏。

Experiments

在实验阶段，作者首先在不同的数据集上验证了单个任务的效果，之后又将不同的任务分别组合，验证了多任务的效果。

Comparing individual selfsupervision tasks

作者在ImageNet with Frozen Weights，VOC 07 Object Detection和NYU V2 Depth Prediction三个任务上对单个自监督任务进行了验证。效果如下：

multitask combination of selfsupervision tasks

多任务的效果如下：

组合起来对于分类和检测任务还是有提升的，对于Depth Prediction不是很好。

Conclusion

感觉像是水了一篇一样…。不过，最后一个实验还是有启发性的，最主要的在于，如果你没有系统地跑过自监督学习的方法的话，一定要注意，像Reletive Position或者Inpainting这类的自监督任务是很强的，尤其是在分割这种任务上。如果是多任务的话，做消融实验的时候，可以最后再加上这两种任务。（纯经验，可能不准）