迁移学习论文阅读：Taskonomy: Disentangling Task Transfer Learning

Taskonomy: Disentangling Task Transfer Learning是CVPR2018的最佳论文，斯坦福大学Guibas组的文章。

论文地址：http://taskonomy.stanford.edu/taskonomy_CVPR2018.pdf
作者在知乎有一个非常详细的解释文章：https://zhuanlan.zhihu.com/p/38425434

个人笔记：
迁移学习就是在找不同领域之前的相似性和不变形。个人觉得这篇文章主要贡献在于量化了任务之间的关系。

研究问题：
Given limited resource R, task dictionary T, $s,t\in T$
Maximize target task performance $A_t$

步骤：

1. 给每一个任务训练一个专门的模型，每个模型都是encoder decoder的结构，decoder是一个较小的神经网络
2. 对于所有s和t，s的encoder的权重，加上一个新的decoder来预测t的标签，学习到一个用于迁移浅层神经网络（decoder）
3. 对每一个目标任务t构建关联矩阵，（i,j）表示用第i个任务作为起始任务迁移后，其网络表现有多大的几率好于用第j个任务。即给一个测试集Test，有多少图片的loss要小于后者的loss
4. 优化选择策略

评判标准：
迁移获利 迁移学习相比较如果不进行迁移学习，只用少量数据从零学习的胜率
迁移质量 迁移学习相比较大量数据从零学习的胜率

实验结果：
对于选取的26个CV任务，大部分只用1/3或者1/2的资源就可以达到很好地表现

最主要的问题我觉得在于这种量化关系建立在需要计算所有s，t pair的迁移矩阵上，需要很大的计算资源。对于一个新的任务，必须要先计算其与当前所有任务的迁移矩阵。