多任务学习进化史

(未经允许，不得转载)
本文结合各个博客以及论文整理的资料，如有版权问题，请告知。

首先多任务学习的定义：我们常说的多任务学习其实有3种情况：
1） 同一dataset，要解决不同的task。
例如：针对一篇文章进行分词、词性标注、句法分析等，所用的数据都是一篇文章，但是对应的task不同。
2）不同的dataset，解决相同的task。
例如：对不同学校的学生成绩进行预测问题。

本文主要介绍的是情况2所对应的算法的演变。如需了解具体的算法实现以及计算过程，请去看论文。

本文主要的衍生以04的Regularized Multi–Task Learning为起始。

在最初的假设中：对于不同的dataset的task存在这共同的联系。以回归模型类例：

每个任务的变量的权重由公共联系以及各自的特性组成即：

Wt=W0+Vt

其中 W0 是公共权重， Vt 是每个task自身的特性。
因此目标函数为：

minw0,vt,ξit{J(w0,v0,ξit):=∑t=1T∑i=1mξit+λ1T∑1T||vt||2+λ2||w0||2

其中

s.t.yit(w0+vt)⋅Xit≥1−ξitξit≥0

此文章中的假设为所有的task之间的feature都是存在相关联，但是实际情况中并不一定。因此有人提出通过惩罚函数的一范数来使得feature之间的联系稀疏化。文章连接：Multi-Task Feature Learning

假设：不同任务之间的只有一小部分的feature存在关联性。
目标函数：

min{∑t=1T∑i=1mL(yit,⟨wt,xti⟩)+γ∑t=1T⟨wt,D+wt⟩:A∈IRd∗T}

其中 ⟨wt,xti⟩=∑dj=1wtj∗xtij T为Task的个数，m为没个Task中样本的个数.
wt=∑iaitui

（未完待续）