多任务学习进化史

(未经允许,不得转载)
本文结合各个博客以及论文整理的资料,如有版权问题,请告知。

首先多任务学习的定义:我们常说的多任务学习其实有3种情况:
1) 同一dataset,要解决不同的task。
例如:针对一篇文章进行分词、词性标注、句法分析等,所用的数据都是一篇文章,但是对应的task不同。
2)不同的dataset,解决相同的task。
例如:对不同学校的学生成绩进行预测问题。

本文主要介绍的是情况2所对应的算法的演变。如需了解具体的算法实现以及计算过程,请去看论文。

本文主要的衍生以04的Regularized Multi–Task Learning为起始。

在最初的假设中:对于不同的dataset的task存在这共同的联系。以回归模型类例:

每个任务的变量的权重由公共联系以及各自的特性组成即:

Wt=W0+Vt

其中 W0 是公共权重, Vt 是每个task自身的特性。
因此目标函数为:

minw0,vt,ξit{J(w0,v0,ξit):=t=1Ti=1mξit+λ1T1T||vt||2+λ2||w0||2

其中
s.t.yit(w0+vt)Xit1ξitξit0

此文章中的假设为所有的task之间的feature都是存在相关联,但是实际情况中并不一定。因此有人提出通过惩罚函数的一范数来使得feature之间的联系稀疏化。文章连接:Multi-Task Feature Learning

假设:不同任务之间的只有一小部分的feature存在关联性。
目标函数:

min{t=1Ti=1mL(yit,wt,xti)+γt=1Twt,D+wt:AIRdT}

其中 wt,xti=dj=1wtjxtij T为Task的个数,m为没个Task中样本的个数.
wt=iaitui

(未完待续)

你可能感兴趣的:(算法)