推荐系统学习笔记-论文研读--渐进分层抽取的多任务学习模型

研究背景

  1. 多任务相关性的复杂性和竞争性,MTL模型往往会出
    现性能退化和负迁移
  2. 跷跷板现象,即一项任务的性能往往会因影响其他任
    务的性能而得到提高

研究成果

  1. 跷跷板现象的发现,MTL由于复杂的内在关联性而没有优于相应的单任务模型
  2. 从联合表征学习和信息路由的角度,提出了一种新的共享学习结构的PLE模型
  3. 进行广泛的离线实验,以评估工业和公共基准数据集上PLE的有效性

摘要大意

  1. 多任务学习(MTL)已经成功地应用于许多推荐应用
  2. 任务相关性的复杂性和竞争性,MTL模型往往会出现性能退化和负迁移
  3. 观察到了一个有趣的跷跷板现象
  4. 提出了一种新的共享结构设计的递进分层抽取(PLE)模型

跷跷板现象:某一个任务的指标上升,但是另外一个任务的指标会下降

推荐系统学习笔记-论文研读--渐进分层抽取的多任务学习模型_第1张图片

PLE的结构

推荐系统学习笔记-论文研读--渐进分层抽取的多任务学习模型_第2张图片
推荐系统学习笔记-论文研读--渐进分层抽取的多任务学习模型_第3张图片

CGC结构

推荐系统学习笔记-论文研读--渐进分层抽取的多任务学习模型_第4张图片

experts结构

推荐系统学习笔记-论文研读--渐进分层抽取的多任务学习模型_第5张图片

GATE结构

推荐系统学习笔记-论文研读--渐进分层抽取的多任务学习模型_第6张图片

Tower结构

推荐系统学习笔记-论文研读--渐进分层抽取的多任务学习模型_第7张图片

实验结果

腾讯视频推荐数据,PLE与单任务模型,MMOE,CGC模型在核心指标AUC, MSE 的对比

推荐系统学习笔记-论文研读--渐进分层抽取的多任务学习模型_第8张图片
腾讯视频推荐数据,PLE与单任务模型,MMOE,CGC模型关于CTR/VCR目标的对比
推荐系统学习笔记-论文研读--渐进分层抽取的多任务学习模型_第9张图片

你可能感兴趣的:(推荐系统学习笔记,读书笔记,kaggle,学习,人工智能,python,推荐算法)