#Paper Reading#Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

论文题目: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
论文地址: https://dl.acm.org/citation.cfm?id=3220007
论文发表于: KDD 2018（CCF A类会议）

论文大体内容：
本文主要提出了Multi-gate Mixture-of-Experts（MMoE）的方法，来解决multi-task learning对task相关性敏感的问题，并在实验和真实数据上取得不错的效果；

Motivation：
当前的推荐系统往往会关注多个目标，而为了同时学习多个目标，传统的multi-task learning会通过shared-bottom的方法来训练，但是这样常常会因为多个task之间的相关性较低而导致多个目标都不能学习到很好。

Contribution：
本文作者提出MMoE的方法来解决这个问题，通过给各个expert增加一个gate，来调整某个目标与多个task之间的关系系数，从而达到简单易用且更好的效果。
同时，作者还通过人造数据集，来进行实验证明MMoE模型在task相关性较差的情况下明显比baseline好。
MMoE也应用在线上系统，取得不错的效果。

1. 整体结构可以看下图；

2. 作者构造人造数据的方法如下，比较有趣，值得学习；

3. 传统shared-bottom的模型，对于相关性高的task之间，能取得更好的效果；

4. 其它可参考[1]的详细说明；

参考资料： 
[1] https://mp.weixin.qq.com/s/2Rc6W82Iy6rTyWa14Yf9Gg

以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！