1.前提和动机随着推荐技术的发展，目前越来越多的推荐场景，往往并不是单独的优化一个指标，比如：视频推荐领域：推荐排序任务不仅需要考虑到用户点击率、完播率，也需要考虑到一些满意度指标，例如：对视频是否喜欢，用户观看后对视频的评分;文章推荐领域：不仅希望用户点击阅读文章，还希望用户有更多的停留时长，互动，关注。电商推荐领域：不仅希望用户更多对商品点击浏览，还希望用户看完商品后进行付费，点击率和转化率所

mmoe-title.jpg论文地址：https://www.kdd.org/kdd2018/accepted-papers/view/modeling-task-relationships-in-multi-task-learning-with-multi-gate-mixture-非官方代码：https://github.com/drawbridge/keras-mmoe一为什么读这篇动机是做

基于神经网络的大规模多任务学习在产业界有广泛的应用，例如推荐系统。为什么现在的推荐系统会追求多任务呢？以头条类的新闻推荐为例，如果只追求点击率，那么封面党会大行其道，所以一般还会把阅读时长也作为一个目标。再比如短视频推荐，平台方更希望给用户带来更好的体验，例如长时间播放、点赞、高评分等。因此，我们可能需要针对多个目标进行建模，追求多目标之间的平衡或者共赢。借助多任务学习，我们的目标是构建一个统一模

论文链接MMoE1、摘要基于神经网络的多任务学习已经在实际场景如推荐系统中有了大规模应用，例如在电影推荐中，除了要给用户推荐他们可能购买或者观看的电影，还要考虑用户后续对这部电影的评价。通过多任务学习，我们的目标是利用一个模型来学习多个实际业务中的目标，但是，常用的多任务模型的预测质量通常对任务之间的关系很敏感。因此，研究特定于任务的目标与任务间关系之间的建模权衡非常重要。google推荐团队提出

在模型层面理解，我们在单目标中经常会花费大量的精力“找强特征”和“删冗余特征”输入到模型，提高模型效果。那么切换到MTL时，每个task所需要的“强特”和排斥的“负特”是不同的，MTL的目的就是对每个task尽可能的找到他们的强特和负特。在优化层面理解，多个task同时优化模型，某些task会主导了模型的优化过程，淹没了其他task。从监督信号的角度理解，MTL不仅仅是任务，也是一种数据扩增，相当

简介针对多任务学习的应用场景，MMOE论文提出了多门多专家的混合结构的多任务学习方法，如下图c所示。针对其他的经典算法，比如a-硬共享share-bottom结构的方式，引入了一组不同的专家网络；针对b-MOE结构，扩展了门网络的数量，使得网络结构对于多任务的相关性较低时，能够更好的优化。模型专家组合MMOE可以看作MOE模型（专家组合模型）的扩展。其中MOE可以表述为其中，g(x)_i是第i个专

一.论文题目与作者MaJ,ZheZ,YiX,etal.ModelingTaskRelationshipsinMulti-taskLearningwithMulti-gateMixture-of-Experts.ACM,2018.二.摘要2.1出发点常见的多任务学习模型对子任务间的关系非常敏感，因此，需要权衡特定任务目标的学习和子任务间关系的学习。2.2创新本文提出Multi-gateMixture

发于2018年，论文地址：KDD2018|ModelingTaskRelationshipsinMulti-taskLearningwithMulti-gateMixture-of-Expertsgithub上大神的开源地址：GitHub-drawbridge/keras-mmoe:ATensorFlowKerasimplementationof"ModelingTaskRelationships

文章目录总结细节实验总结每个task分开emb，每个task分开attention细节现有的方法对任务间的relationship敏感MTL改进1:不使用shared-bottom，使用单独的参数，但是加一个多个task参数之间的L2正则shared-bottom，共用emb，每个任务上再套一个towernetwork。这种做法可以降低overfitting，但若task之间没关系则学习不好yk=

一、MoE简介MMoE是在MoE的基础之上，引入多任务而来，关于MoE的相关解读，可以参考我的另一篇博客：【论文阅读】AdaptiveMixturesofLocalExperts二、MMoE简介关于MMoE的论文阅读在我的另一篇博客中已经讲到，具体可以参考：【推荐算法论文阅读】ModelingTaskRelationshipsinMulti-taskLearningwithMulti-gateMi

一、背景如果做过推荐系统，就会发现在想要达成某些目标的时候，非得多任务一起上不可。就拿给用户推荐视频为例，我们既希望提高用户的点击率，同时也希望提高视频的播放时长，视频点赞、转发等等…这些目标的达成并非是简单的相辅相成，更多的可能是相互竞争的关系。要是我们只让模型学习点击率，那么经过训练的模型推荐结果很可能导致标题党和封面党大行其道，真正的好的视频却被雪藏了，这显然不是我们希望看到的。而如果一味的

前言这篇是很久以前学习过的文章，但更多的是从使用代码的角度去学习，对文章的写作方法和结构并没有仔细的研究。现在借着做项目的机会，重新回顾这篇文章，并更多的从学习写作的方面进行阅读。摘要多任务学习是建立一个能够完成多个目标和任务的单一模型，重点工作在于研究模型目标和任务之间的相互关系。因此文章提出了一种多门混合专家多任务学习模型MMoE，可以学习任务之间的关系，同时具有门控网络来优化每项任务。实验表

论文题目:ModelingTaskRelationshipsinMulti-taskLearningwithMulti-gateMixture-of-Experts论文地址:https://dl.acm.org/citation.cfm?id=3220007论文发表于:KDD2018（CCFA类会议）论文大体内容：本文主要提出了Multi-gateMixture-of-Experts（MMoE）的

1、MMoE背景MMoE是谷歌在2018年发表在KDD上的一篇基于多任务学习的经典论文，其使用场景是对不相关任务的多任务学习。在推荐系统中，这些不相关的任务可以示例为：视频流推荐中的CTR、时长、点赞、分享、收藏、评论等相关性不强的多个任务。2、MMoE模型概述MMoE模型的基础结构是“Shared-Bottommulti-taskDNN”结构，Shared-Bottommodel（网络结构如下图

论文地址：https://dl.acm.org/doi/pdf/10.1145/3219819.3220007摘要常用的多任务学习往往对于任务之间的关系比较敏感，论文提出的MMoE将专家混合结构应用到多任务模型中，所有任务共享专家子模型，同时训练门控网络来优化每个任务。Neural-basedmulti-tasklearninghasbeensuccessfullyusedinmanyreal-w

推荐系统（十五）多任务学习：谷歌MMoE（Multi-gateMixture-of-Experts）推荐系统系列博客：推荐系统（一）推荐系统整体概览推荐系统（二）GBDT+LR模型推荐系统（三）FactorizationMachines（FM）推荐系统（四）Field-awareFactorizationMachines（FFM）推荐系统（五）wide&deep推荐系统（六）Deep&CrossN

[论文阅读]ModelingTaskRelationshipsinMulti-taskLearningwithMulti-gateMixture-of-ExpertsAbstract基于神经网络的多任务学习在日常生活中应用广泛。但是，常用的多任务模型的预测质量对任务之间的关系很敏感。本文提出的MMoE模型可以从数据中对任务关系进行建模，通过在所有任务共享专家子模型，使得专家混合结构适应多任务学习，

参考：https://www.jianshu.com/p/ab7216e95fa9实现代码链接：https://github.com/drawbridge/keras-mmoe摘要基于神经网络的多任务学习已经成功应用于真实世界里的大规模应用，如推荐系统。例如，在电影推荐中，除了给用户推荐他们倾向于购买和观看的电影外，系统还可以对用户后来喜欢的电影优化。用多任务学习，我们旨在建立一个单独的模型来同时

论文链接：:http://delivery.acm.org/10.1145/3230000/3220007/p1930-ma.pdf?ip=203.12.205.218&id=3220007&acc=OA&key=4D4702B0C3E38B35.4D4702B0C3E38B35.4D4702B0C3E38B35.5945DC2EABF3343C&acm=1564023378_5b8f499307

1简介近些年深度神经网络被成功地应用于了各种大规模系统中，比如推荐系统[11]。在这些推荐系统中我们经常需要同时优化多个目标。例如，在电影推荐系统中，我们不仅希望用户购买和观看系统推荐的电影，还希望用户能喜欢系统推荐的电影。我们可以建立模型，同时预测用户的购买和评分。实际上，很多大规模的推荐系统已经使用了深度神经网络（DNN）进行多任务学习[3]。一些研究报告表明通过正则化和迁移学习，多任务学习模

原文地址：多任务学习模型详解：Multi-gateMixture-of-Experts（MMoE，Google，KDD2018），首发微信公众号，现在转到CSDN上~欢迎关注我的公众号，微信搜algorithm_Tian或者扫下面的二维码~现在保持每周更新的频率，内容都是机器学习相关内容和读一些论文的笔记，欢迎一起讨论学习~上篇文章介绍多任务学习的背景知识，其中提到了相关任务这一概念。那么我们知道

基于神经网络的大规模多任务学习在产业界有广泛的应用，例如推荐系统。为什么现在的推荐系统会追求多任务呢？以头条类的新闻推荐为例，如果只追求点击率，那么标题党会大行其道，所以一般还会把阅读时长也作为一个目标。再比如短视频推荐，平台方更希望给用户带来更好的体验，例如长时间播放、点赞、高评分等。因此，我们可能需要针对多个目标进行建模，追求多目标之间的平衡或者共赢。借助多任务学习，我们的目标是构建一个统一模