KDD2020|阿里联合香港理工大学提出多任务多视角图表示学习框架M2GRL(已开源)

M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

Menghan Wang, Yujie Lin,  Guli Lin, Keping Yang, Xiao-Ming Wu

Alibaba Group, Hong Kong Polytechnic University

https://dl.acm.org/doi/pdf/10.1145/3394486.3403284

在工业界，将图表示学习跟多视角数据结合并用于推荐系统是一种趋势。大多数现有方法可以归为多视角表示融合，这些方法首先构建一个图，然后对于图中的每个节点，将多视角数据集成为一个紧致表示。

但是，这些方法在工程和算法角度都带来了一些问题，多视角数据非常丰富，在工业界包含很多信息，用一个向量来表示，可能会超出其表达能力；由于多视角数据通常分布不同，这就有可能会引入推理偏差。

这篇文章中，作者们利用多视角表示对齐方法来解决这种问题。作者们提出一种多任务多视角图表示学习框架，M2GRL，从多视角图中学习节点表示，用于大规模推荐系统。M2GRL对每一个视角的数据构建一个图，从多个图中学习多个独立的表示，然后进行对齐，对交叉视角关系进行建模。

M2GRL选择一种多任务学习的范式来学习交叉视角的表示，同时联合学习交叉视角的关系。此外，训练过程中，M2GRL利用同方差不确定性来自适应调整每个任务的损失函数的权重。

作者们已经将M2GRL部署在淘宝中，训练时利用了570亿样本。根据离线的指标和在线的A/B测试，M2GRL显著优于其他STOA算法。此外，淘宝中推荐系统的多样性说明了M2GRL产生的多表示的有效性，这在工业界具有不同目标的推荐任务中是一个比较有前景的方向。

多视图示例如下

下面是这篇文章的主要贡献

图表示学习方法可以分为以下三大类

这篇文章考虑以下三个视角的数据

三个图构建方式如下

关于节点序列采样，作者们采用了以下方式

作者们所提框架图示如下

对于视图内表示学习，作者们采用负采样skip-gram模型来实现

目标函数定义如下

对于视图间对齐，作者们采用了以下做法

M2GRL在淘宝推荐系统的部署方式图示如下

数据集信息简介如下

下面是数据集信息统计

参与对比的方法有以下几种

作者们采用了以下几种离线指标

几种方法的离线效果对比如下

在线ab中，作者们采用了以下做法

几种方法的线上效果对比如下

模型所学到的embedding效果图示如下

代码地址

https://github.com/99731/M2GRL

---

              我是分割线

---

您可能感兴趣

KDD2020|字节联合密歇根州立大学提出推荐广告联合训练框架RAM(已开源)

KDD2020|阿里联合清华提出多兴趣框架ComiRec用于序列推荐(已开源)

KDD2020|京东提出图像类别卷积神经网络CSCNN用于视觉感知CTR预估

亚马逊联合纽约州立大学提出元学习算法MetaBridge用于电商有限标注数据情况下自动验证文本属性

KDD2020|腾讯基于app使用行为提出AETN用于构建通用型user-embedding(已开源)

KDD2020|阿里联合武大提出对偶异构图注意力网络DHGAT用于提升长尾商铺搜索效果

KDD2020|蚂蚁金服提出人群扩展算法Hubble用于智能营销

实时注意力lookalike模型RALM在推荐系统中的应用

召回--联合训练树的索引和深层模型在推荐系统中的应用

深度神经网络在Youtube推荐中的应用--开篇作之一--含部分实用技巧

BERT深层双向Transformers预训练在语言理解中的应用