「2023 | 快手」PEPNet：融合个性化先验信息的多场景多任务网络

之前梳理过多场景建模方法：推荐系统(二十四）「知识梳理」多场景建模梳理，现在介绍快手提出的多场景多任务方法PEPNet。

Title: PEPNet: Parameter and Embedding Personalized Network for Infusing with Personalized Prior Information

From: 2023 快手

Link: https://arxiv.org/pdf/2302.01115.pdf

1 背景

现在推荐系统大多为多场景多任务，如下图所示，有多个页面，每个页面视为一个场景，如快手的精选、首页、发现页面，每个场景下有多个任务，如点赞、关注、收藏等。

不同场景下用户和item存在重叠，具有一定共性，展现形式和时机（如单双列、购买前后）等不同，同时具有一定差异性；不同任务之间具有不同的稀疏性，同时也存在相互影响；如果在建模过程中忽略了多场景和多任务之间的共性和差异性，会影响建模效果，如果多个场景和任务不能很好地进行平衡，会存在场景跷跷板（domain seesaw）和 任务跷跷板（task seesaw）现象。

针对上面问题，论文提出一种PEPNet网络（Parameter and Embedding Personalized Network），是一种高效、低成本部署、即插即用的方法，并在快手全量上线。

2 方法

网络结构如下图所示，主要包含Gate Nu、EPNet和PPNet三部分：

• Gate NU：基于先验信息的门控结构，是EPNet和PPNet的基本单元；
• EPNet：场景信息作为输入，增强模型对用户跨域行为的底层感知能力；
• PPNet：用户和item信息作为门控输入，适配不同任务每层参数，平衡顶层任务间相互依赖关系；
  

2.1 Gate Neural Unit(Gate NU)

如下图，由两层FC构成，第一层激活函数为relu，第二层激活函数为sigmoid，第二层结果乘2作为输出，从而把输出取值从[0, 1]转化为[0, 2]

2.2 Embedding Personalized Network(EPNet)

如下图，场景特征（场景ID或场景特有特征）作为输入，通过Gate NU得到门控网络结果，门控网络结果和Embedding层结果进行element-wise相乘后，得到融入场景信息的Embedding结果，作为后续DNN和PPNet输入。

2.3 Parameter Personalized Network(PPNet)

如下图，[融入场景信息的Embedding结果、用户id、Item id、作者id] concat在一起作为输入，通过Gate NU得到门控结果，然后与DNN层结果element-wise相乘后，作为下一层DNN的输入。其中，融入场景信息的Embedding结果作为输入，为了不影响EPNet对embedding的更新和学习，训练过程中梯度不进行回传。

2.4 部署工程优化

（1）Feature score eliminationstrategy

为了确保系统能长时间运行，避免embedding参数很快填满机器内存，设计一个特殊的参数服务器来实现无冲突和内存高效的全局共享embedding表​。​

（2）DNN/Embedding layer Updating

模型采用在线学习，用户、item和作者不断新增，导致id特征会快速膨胀，同时存在大量过期或低频的ID，所有ID特征都存储会导致效率不高，带来额外的存储和计算开销，针对该问题，采用​两种策略：

对特征设置特定数量，超过的被删除
对特征设置过期时间，保留频繁更新的特征ID，删除未得到更新的特征

（3）Training strategy

在实践中，ID特征更新速度较快，在线学习的情况下为了更好地捕获底层embedding变化，同时稳定更新顶层DNN参数，embedding和DNN参数采用不同的更新策略，其中embedding层采用AdaGrad优化器，学习率为0.05，而DNN层采用Adam优化器，学习绿5e-6。

​3 实验

（1）与其他方法对比

（2）消融实验

（3）线上效果

往期推荐:

推荐系统中提升用户留存算法

推荐系统(35) 序列建模文章梳理

推荐系统(32)「梳理」知识蒸馏优化粗排模型

推荐系统(30)：2022顶会CTR相关论文梳理

推荐系统(26) 2022 Q2工业界推荐算法实践经验梳理

推荐系统(十一) 2021-2022年工业界推荐算法实践经验汇总

推荐系统(二十四）「知识梳理」多场景建模梳理

推荐系统，离线AUC涨了10%之多，在线CTR等效果可能一点都不涨吗？