KDD 2022 | 美团技术团队精选论文解读
今年，美团技术团队有多篇论文被KDD 2022收录，这些论文涵盖了图谱预训练、选择算法、意图自动发现、效果建模、策略学习、概率预测、奖励框架等多个技术领域。本文精选了7篇论文做简要介绍（附下载链接，论文排名不分先后），希望能对从事相关研究方向的同学有所帮助或启发。
论文01：Mask and Reason: Pre-Training Knowledge Graph Transformers for Complex Logical Queries（支持知识推理的图谱预训练）
论文02：AutoFAS: Automatic Feature and Architecture Selection for Pre-Ranking System（粗排场景自动特征与结构选择算法）
论文03：Automatically Discovering User Consumption Intents in Meituan（用户消费意图自动发现）
论文04：Modeling the Effect of Persuasion Factor on User Decision for Recommendation（说服因素效果建模）
论文05：Practical Counterfactual Policy Learning for Top-K Recommendations（用于 Top-K 推荐的反事实策略学习）
论文06：Applying Deep Learning Based Probabilistic Forecasting to Food Preparation Time for On-Demand Delivery Service（深度学习订单出餐时间概率预测）
论文07：A Framework for Multi-stage Bonus Allocation in Meal Delivery Platform（多阶段送餐奖励框架）
ACM SIGKDD国际会议（简称 KDD）是由ACM的数据挖掘及知识发现专委会主办的数据挖掘研究领域的顶级年会，属于CCF A类会议。由于KDD的交叉学科性和广泛应用性，其影响力也越来越大，吸引了来自统计、机器学习、数据库、万维网、生物信息学、多媒体、自然语言处理、人机交互、社会网络计算、高性能计算及大数据挖掘等众多领域的从业者和研究学者。第28届KDD会议于2022于8月14日至18日在美国华盛顿举行。
论文01：Mask and Reason: Pre-Training Knowledge Graph Transformers for Complex Logical Queries（支持知识推理的图谱预训练）
| 下载地址：KG-Transformer
| 论文作者：刘潇（清华大学）、赵时予（清华大学）、苏凯（清华大学）、岑宇阔（美团）、裘捷中（清华大学）、东昱晓（清华大学）、张梦迪（美团）、武威（美团）、唐杰（清华大学）
| 论文简介：面向复杂逻辑查询的知识图谱预训练。论文研究了知识图谱中复杂逻辑查询问题，讨论了主流的基于知识图谱嵌入的推理器的固有缺陷，并提出了基于KGTransformer的新型图神经网络推理器，及其对应的预训练与微调方法。KGTransformer在两个主要的知识图谱推理数据集上取得了最优的结果，尤其是在域外任务上取得了良好的泛化性能，证明了这一思路应用于知识图谱推理的广泛前景。
论文02：AutoFAS: Automatic Feature and Architecture Selection for Pre-Ranking System（粗排场景自动特征与结构选择算法）
| 下载地址：AutoFAS
| 论文作者：李想（美团）、周晓江（美团）、肖垚（美团）、黄培浩（美团）、陈达遥（美团）、陈胜（美团）、仙云森（美团）
| 论文简介：工业级别的搜索推荐系统主要遵循召回、粗排、精排、重排的算法体系。为了满足粗排巨大的打分规模和严格的时延要求，双塔模型仍然被广泛使用。为了提高模型的效果，一些方案会额外使用精排的打分知识进行蒸馏。但仍有两大挑战亟待解决：
如果不把时延真正作为一个变量放到模型中进行联合优化，效果必然大打折扣；
如果把精排的打分知识蒸馏给一个手工设计的粗排结构，模型的表现也肯定不是最优。
本文使用了神经网络框架搜索 (Neural Architecture Search) 的方法，开创性地提出了AutoFAS (Automatic Feature and Architecture Selection for Pre-Ranking System) 的算法框架，统一解决了以上两个问题：在给定时延限制和精排打分知识指导的条件下，同时选出最优的粗排特征与结构组合方案，达到了SOTA的效果。本方案已经在美团主搜场景下全量使用，取得了明显的线上提升。
论文03：Automatically Discovering User Consumption Intents in Meituan（用户消费意图自动发现）
| 下载地址：Automatically Discovering User Consumption Intents
| 论文作者：李银峰（清华大学）、高宸（清华大学）、杜小毅（美团）、韦华周（美团）、罗恒亮（美团）、金德鹏（清华大学）、李勇（清华大学）
| 论文简介：城市中用户的消费行为往往由特定意图驱动。消费意图作为用户具体消费行为的决策驱动力，对于提升城市中用户行为建模的可解释性和准确性至关重要，能够广泛应用于推荐系统和精准化营销等多种业务场景。然而，消费意图难以获取，从用户消费数据和评论中只能挖掘到十分有限的意图类型。因此，从消费数据中自动地发现新的未知意图是一项至关重要但极具挑战性的任务，主要面临以下两点关键性挑战：（1）如何对不同类型偏好下的消费意图进行编码；（2）如何仅用少量的已知意图实现对未知意图的发现。为了应对上述挑战，本文提出了基于超图神经网络和半监督学习的意图发现模型AutoIntent（包括解纠缠的意图编码器和意图发现解码器两部分），实现对美团用户消费意图的自动发现。
具体而言，在解纠缠意图编码器中，本文构建了三组对偶超图来分别捕获三种不同类型偏好（时间相关偏好、地点相关偏好和内在偏好）下的高阶关系，并通过超图上的信息传播机制为用户学习解纠缠的意图表征。在意图发现解码器中，本文基于去噪后的意图表征相似性来构建成对样本的意图伪标签，通过半监督学习的方式实现从已知意图到未知意图的知识迁移，完成意图发现。本文在美团大规模的工业数据集上与多种先进基准算法进行比较，实验结果表明，提出的AutoIntent方法相比于已有最佳方案可以取得15%以上的显著性能提升。总的来说，本文为理解并建模城市中的用户消费行为提供了一种新的研究思路。
论文04：Modeling Persuasion Factor of User Decision for Recommendation（说服因素效果建模）
| 下载地址：Modeling Persuasion Factor
| 论文作者：刘畅（清华大学）、苑苑（清华大学）、高宸（清华大学）、白琛（美团）、罗灵锐（美团）、杜小毅（美团）、史鑫磊（美团）、罗恒亮（美团）、金德鹏（清华大学）、李勇（清华大学）
| 论文简介：在真实城市生活中，对于餐饮、出行等实际需求，用户会综合根据品牌、价格等多个方面的因素做出决策。现有的推荐系统对这些因素建模往往呈现“黑盒”形式，未能回答具体决策因子如何影响用户决策行为的科学问题，从而导致推荐性能受限。本文基于真实世界的餐饮消费、出行数据，利用用户交互行为数据与对应不同因素的说服文案数据，显式建模各类因素对用户决策的影响，提升推荐系统准确率与可解释性。
具体而言，首先构建用户-商品交互图，将不同类别的说服文案作为图中的异质边，利用多层图卷积网络生成用户、商品与文案的表征；其次，考虑到不同用户对说服文案的敏感程度不同，在交互概率预测过程中个性化地为每个用户的敏感性进行自适应建模，提高预测置信度。进一步地，为解决普遍存在的用户交互记录稀疏性的问题，提出基于反事实推断的数据增强方式，合理生成了大量高质量数据，有效辅助了表征学习的过程，实现精准推荐。本文在美团大规模业务数据集上与多种先进基准算法比较，取得了显著的性能提升；进一步的分析表明，提出的模型能够有效表达用户对不同因素的偏好，同时准确建模了不同用户之间的行为差异。总的来说，本文为研究城市中用户决策行为的可解释机理提供了基础。
论文05：Practical Counterfactual Policy Learning for Top-K Recommendations（用于 Top-K 推荐的反事实策略学习）
| 下载地址：Counterfactual_Top-K/xcf
| 论文作者：刘亚旭（台湾大学&美团实习生）、颜瑞楠（台湾大学）、原博文（台湾大学&美团实习生）、史润东（美团）、燕鹏（美团）、林智仁（台湾大学）
| 论文简介：对于训练机器学习模型，一项关键任务是通过收集的反馈（例如，评分、点击）来构建训练数据。然而，从理论和实际经验中可以发现，收集的反馈中选择偏差会导致训练得到的模型有偏，从而导致训练结果是不是最优策略。为了解决这个问题，反事实学习受到了很多关注，现有的反事实学习方法可以分为Value Learning 方法和Policy Learning方法。
本文研究了具有较大决策空间的Top-排序模型的Policy Learning 方法，提出了一个实用的学习框架，解决了较大决策空间学习中存在的Importance Weight 爆炸、样本较少导致方差较大、训练效率低等问题。开源数据实验验证了所提出框架的有效性和效率。
论文06：Applying Deep Learning Based Probabilistic Forecasting to Food Preparation Time for On-Demand Delivery Service（深度学习订单出餐时间概率预测）
| 下载地址：Applying Deep Learning
| 论文作者：高成良（美团）、张凡（美团）、周越（美团）、冯榕根（美团）、茹强（美团）、边凯归（北京大学）、何仁清（美团）、孙致钊（美团）
| 论文简介：在即时配送系统中，准确预估订单的商家出餐时间对用户和骑手体验都非常有价值。该问题主要有两个技术挑战，即样本标签不完整（部分订单只有出餐时间的大致范围）和数据不确定性大，常规的点估计回归方法很难处理。
本工作首次应用概率估计刻画订单出餐时间的不确定性，提出了一种基于深度学习的非参数化方法，并在特征构建和模型设计中充分利用范围标签的数据样本。在概率估计中，本文提出了S-QL损失函数，并证明了其与S-CRPS的数学关系，基于此对S-CRPS进行分位数离散化以优化模型参数。基于真实的配送数据评估以及线上A/B实验均证明了该方法的优势和有效性，该方法的预估结果已在美团即时配送系统中的多个核心模块中应用。
论文07：A Framework for Multi-stage Bonus Allocation in Meal Delivery Platform（多阶段送餐奖励框架）
| 下载地址：A Framework for Multi-stage Bonus Allocation
| 论文作者：吴卓林（美团）、黄方胜（美团）、周琳钧（美团）、宋宇（美团）、叶成鹏（美团）、聂鹏宇（美团）、任昊（美团）、郝井华（美团）、何仁清（美团）、孙致钊（美团）
| 论文简介：美团配送旨在为顾客和餐厅提供优质稳定的服务，但每天仍然有数十万订单因为无人接单而被取消，订单的取消对用户体验和美团的声誉造成了极大的损害。为了解决这个问题，美团提供了一笔专项资金来提高尾部订单的用户体验。未被接起的订单将持续地曝光给骑手，因此我们需要持续地决策订单的额外奖励金额，直到订单被取消或被接单。由于订单上一时刻的激励方案会显著影响后续阶段订单的存续与取消概率，因此这一问题是复杂的多阶段时序决策问题。为了更好地提升用户体验，我们提出了一个新的框架来解决这一问题。这一框架包括三个部分：
半参数化的订单完成概率与取消概率模型；
基于拉格朗日对偶的动态规划算法；
在线的实时分配算法。
其中半参数化的订单完成（取消）概率模型用于预测分配给订单的奖励金额与订单在这一时刻接起并最终完成（取消）的概率的关系、拉格朗日对偶动态规划算法主要通过历史订单数据计算每个分配时序的拉格朗日乘子解，在线分配算法使用离线部分获得的结果为每个订单计算出相应的激励方案。我们在真实配送场景上进行了A/B实验，实验结果表明新算法相较于基线算法的取消订单量下降了25%，显著提升了用户体验。
写在后面
以上这些论文是美团技术团队与各高校、科研机构通力合作的成果。本文主要介绍了美团在图谱预训练、选择算法、意图自动发现、效果建模、策略学习、概率预测、奖励框架等技术领域一些科研工作。希望能对大家有所帮助或启发，也欢迎大家跟我们进行交流。