ICML/ICLR‘22 推荐系统论文梳理

ICML 2022已公布录用论文:

Accepted Papers

ICLR 2022已公布录用论文:

ICLR 2022 Conference | OpenReview

机器学习三大会质量较高，但推荐系统相关论文较少，ICLR公开评审，未录用论文也可以获取，在此一并整理，未录用论文会标出。几篇读下来都相对晦涩，主要还是了解一下定义了什么问题，提出了什么方法，开拓思维，思考在实际业务中是否可能有结合点。

论文汇总

(以下数字为本篇论文序号)

公平性: 1

EE: 2

因果推理: 3

图网络: 4

协同过滤: 5,6

多任务学习: 6

1.【ICML 2022】Estimating and Penalizing Induced Preference Shifts in Recommender Systems

论文链接：https://arxiv.org/abs/2204.11966

论文机构：伯克利、麻省理工

论文分类：RS effects on users’ internal states，个人感觉该方向可以归到公平性

论文总结：推荐系统 (RS) 向用户展示的内容会影响他们，在选择部署推荐系统时，也隐含地选择诱导用户特定的内部状态 (induce specific internal states in users)。更有甚者，通过长期优化训练的系统会具有控制用户的能力，例如改变他们的偏好，使他们更容易满足。在本文中，作者研究用户的诱发偏好变化 (induced preference shifts)。作者认为，在系统部署之前，系统设计者应该估计推荐系统可能引起的转变，评估该转变是否可取，甚至积极优化以避免可能有问题的转变。该过程涉及两个具有挑战性的因素：1）估计需要预测假设策略在部署后将如何影响用户偏好，本文通过使用历史用户交互数据来训练隐含用户偏好动态的预测用户模型来做到这一点；2）评估和优化还需要指标来评估这些影响是操纵性的还是其他不想要的，本文使用“安全转变”的概念，它定义了一个行为安全的信任区域。模拟实验展示了文中方法学习到的偏好动态模型在估计用户偏好以及它们对新推荐器的响应方面是有效的。此外，本文表明优化留在信任区域的推荐器可以避免操纵行为，同时仍能产生参与度。

本文贡献主要是：1）提出了一种方法来估计推荐系统策略部署可能引起的偏好变化； 2) 定义安全转移的框架，可用于评估偏好转移是否有问题； 3）展示如何使用这些指标来优化推荐器，从而惩罚不必要的变化。 随着偏好动态被学习（而不是手工制作），文中的方法有望应用于真实的用户数据。 虽然人类偏好没有基本事实，但验证模型预测行为的能力可以让人们有信心使用它来评估和惩罚不受欢迎的偏好变化。 作者承认这只是第一步，在具有相对强假设的理想化环境中进行了测试。 然而，作者希望这可以成为进一步研究的起点，重点是放宽这些假设并使这些想法适用于真实 RS 的复杂性。

2.【ICML 2022】Learning from a Learning User for Optimal Recommendations

论文链接：https://arxiv.org/abs/2202.01879

论文机构：弗吉尼亚大学

论文分类：有点偏EE，bandit

论文总结：在真实世界的推荐问题尤其是那些推荐空间非常大的问题中，用户会学习根据他们消费过的商品的经验来估计新推荐的效用。这反过来会影响他们与系统的交互动态，并可能使以前建立在已知的用户假设上的算法失效。作者构建了一个模型来捕捉这样的“学习用户”，并设计了一个高效的系统端学习方案，提出了噪声鲁棒主动椭球搜索 (Noise-Robust Active Ellipsoid Search，RAES)，以应对来自此类“学习用户”的非平稳反馈带来的挑战。有趣的是，作者证明了 RAES 的遗憾随着用户学习的收敛速度变差而逐渐恶化，直到当用户的学习未能收敛时达到线性遗憾。在合成数据集的实验证明了 RAES 在这种同期的系统用户学习问题上的优势。该研究为建模推荐问题中的反馈循环提供了一个新的视角。

本文的主要贡献有两点。首先，作者为交互式推荐提出了一个更现实（尽管具有挑战性）的问题设置。 其次，我们为该系统设计了一种学习算法，称为噪声鲁棒主动椭球搜索 (RAES)，以在与学习用户打交道时使高效学习成为可能。 作者证明 RAES 有一个遗憾的上界，它随用户学习的收敛速度逐渐恶化。 此外，作者提出了一个下限来确认遗憾界限的严格性，并提出了将 RAES 与相关基线进行比较的实证研究。

3.【ICLR 2022 Poster】From Intervention to Domain Transportation: A Novel Perspective to Optimize Recommendation

论文链接：From Intervention to Domain Transportation: A Novel Perspective to Optimize Recommendation | OpenReview

论文机构：沃尔玛Lab、伯克利等

论文分类：因果推理

论文总结：近年来，推荐的干预性吸引了越来越多的关注，它特别激励研究人员将学习和评估推荐制定为因果推理和非随机数据缺失问题 (causal inference and data missing-not-at-random problems)。然而，很少有人认真对待违反重叠的关键假设的后果，本文证明这会严重影响结果的有效性和可解释性。作者发现当前对信息检索（IR）系统的理解中缺少一个关键部分：作为干预，推荐不仅会影响已经观察到的数据，还会干扰感兴趣的目标域（分布）。作者将优化推荐重新表述为找到一种干预，将其从观察域学习到的模式最好地传输到其干预域。为此，作者使用域迁移来描述推荐的学习干预机制，并设计了一个原则性的迁移约束风险最小化目标，将其转换为two-player minimax game。论文证明了所提出目标的一致性、泛化性和过度风险边界，并详细说明了它们与当前结果的比较。最后，作者进行了大量的真实数据和半合成数据实验，以展示文中方法的优势，并使用真实世界的 IR 系统启动在线测试。

4.【ICLR 2022 Rejected】CareGraph: A Graph-based Recommender System for Diabetes Self-Care

论文链接：CareGraph: A Graph-based Recommender System for Diabetes Self-Care | OpenReview

论文分类：图网络

论文总结：在这项工作中，作者构建了一个知识图，以在糖尿病管理的数字健康平台中捕获内容和通知的关键属性。 本文提出了一个基于深度神经网络的推荐器，它使用知识图嵌入来推荐健康助推器，通过解决冷启动和稀疏问题来最大化参与度。 文中使用留一法来评估模型，作者将提出的模型与文本相似性和基于深度交叉网络的方法作为基线进行比较。 基于知识图的模型的点击率预测 AUC 的总体提升为 11%。 作者还观察到，其模型在冷启动情况下将平均 AUC 提高了 5%。

5.【ICLR 2022 Desk Rejected】On strong convergence of the two-tower model for recommender system

论文链接：On strong convergence of the two-tower model for recommender system | OpenReview

论文分类：协同过滤，双塔模型

论文总结：推荐系统能够通过整合来自相似用户或商品的信息来预测用户的偏好商品。推荐系统中一个流行的模型是双塔模型，它采用两个深度神经网络将用户和商品嵌入到一个低维空间中，并通过用户和商品嵌入的几何关系来预测评分。尽管它被广泛用于推荐，但它的理论特性仍然很大程度上未知。在本文中，作者建立了双塔模型对最优推荐系统的强收敛性的一些渐近结果，表明它根据输入特征的内在维度实现了快速的收敛速度，这是建立双塔模型统计保证的首次尝试。通过数值实验，作者还证明了双塔模型能够捕捉用户和商品特征对评分的影响，从而在模拟示例和真实应用程序数据集中比其竞争对手具有更高的预测精度。

6.【ICLR 2022 Desk Rejected】A Multi-Task Learning Algorithm for Non-personalized Recommendations

论文链接：A Multi-Task Learning Algorithm for Non-personalized Recommendations | OpenReview

论文分类：多任务学习，协同过滤

论文总结：在本文中，作者介绍了一种多任务学习 (MTL) 算法，用于推荐非个性化视频，以便在工业视频共享平台上观看。个性化推荐已经研究了几十年，而对非个性化解决方案的研究却很少见，这在行业中仍然占有很大的份额。作为推荐系统中不可或缺的一部分，非个性化视频推荐系统也面临着几个现实世界的挑战，包括保持源项目和目标项目之间的高度相关性，以及实现多个竞争的排名目标。为了解决这些问题，本文在很大程度上扩展了基于模型的协同过滤算法，增加了相关的候选生成阶段、双塔 DNN 结构和多任务学习机制。与典型的基线解决方案相比，本文提出的算法可以从用户-项目交互中捕获线性和非线性关系，并且实验表明达到SOTA。