Dual Personalization on Federated Recommendation

联合推荐的双重个性化

代码链接
论文链接

主要创新

文章的主要创新是提出了一种双重个性化机制，用于增强联邦推荐系统的性能。这种机制能够在联邦学习框架中为每个本地模型学习用户特定的物品嵌入，从而显著提升推荐系统的效果。通过在四个数据集上进行实验，研究结果表明，引入双重个性化机制的联邦推荐方法在HR@10和NDCG@10指标上都有显著的提升，其中FedNCF方法的提升效果最为显著。在MovieLens-100K数据集上，HR@10和NDCG@10指标分别提升了13.53%和18.29%。总之，这项研究的主要创新是通过双重个性化机制有效地提升了联邦推荐系统的性能。

论文设计了一个双层优化目标：

双层优化目标指的是在提出的联邦推荐学习问题中，我们将其形式化为一个统一的联邦优化框架，其中包含两个层次的优化目标。第一层是全局优化目标，通过联邦学习的方式，在所有设备上学习一个全局模型的参数，以最小化所有客户端的累积损失。第二层是个体优化目标，每个设备上的个性化模型通过在设备上的个体数据上学习个体参数，以最小化该设备上的个体损失。因此，双层优化目标是指在全局层面和个体层面同时进行优化，以实现全局和个体之间的平衡。

双层个性化

双层个性化主要包括两个层面的个性化：一个是基于设备的个性化，即在每个设备上学习用户特定的轻量级模型；另一个是基于服务器的个性化，即在服务器上学习用户得分函数的参数。在这种双层个性化框架下，设备上的用户得分函数模块保持私有，而物品嵌入模块则与服务器共享。服务器仅对物品嵌入模块的参数进行聚合，而不会聚合设备上的用户得分函数模块。这种方式既实现了个性化，又保护了用户的隐私。

双层个性化与其他联邦学习方法的最大区别是

双层个性化机制与其他方法的不同之处在于它能够提供更为精细的个性化推荐。传统的联邦推荐方法通常只考虑了全局模型的个性化，而忽视了本地模型的个性化。而双层个性化机制则能够同时利用全局模型和本地模型，从而更好地学习用户的个性化偏好。通过将用户特定的项目嵌入到本地模型中，双层个性化机制能够更好地捕捉用户的偏好，从而提供更准确的推荐结果。因此，相对于其他方法，双层个性化机制能够在推荐系统中显著提升推荐效果。

双层个性化相比集中式方法最大的优点是什么？

• 更细粒度的个性化：双重个性化机制考虑了两种形式的个性化，可以进一步挖掘用户的偏好。
• 更适应用户特定偏好：双重个性化机制通过学习用户特定的项目嵌入来捕获用户对项目的偏好，这使得推荐系统能够更好地满足用户的个性化需求。
• 保护用户隐私：双重个性化机制可以在保护用户隐私的同时实现细粒度的个性化推荐。
• 更强的适应能力：双重个性化机制具有更强的适应能力，可以灵活地应对现代推荐应用的复杂性，例如冷启动问题、动态性、利用辅助信息以及处理多模态内容。

论文中的实验是如何设计的？

• 实验环境：论文使用四个真实世界数据集 (MovieLens-100K, MovieLens-1M, Lastfm-2K 和 Amazon-Video) 来评估所提出的 PFedRec 方法。数据集特征表格显示了各数据集的大小和用户、项目等信息。
• 基线和实现细节：作者与中心化和联邦学习方法进行比较，基线包括五种方法：MF、FedMF、NCF、FedNCF 和 FedRecon。实现细节包括用户（项目）嵌入大小为 32，批处理大小为 256，设置通信轮次为 100 次，并且根据原始论文设置其他模型细节。
• 比较分析：实验结果显示 PFedRec 方法在四个数据集上均取得了优越的性能表现。具体来说，PFedRec 在 MovieLens-100K 和 MovieLens-1M 数据集上实现了显著的性能提升，而在 Lastfm-2K 和 Amazon-Video 数据集上，PFedRec 也保持了最佳性能。
• 利用双层次个性化机制增强联邦推荐方法：作者将双层次个性化机制整合到 FedMF、FedNCF 和 FedRecon 方法中，以验证双层次个性化机制的效果。实验结果表明，所有三种联邦推荐方法在整合双层次个性化机制后均得到显著的性能提升。
• PFedRec 中的个性化仔细分析：作者提出了两个问题以验证个性化项目嵌入在 PFedRec 中的作用：Q1 为什么个性化项目嵌入在推荐方面比全局嵌入更有效？Q2 用户之间的个性化项目嵌入有多具体？为了回答 Q1 问题，作者首先讨论其直接的洞察，然后通过 t-SNE 将嵌入映射到二维空间来进行可视化。实验结果表明，PFedRec 模型能够学习用户对项目的偏好。为了回答 Q2 问题，作者将三种使用项目嵌入的情况进行比较：Global: 所有用户都使用全局项目嵌入。Own: 每个客户都使用其自己的得分函数和个性化项目嵌入。Server: 服务器上的全局项目嵌入用于推荐，而不是用户个性化的项目嵌入。
• 使用局部差分隐私保护:使用局部差分隐私技术可以在保护用户隐私的同时提供个性化的推荐服务。具体而言，在联邦学习框架中，通过在设备上学习个性化的评分函数和个性化的物品嵌入，可以实现对用户个性化偏好的捕捉。同时，为了保护用户的隐私，可以对物品嵌入进行差分隐私处理，向嵌入中注入噪声，使服务器无法通过观察嵌入的变化来推断更新的物品。此外，还可以结合其他隐私保护方法，如安全通信和差分隐私，来提供具有隐私保证的服务。总之，使用局部差分隐私技术可以实现在联邦学习框架下的个性化推荐，并保护用户的隐私。