FedFast: Going Beyond Average for Faster Training of Federated Recommender Systems

超越平均水平更快训练联邦推荐系统

idea类似的一篇论文
参考博客

论文试图解决什么问题

该论文试图解决在联邦学习中训练推荐系统的速度和准确性问题。在传统的推荐系统中，用户的个人数据需要上传到集中式服务器进行训练，存在隐私和数据安全的风险。而联邦学习通过在用户设备上本地训练和推理，避免了数据共享和隐私泄露的问题。然而，联邦学习中的训练过程可能会导致用户性能下降、通信负载增加和训练时间延长。因此，该论文旨在提出一种更高效的方法，以加快联邦学习中推荐系统模型的训练速度，使用户能够在训练过程完成之前就享受到更准确的推荐结果。

本文主要创新点

本文引入了两种新的技术：采样技术和聚合策略。首先是采样技术，本文使用了一种名为ActvSAMP的主动采样算法，通过将客户端分为不同的群集，并使用k-means算法进行聚类，从而形成具有代表性的采样集。每个群集中随机选择一个客户端，直到采样集中包含了所需数量的客户端。这样的采样方式可以反映领域中不同用户群体的特点。其次是聚合策略，本文使用了一种名为actvagg的聚合策略。该策略通过更新从属嵌入来改进模型的训练。对于每个群集，计算委派给该群集的代表的用户嵌入之间的差异的平均值。然后将这些平均差异乘以一个衰减因子，并添加到从属嵌入中。这样的聚合策略可以提高模型的训练速度和准确性。通过采样技术和聚合策略的结合，FedFast方法能够在不降低模型推荐准确性的情况下，显著提高联邦学习推荐模型的收敛速度。

本文提出的模型是如何减少收敛次数。

文章中提出的模型是FedFast，通过引入ActvSAMP和ActvAGG来减少模型的收敛次数。ActvSAMP通过在每轮通信中仅选择一部分客户端参与模型更新，减少了通信开销。ActvAGG则通过自适应地选择参与聚合的客户端，使得每轮聚合的模型更具有代表性。这样，FedFast在比较少的通信轮数内就能够收敛到接近最佳性能，相比于传统的FedAvg算法，收敛速度更快。

FedFast相比FedAvg的几大优势

1. 更快的收敛速度：FedFast通过引入两个新的组件（ActvSAMP和ActvAGG），能够更智能地选择参与每一轮训练的用户，并以更快的方式组合本地训练的模型，从而加快了训练过程的收敛速度。
2. 更高的推荐质量：虽然FedFast在训练过程尚未完成时就能提供更准确的推荐结果，保证用户在训练过程中能够受益于更准确的推荐。
3. 更高的用户隐私保护：FedFast采用联邦学习的方式，在用户设备上本地进行训练和推断，避免了将个人数据共享给集中服务器或其他用户，从而更好地保护了用户的隐私。
4. 更高的可扩展性：由于Federated Learning的分布式特性，FedFast能够更好地应对训练复杂推荐系统模型所需的大规模用户和物品数据，减少了对集中服务器的计算和存储资源的需求，降低了公司的服务器维护成本。

一般来说，大多数推荐系统中现有的FL解决方案似乎都旨在提高预测精度。然而，我们的动机是改进训练过程，使其更快。
对于文章使用的Kmeans聚类算法，我们可以使用更具扩展性，更优秀的聚类算法。
收敛的更快，且推荐指标更高。
本文所提出的方法只在矩阵分解等比较简单轻量级的算法模型上测试，未来可以在更多推荐系统上测试。