本文的主要内容是基于电子健康记录(EHR)构建了一个医生推荐系统。该系统通过分析患者的EHR历史,提供个性化的医生推荐,以改善医疗系统的运行效率和发展远程医疗服务。为了解决数据异构性和数据隐私的挑战,文中提出了一个基于图注意力网络的分布式学习算法。该算法通过构建一个包含不同类型节点和边的异构图,从EHR数据中提取结构化信息,并在保护数据隐私的前提下进行模型训练和推荐。
1.提出了一种联邦去中心化学习图注意网络(FD-GATDR),用于基于电子健康记录(EHR)的医生推荐,该网络能够提取EHR数据中的异构结构信息,以提高推荐性能。
2.在FD-GATDR中,提出了一种异构图注意网络
(HGAT),考虑了时间敏感性和节点异构性,以更好地表示患者、医生和服务。
3.针对医院之间数据共享的隐私问题,提出了一种联邦去中心化学习算法,以满足隐私要求,同时提高客户端模型的性能。
4.通过实验证明,所提出的图模型可以比其他基线模型实现更好的性能。同时,联邦去中心化学习算法可以实现与全局训练相当的性能。
本文主要介绍了一种基于图神经网络的联邦规则推荐系统,针对智能物联网系统中规则推荐问题提出了一种新的解决方案。文章首先介绍了传统的规则推荐系统存在的问题,包括隐私和安全问题,以及传统推荐系统无法充分考虑实体结构的局限性。然后提出了基于图结构的规则推荐系统,并介绍了联邦学习在规则推荐中的应用。最后,对提出的方法进行了实验评估,展示了其在智能家居规则数据集上的有效性。
非独立同分布(Non-IID)
数据中快速收敛并学习到有用的规则推荐模型。本文主要介绍了一种名为FedGR的推荐系统框架,该框架基于社交推荐、图神经网络和隐私保护推荐领域的研究,并提出了一种新的联邦学习算法来处理推荐系统中的隐私保护问题。该框架结合了用户行为数据和社交关系信息,利用图神经网络学习用户和物品的向量表示,并通过联邦学习算法实现模型参数的聚合和更新。作者还介绍了FedGR中的一些关键算法和模块,以及对一些超参数进行了分析和实验验证。
这些创新点使得FedGR在两个公开可用的流行数据集上验证,实验结果表明,与以前的工作相比,FedGR减少了MAE和RMSE,证明了其合理性和有效性。
本文介绍了一种针对联邦推荐系统的模型污染攻击——FedRecAttack,该攻击利用公共交互信息来近似用户特征向量,进而生成恶意梯度并控制恶意用户上传到中央服务器。攻击旨在提高目标项目的曝光率,本文在三个真实数据集上进行了广泛的实验来评估FedRecAttack的有效性和副作用,结果表明FedRecAttack取得了最先进的有效性,副作用可以忽略。
CCF-A SIGIR 21
本文的主要内容是介绍了一种名为FedCT的推荐系统模型,该模型通过联邦学习和迁移学习的方式解决了分布式推荐系统中的问题。文章首先介绍了边缘协作推荐(Edge-CDR)
问题及其相关领域,然后提出了一种基于用户嵌入迁移学习的模型,并详细说明了其限制。接着,文章介绍了DUE模型及其优化框架,并在实验部分展示了模型的性能结果。最后,文章总结了研究的主要发现并讨论了未来的研究方向。
本文主要介绍了一种细粒度偏好感知
的个性化联邦POI推荐框架PrefFedPOI。该框架旨在解决POI推荐中的数据稀疏性、用户偏好的时效性和隐私保护等挑战。具体包括在每个客户端提取细粒度偏好
、设计性能增强的聚类机制
以及个性化更新本地参数
等步骤。在实验中,PrefFedPOI在两个真实世界数据集上表现优异,比现有方法取得了更好的性能。
CCF-A SIGIR23
本文主要介绍了一种名为Efficient-FedRec的隐私保护新闻推荐的有效联邦学习框架。该框架将新闻推荐模型分解为由服务器维护的大型新闻模型和轻量级用户模型。用户通过请求新闻表示和用户模型并使用本地数据计算梯度来参与模型训练,服务器对梯度进行聚合以更新用户模型和新闻模型,从而实现模型更新和新闻表示的推理。作者还介绍了在数据集中的用户信息保护,以及对框架进行的实验和分析。
EMNLP-2021 CCF-B
WSDM-2022 CCF-B
本文主要介绍了一种名为PipAttack的新型毒化攻击模型,针对去中心化的联邦推荐系统进行攻击。作者首先阐述了联邦推荐的基本设置,并正式定义了研究问题。然后详细介绍了他们提出的PipAttack方法,并使用两个真实世界的数据集进行了实验评估。作者通过实验回答了五个研究问题,包括PipAttack能否有效地在联邦推荐系统上进行毒化攻击、PipAttack是否显著损害了联邦推荐系统的推荐性能、PipAttack如何从每个关键组件中获益、超参数对PipAttack的影响以及PipAttack能否绕过服务器端部署的防御策略。此外,作者还介绍了PipAttack的关键组件,并总结了他们的主要贡献,包括设计了三个学习目标来实现攻击目标,提出了一种新颖的攻击框架,填补了联邦推荐系统中对促进项目
的攻击方法研究的空白。
针对联邦推荐系统的系统性投毒攻击方法
,其中攻击者仅具有有限的先验知识。显式推广、受欢迎度混淆和距离约束
,使攻击模型能够通过更少的模型更新实现攻击目标,同时避免对联邦推荐器的用户体验造成损害。WSDM-2023 CCF-B
本文主要介绍了一个名为FRU的方法,用于在联邦学习框架下的推荐系统中实现用户数据的删除。FRU方法的核心思想是通过回滚历史参数更新并对其进行校准来消除用户的贡献
,然后使用这些更新来加速联邦推荐器的重建。为了在资源受限的个人设备上存储所有历史参数更新,作者提出了一种基于重要性的更新选择策略和一种新颖的负采样方法
。实验结果表明,FRU可以有效地消除被攻击用户的影响,并以7倍的速度加快了重建联邦推荐器的过程。
KDD-23 CCF-A
本文主要研究了联邦学习下的新闻推荐系统的安全性问题
。作者提出了一种名为UA-FedRec的攻击方法,通过对新闻相似度和用户模型进行扰动,有效地破坏了模型的性能。作者在两个真实数据集上进行了实验,并证明了UA-FedRec的有效性。此外,作者还讨论了一些可能的防御方法,并探讨了潜在的研究方向。
本文主要研究了在垂直联邦设置中构建在线泛学术类文献阅读助手的问题。文章首先介绍了垂直联邦设置中的隐私保护挑战,并提出了一种名为O3M的隐私增强技术来解决这个问题。然后,文章详细介绍了垂直联邦线性上下文推荐算法的设计和实现过程。最后,文章通过实验验证了该算法在保护隐私的同时提供了良好的推荐性能。
CCF-A ICML-2023
本文主要介绍了一种称为VerFedGNN的垂直联邦图神经网络推荐系统。传统的推荐系统需要使用集中式数据库来训练推荐模型,但是由于数据隐私的问题,在涉及多方的推荐系统训练中,这种方法通常是不可行的。联邦学习成为了解决数据隔离和隐私问题的一个很好的解决方案。最近,图神经网络(GNN)在联邦推荐系统中变得越来越有前景。然而,一个关键的挑战是在保护图结构的隐私的同时进行嵌入传播。目前关于联邦GNN推荐系统的研究还很少。本研究提出了第一个垂直联邦GNN推荐系统VerFedGNN。我们设计了一个框架来传输:(i)使用随机投影对邻居嵌入的求和,以及(ii)通过三元量化机制扰动的公共参数的梯度。实证研究表明,VerFedGNN在保护用户互动信息的隐私方面具有竞争力的预测准确性,同时增强了隐私保护。
AAAI-2021 CCF-A
本文主要介绍了一种名为FedRec++的损失无损联邦推荐方法,用于建模用户的显式反馈。该方法旨在解决隐私保护和通信成本的问题,通过在服务器和客户端中设计去噪策略,保护用户的评分行为和评分数据隐私。作者通过实验证明了FedRec++的有效性和效率,并提出了将该方法推广到其他推荐模型和垂直联邦机器学习设置的未来工作方向。
本文的主要创新点是提出了一种无损的联邦推荐方法 FedRec++,用于建模用户的显式反馈。通过在服务器和客户端消除梯度噪声,FedRec++ 能够在保护用户隐私的同时提高推荐性能。此外,该方法通过引入去噪用户来收集梯度噪声,从而消除由随机采样项目及其对应用户导致的噪声。总体来说,FedRec++ 提供了一种在隐私保护下实现高效推荐的解决方案。
AAAI-2023 CCF-A
本文主要介绍了一种针对联邦推荐系统的非定向攻击方法以及相应的防御机制。作者首先提出了一种名为ClusterAttack的攻击方法,通过上传恶意梯度将推荐系统中的物品嵌入收敛到几个密集的聚类中,从而干扰了推荐模型的整体性能
。然后,作者提出了一种基于均匀性的防御机制,要求所有的正常客户端在本地模型训练中加入对比学习任务,使得服务器能够通过估计的物品嵌入均匀性来区分这些恶意梯度。实验证实了攻击和防御方法的有效性。
ClusterAttack的新型非定向攻击方法
,通过上传有毒的梯度使推荐模型的项目嵌入收敛到几个密集的簇中,从而使推荐器为同一簇中的相近项目生成相似的评分,并混乱排名顺序。用于保护联邦推荐系统免受此类攻击
。该机制要求所有良好的客户在训练本地推荐模型时使用额外的对比学习任务,以使项目嵌入在空间中呈均匀分布。然后,服务器通过估计更新后的项目嵌入的一致性来识别这些恶意梯度。AI2023 CCF-A
本文主要介绍了一种隐私保护的图卷积网络 (P-GCN)用于联邦式物品推荐的方法。文章首先讨论了相关工作,然后介绍了研究问题的定义、P-GCN模型的设计和隐私性分析。接着进行了三个数据集的实证研究,最后讨论了未来可能的研究方向。P-GCN模型通过在中心服务器和客户端之间传输模型参数来构建推荐模型,同时采用了组内隐藏策略和安全聚合技术来保护用户的隐私数据。文章的主要内容涉及联邦式推荐系统、图神经网络、隐私保护技术等方面。
P-GCN的新型联邦推荐框架
,用于保护用户隐私。据我们所知,P-GCN是第一个能够在分布式用户-项目图
中利用高阶连接信息的基于GNN的跨用户联邦推荐模型,同时保护用户隐私。保护隐私的图卷积方法,然后采用基于项目的用户表示来弥补由于隐私保护而导致的高阶连接建模损失
。此外,提出了一种改进的分组隐藏策略,用于用户隐私保护,可以在不损害推荐性能的情况下减少通信次数。AAAI23 CCF-A
本文主要介绍了一种隐私保护的联邦学习框架,用于跨域推荐系统
。该框架通过在不共享原始用户数据的情况下,使用联邦学习机制进行模型参数的同步更新,保护用户数据的隐私。文章还提出了用户嵌入向量的转换和特征级别的嵌入融合方法,以提高跨域推荐的性能。
本文主要内容是关于联合矩阵分解(MF)中存在的隐私威胁问题。文章首先介绍了联合MF的三种数据分区方式:水平联合MF、垂直联合MF和联合转移MF
,并讨论了每种方式下隐私威胁的具体情况。接着,文章讨论了在每种联合MF设置下可能存在的隐私威胁,并提出了隐私保护的方法,包括加密技术等。最后,文章总结了对联合MF中隐私问题的研究,并指出了未来的研究方向。
本文主要介绍了一种名为FedeRank的基于联邦学习的推荐系统框架。该框架使用户能够对其私密数据进行控制,并仅分享其中的一小部分数据。作者通过在三个真实世界数据集上进行了广泛的实验评估,展示了FedeRank提供高质量的推荐结果的能力。同时,文章还介绍了基于因子分解的推荐模型和联邦学习的基本概念。
本文主要介绍了一种快速适应和隐私保护的联邦式推荐系统。文章首先提出了两种基于深度神经网络的推荐系统模型:PrivRec和DP-PrivRec,分别用于在联邦学习环境中运行,实现隐私保护。其次,文章介绍了如何利用元学习方法快速适应新用户或不活跃用户,并提出了使用差分隐私机制增强隐私保护的DP-PrivRec模型。最后,文章进行了两个数据集的大量实验,证明了所提出模型的有效性。
提出了一种快速自适应的联邦推荐系统,通过使用基于两阶段联邦学习方法的隐私保护机制来平衡推荐性能和用户隐私之间的权衡。
在第一阶段,通过自监督学习(SSL)仅关注学习项目表示,而在第二阶段,遵循DP-PrivRec的训练过程,通过一个下游任务(即建模用户-项目交互)来优化模型参数。
通过在训练过程中采用模型无关元学习(MAML)方法,使得推荐系统能够更快地适应新用户和新数据。
引入了差分隐私(DP)概念,以保护用户隐私免受攻击,同时保持联邦学习训练框架的优势。
这些创新点共同构成了一个快速自适应且隐私保护的联邦推荐系统,能够在保护用户隐私的同时提供高效的推荐服务。
推荐系统中的元学习(Meta-Learning),有时也被称为“学习如何学习”,是一种机器学习的方法,它使得算法能够通过经验学习并改进其学习过程。在推荐系统的背景下,元学习的目的是让推荐模型能够根据不同用户的反馈和行为,快速适应并个性化推荐内容。
推荐系统中元学习的应用:
元学习方法在推荐系统中的应用示例:
本文主要介绍了一个名为"Rule: Federated Rule Dataset for Rule Recommendation Benchmarking"的数据集,用于规则推荐任务的评测。该数据集包含了智能家居设备的规则数据,并提供了两种训练模式:集中式学习和联邦学习
。文章还讨论了规则推荐系统的挑战和现有数据集的局限性,并介绍了一些相关的研究和方法。
本文主要研究了在现实系统引发的数据异质性
存在的情况下,如何评估公平的联邦推荐学习。通过分析重要的稀疏特征,作者发现了系统引发的数据异质性
的存在,并提出了一种模拟系统引发的数据异质性的方法。作者还开发了一个模拟框架来评估不同的联邦学习优化方法对模型公平性的影响。该研究对于推荐系统中的公平性和数据异质性问题进行了深入探讨。
本文主要介绍了基于Intel SGX的水平联邦学习和安全分布式训练方案,用于实现安全的分布式推荐系统的学习。推荐系统在大数据时代和人工智能等技术的发展中有着广泛的应用,但是推荐系统的模型构建通常离不开用户的数据。特别是基于深度学习的推荐系统,由于模型的复杂性和深度学习本身的特点,其训练过程不仅需要长时间的训练和丰富的计算资源,还需要使用大量的用户数据,这在数据安全和隐私保护方面提出了相当大的挑战。本文通过基于Intel SGX和TensorFlow框架的水平联邦学习和安全分布式训练方案,在不同场景下实现了安全的、分布式的推荐系统学习方案。实验结果表明,本文实现的方法在模型性能上几乎没有损失,训练速度在可接受的范围内。
本文主要研究了联邦式顺序推荐系统中的通信效率、公平性和个性化的问题,并提出了CF-FedSR框架来解决这些挑战。文章首先介绍了联邦式推荐系统的背景和挑战,然后详细描述了CF-FedSR框架的设计和关键组件,包括客户端选择、基于客户端聚类的采样、公平感知的模型聚合和个性化模块。实验结果表明,CF-FedSR框架在模型性能、通信效率和公平性方面均取得了显著的改进。
本文主要研究了在推荐系统中数据披露机制对用户隐私决策的影响,并提出了一个隐私感知的推荐框架,赋予用户对个人数据的精细控制。研究发现,不同的平台机制和推荐模型对用户的隐私决策有显著影响,优化模型能够激励用户披露更多数据,但普通用户披露的数据总量并不总是增加。此外,研究结果还指出,除了优化模型外,平台机制的优化也是吸引用户分享更多数据的另一个选择。最后,由于直接在现实世界中部署提出的框架存在挑战,研究采用模拟研究来研究提出的框架的影响。
ACM-TOIS CCF-A
本文主要介绍了一种名为“Federated Recommendation with Additive Personalization (FedRAP)” 的新型联邦学习推荐算法。该算法通过结合全局视角和个性化视角来平衡全局知识共享和本地个性化,通过添加模型来对项目嵌入进行个性化处理,以提高推荐的精度。此外,该算法还使用了稀疏正则化
和差异性正则化
来降低通信成本和保证模型的泛化性能,并提出了一种有效的课程表来逐步学习本地和全局视角。最后,该算法在多个基准测试中取得了最佳表现,超过了最近的联邦推荐方法和多个基线。
本文最主要的创新点是提出了一种具有加法个性化的联邦推荐方法(Federated Recommendation with Additive Personalization,FedRAP)。FedRAP通过在每个用户侧本地学习个性化视图,并在全局范围内学习项目视图,从而实现了一种平衡全局知识共享和本地个性化的方法。通过鼓励稀疏全局视图以节省联邦学习的通信成本,并通过两个正则化器使两个视图互补,FedRAP在多个基准测试中取得了最佳性能。
加法个性化的联邦推荐方法(Federated Recommendation with Additive Personalization,简称FedRAP)是一种在联邦学习(FL)背景下构建推荐系统的新兴挑战。FedRAP通过联邦学习(FL)在全局范围内学习项目嵌入,并在每个用户的本地端学习个性化的项目嵌入。FedRAP鼓励一个稀疏的全局观点以节省FL的通信成本,并通过两个正则化器将两个观点互补。为了为用户产生推荐,FedRAP将两个观点相加以获得个性化的项目嵌入。FedRAP在多个基准测试中实现了联邦学习设置的最佳性能,优于最近的联邦推荐方法和几个消融研究基线。
本文主要研究了针对联邦推荐系统的交互级别成员推断攻击(IMIA)。攻击者的目标是通过分析用户上传的公共参数,推断每个客户端的互动物品集合。研究发现,现有的联邦推荐系统存在用户互动数据泄露的隐私风险。为了解决这个问题,作者设计了一种IMIA攻击和有效的防御方法。攻击者通过构建阴影数据集和阴影推荐模型来逐步识别用户的互动物品
。实验结果表明,IMIA攻击的推断准确性很高,从而凸显了联邦推荐系统中用户互动数据泄露的风险。
ACM Transactions on Recommender SystemsAccepted on November 2023
本文主要介绍了一种使用联邦学习进行电影推荐的隐私保护系统。文章首先介绍了电影推荐系统的三个阶段:候选生成、排名和再排名。然后介绍了项目的目标和要求,以及系统架构和组件的设计。文章还提到了对数据集进行的分析和实验,以及解决非独立同分布和小型本地数据集的问题的技术。最后,文章总结了系统的优势和贡献。
本文主要介绍了一种安全的联邦学习推荐系统算法DRIFT。该算法通过将用户的交互信息加密,并在多个参与者之间进行安全的通信,保护用户的隐私。文章详细介绍了算法的工作原理、技术选择、实验结果等方面。
本文最主要的创新点是提出了一种名为DRIFT的分布式梯度更新算法
,用于构建安全的联邦推荐系统。这种方法旨在解决现有推荐系统中的安全问题,通过使用联邦学习、加密技术和隐式反馈来保护用户隐私,同时提供有效的推荐。DRIFT算法在理论分析和实验测试中表现出良好的性能,证明了其在保持用户隐私的同时实现高质量推荐的能力。
分布式梯度更新算法(Distributed Gradient Update Algorithm)是一种在分布式系统中用于训练机器学习模型的方法。在这种算法中,数据和计算任务被分布在多个计算节点(DO)上,每个节点负责计算其局部梯度。这些局部梯度随后被集中在一个中心服务器(COS)上,用于更新全局模型参数。这种方法允许在不共享敏感数据的情况下,训练具有较高隐私保护的机器学习模型。分布式梯度更新算法在联邦学习(Federated Learning)中得到了广泛应用,以实现安全的推荐系统。
本文的主要内容是介绍了一种基于物品引导的联邦聚合
方法,用于冷启动推荐
。该方法通过交换物品的语义嵌入来学习共同的用户偏好,并保留其他模型参数以实现用户个性化。此外,文章还提出了一种物品语义对齐机制
,用于对齐用户的物品偏好语义和服务器的物品属性语义
。当有新的物品到达时,服务器首先学习物品的属性语义,并将其分发给所有用户,用户可以基于本地训练的个性化模型直接进行冷启动推荐。
物品语义对齐机制是一种用于联邦冷启动推荐的方法,它通过将用户侧的物品偏好语义
与服务器侧的物品属性语义
对齐,以学习更全面的物品嵌入。在这个机制中,用户侧的推荐模型通过交换物品语义嵌入来学习共同用户偏好,同时保留其他模型参数以捕捉个人用户特性。此外,服务器侧部署了一个物品语义映射模型
,该模型通过原始物品属性学习物品属性语义。
物品语义对齐机制的主要优势有以下几点:
服务器首先学习物品属性语义,然后将其分发给所有用户
,这样用户可以使用本地训练的个性化模型参数直接进行冷启动推荐,而无需任何重新训练。本文主要介绍了一种个性化的联邦领域适应方法,用于物品到物品的推荐。该方法结合了个性化联邦学习和图神经网络,通过可传递和可适应的图汇总组件来实现领域适应。研究表明,通过在不同市场领域之间共享和交换推荐洞察力,可以提高物品推荐的质量。
CCF-B UAI2023
本文主要研究了针对协作学习型推荐系统的社区检测攻击(CDA)的有效性,并提出了防御策略。研究发现,即使在模型聚合过程中保持安全和机密,模型的质量指标仍可能泄露用户相似性信息。文章还探讨了如何利用有限的攻击者与用户之间的交互以及分享更少的参数来平衡隐私和效用之间的关系。此外,文章还比较了不同的隐私保护方法对攻击和效用的影响,并提出了未来工作的方向。
本文的主要内容是介绍了一种异构联邦推荐系统框架,称为HeteFedRec。传统的联邦推荐系统假设所有客户端具有相同大小的推荐模型,而HeteFedRec则允许客户端根据其资源情况自定义推荐模型的大小
。该框架通过引入异构模型大小和关系式集成自蒸馏机制,实现了不同模型大小之间的知识迁移。作者在三个真实的推荐数据集上进行了广泛的实验证明了HeteFedRec的性能优势。
本文的最主要创新点是提出了一种名为HeteFedRec的联邦推荐框架,它允许客户端自定义模型大小。HeteFedRec通过统一的双任务学习方法实现了具有不同项目嵌入大小的推荐模型的加性聚合。此外,HeteFedRec采用了一种基于关系的知识蒸馏方法来增强来自不同推荐模型的知识共享。在三个现实世界的数据集上使用两种广泛使用的推荐系统进行了大量实验,结果证明了HeteFe-dRec的有效性和通用性。
AAAI-2024 CCF-A
本文主要介绍了一种在个性化推荐系统中引入公平性的方法,即基于联邦图神经网络的公平个性化推荐。文章首先介绍了该推荐模型的损失函数和优化问题,然后引入了局部差分隐私(LDP)机制来保护用户的隐私。接着详细介绍了算法的实现和数据集的使用,并进行了实验验证。最后,提出了未来可能的研究方向。
公平性、隐私和个性化
相结合,为基于图神经网络的联邦推荐系统提供支持。本文主要介绍了一种名为UC-FedRec的个性化隐私保护推荐系统框架,旨在解决传统联邦式推荐系统在面对属性推断攻击时的隐私保护问题。UC-FedRec通过利用不同的隐私偏好,可以消除特定的敏感信息,从而满足用户的隐私需求。研究通过实验评估了UC-FedRec的性能,包括推荐效用和隐私保护能力,并对不同隐私偏好、私人属性等进行了分析。实验结果表明,UC-FedRec在保护隐私的同时能够保持较高的推荐效用,且可以根据用户不同的隐私偏好提供灵活和有效的隐私保护。
本文主要介绍了一种名为Frequently Accessed Embeddings (FAE)的框架,该框架旨在加速推荐系统的训练过程。FAE框架通过在GPU上智能地存储热门的embedding数据,减少了CPU和GPU之间的通信开销,从而提高了训练效率。文章首先阐述了推荐模型训练中热门输入和embedding数据的访问模式,然后介绍了FAE框架的设计和实现,最后通过实验证明了FAE框架相对于基准模型的加速效果和准确性。
本文最主要的创新点是提出了Frequently Accessed Embeddings(FAE)框架,它有效地在CPUs和GPUs之间分配嵌入数据,同时保持基线准确性。FAE通过优化嵌入数据布局,利用训练输入和嵌入访问模式来加速推荐系统训练。具体来说,FAE将热门嵌入(高度访问的嵌入)存储在每个GPU设备上,而将冷门嵌入(较少访问的嵌入)存储在CPUs上。这样可以在GPU上执行整个训练图,同时减少CPU和GPU之间的通信开销。
CCF-B类期刊IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS
本文主要介绍了联邦推荐系统(FedRS)的研究现状和发展趋势。FedRS是一种保护用户隐私的推荐系统,通过共享中间参数而不是真实的用户行为数据来联合训练全局推荐模型。文章从隐私保护、安全性、异构性和通信成本等方面总结了FedRS的最新研究成果,并介绍了应用和公共基准数据集。此外,文章还提出了一些未来的研究方向。
本文介绍了一种名为Federated Collaborative Filter (FCF)的新方法,它是一种基于联邦学习(Federated Learning)的个性化推荐系统。该方法允许用户的数据始终留在客户端,不会被传输到服务器,从而提高了用户的隐私保护。同时本文还介绍了一种随机梯度下降的方法来更新模型,以保持用户数据的隐私性。本文的贡献在于提出了FCF方法,并在MovieLens和一个公司内部数据集上进行了测试,证明该方法比传统方法更具隐私性,而且性能相当。
ACM-TOIS CCF-A
本文主要研究了在推荐系统中用户行为泄露的问题。文章回答了以下三个问题:(1)推荐系统的行为数据(即曝光数据)是否存在推断用户历史行为隐私的风险?(2)如果存在风险,攻击模型应该如何进行?(3)如何设计一种保护机制来降低用户行为泄露的风险?文章通过文献综述介绍了推荐、曝光数据和隐私问题在推荐系统中的研究。
SIGIR23 CCF-A
本文主要研究了联邦推荐系统中的梯度污染攻击及其防御方法
。在该研究中,作者发现了合成用户和真实用户的前K推荐结果存在很大的重叠部分,这支持了他们的猜想:如果一个目标物品在合成用户中有很高的曝光率,那么它在真实用户中的曝光率也会很高。基于这一发现,作者提出了一种名为“PSMU”的梯度污染攻击方法,并提出了一种名为“HiCS”的防御方法。实验结果表明,PSMU攻击可以显著提高目标物品的曝光率,而HiCS防御方法可以有效抵御梯度污染攻击。
可以在极少的恶意用户和较少的全局迭代次数下显著提高不受欢迎目标项目的曝光率
。WSDM-23 CCF-B
本文主要介绍了一种名为FRU(Federated Recommendation Unlearning)的联邦学习框架,用于在设备端的推荐系统中实现用户数据的有效擦除和模型重建
。FRU通过存储用户的历史更新并校准这些更新,实现了有效的用户数据擦除和模型重建,从而保护用户隐私并提高系统的安全性。文章提出了重要性基础的更新选择策略和一种新颖的负采样方法
,以在资源受限的设备上高效存储历史更新。通过实验证明,FRU能够消除特定用户的影响,并以至少7倍的速度加快模型的恢复过程。
允许在保护数据隐私的同时快速撤消特定用户的影响
。基于重要性的更新选择机制,只存储重要的项目嵌入更新
,从而降低存储成本并提高效率。半硬负采样方法,通过利用高质量负样本训练联邦推荐模型
,实现了与传统采样方法相当的模型性能,同时减少了负样本数量,从而降低了每个客户端的项目嵌入更新大小。ACM-TOIS CCF-A
本文的主要内容是介绍了一种名为LightFR的轻量级联邦推荐系统,该系统采用隐私保护的矩阵分解技术。文章首先回顾了矩阵分解、学习哈希和联邦推荐系统等相关领域的研究,然后详细介绍了LightFR的框架和算法,并从存储/通信效率、推荐效率和隐私保护等多个方面论证了其优越性。接下来,文章通过实验验证了LightFR的有效性和效率,并讨论了其对用户隐私的保护能力。
ACM-TOIS 2021 CCF-A
本文介绍了一种资源高效的联邦推荐系统(ReFRS),该系统可以有效管理动态和多样化的用户偏好,即使边缘设备资源有限且用户交互稀疏。ReFRS框架主要由分布式客户端模块和语义服务器两个组件组成。客户端模块包括用户交互采样器、嵌入模型和推荐模型,用于学习每个用户的动态偏好。语义服务器根据共享参数聚合模型,并通过动态更新用户分组来适应新的交互和新的客户端。文章还介绍了使用向量量化和自我监督技术来处理连续潜变量空间的问题,以及采用差分隐私和同态加密保护用户隐私的方法。实验结果表明,ReFRS在保护用户隐私的同时,能够提供准确的推荐模型。
ACM SIGKDD22 CCF-A
本文主要介绍了一种针对联邦推荐系统的有效且隐蔽的非目标性攻击方法,称为FedAttack。该方法利用了硬负采样机制
,在恶意客户端上选择与用户兴趣最相似的负样本和与用户兴趣最不相似的正样本,以污染联邦推荐模型的训练。文章通过在两个推荐系统基准数据集上进行广泛实验,验证了FedAttack相比许多基准方法在攻击和对抗方面的效果更好。同时,FedAttack还能够有效规避现有的联邦学习的防御和检测机制。作者指出,现有的联邦推荐方法存在安全漏洞,未来的联邦推荐系统设计需要更加安全和鲁棒。
本文的最主要创新点是提出了一种名为FedAttack的有效且隐蔽的投毒攻击方法
,用于针对联邦推荐系统的无针对性投毒攻击。这种方法通过使用全局最难的样本来破坏模型训练。具体来说,恶意客户端首先根据本地用户配置文件推断用户嵌入。接下来,它们选择与用户嵌入最相关的候选项目作为最难的负样本
,并找到与用户嵌入最远的候选项目作为最难的正样本。然后将这些投毒样本推断的模型梯度上传以进行聚合。在两个基准数据集上的大量实验表明,FedAttack可以有效降低各种联邦推荐系统的性能,同时无法被许多现有方法有效检测或防御。
KDD-23 CCF-A
本文的主要内容是研究在隐私保护的情况下构建垂直联邦学习模型的在线推荐系统。文章提出了一种名为O3M的隐私增强技术,通过对用户信息进行加密保护,实现了在垂直联邦设置下的个性化推荐。研究表明,这种方法能够在保护隐私的同时保持推荐性能,并且通过使用来自其他参与者的数据,可以进一步改善推荐质量。
本文的主要创新点是提出了一种名为Orthogonal Matrix based Mask Mechanism(O3M)的方法,用于在垂直联邦设置下保护用户隐私的推荐系统。O3M通过在不损失效率和统计效用的情况下进行私密计算,实现了在垂直联邦学习中的上下文多臂老虎机问题。这使得在保护用户隐私的同时,实现了类似于集中式多臂老虎机的性能。此外,O3M降低了计算和通信成本,使得在垂直联邦设置下的推荐系统更加高效。
本文主要介绍了一个基于分层联合协同过滤的隐私保护推荐系统框架。文章提出了一种采用联邦学习的方式进行推荐模型训练,以隔离用户原始数据,并采用count sketch和差分隐私技术来保护用户数据的隐私。通过这个框架,服务器可以通过隐私保护和成本效益的分布式学习方式为大规模网络中的用户进行推荐决策。
本文主要介绍了一种隐私保护的联邦跨领域推荐模型——FedCDR。该模型通过在用户设备上存储本地数据,减少用户的隐私担忧。同时,通过嵌入转换层和冷启动用户的表示,解决了数据稀疏和冷启动问题。文章详细介绍了FedCDR的框架和算法,并在实验中验证了其在推荐性能和隐私保护方面的有效性。
CIKM 22-CCFB
本文主要介绍了一种名为FedCDR的跨领域推荐系统,旨在解决推荐系统中的冷启动问题和数据隐私
问题。该系统采用联邦学习框架,允许不同域的客户端共同训练模型,从而实现跨领域的知识转移和个性化推荐,同时有效保护用户数据隐私。文章详细介绍了FedCDR的架构、工作流程、模型设计和实验结果,并讨论了其在冷启动问题和数据隐私保护方面的优势。
本文主要介绍了一种个性化联邦推荐系统,并提出了历参数聚类的方法来解决联邦学习中存在的非独立同分布的。本文还介绍了推荐系统的常见架构和推荐型,并对当前主流的协同过滤和矩阵分解推荐进行了介绍。本文提出了一种基于用户嵌入特的推荐系统模型来实现跨端联邦推荐。文章还介绍了在邦推荐系统中性能瓶颈和架构决策的问题,并提出了相应的解决方案。
动态聚类联邦学习方法
,解决了由于用户本地数据不符合独立同分布而导致的训练模型收敛性差的问题,并与传统联邦学习方法进行了理论和实验比较。本文主要介绍了一种安全的分布式矩阵分解方法,称为FedMF(Federated Matrix Factorization)。该方法采用联邦学习和同态加密技术,实现了在保护用户隐私的前提下进行矩阵分解。文章首先证明了在分布式矩阵分解系统中,用户将梯度以明文形式发送给服务器会泄露用户的评分信息。然后,文章设计了基于同态加密的安全矩阵分解框架,通过在用户设备上进行梯度计算并使用同态加密对梯度进行加密,保证了用户隐私的安全性。实验结果表明,FedMF的时间效率是可接受的,并且与传统的矩阵分解方法相比,几乎没有损失预测准确度。
本文最主要的创新点是提出了一种名为FedMF(Federated Matrix Factorization)的安全矩阵分解框架,它结合了分布式机器学习和同态加密方案。FedMF允许每个用户在本地计算其评分信息的梯度,然后上传梯度(而不是原始数据)到服务器进行训练。为了增强安全性,每个用户可以使用同态加密对梯度进行加密。FedMF克服了传统混淆或加密方法的两个缺点:(i)不会损失预测精度,因为我们不会混淆数据;(ii)不需要第三方加密服务提供商,因为每个用户的设备可以处理安全的梯度计算任务。
本文主要介绍了一种针对分布式图神经网络训练的新方法——个性化子图联邦学习(personalized subgraph Federated Learning,简称PSFL),旨在解决分布式图神经网络训练过程中不同子图之间信息共享的问题。为了实现这一目标,文章提出了一种称为FEDerated Personalized sUBgraph learning(FED-PUB)的新框架,该框架可以在不共享数据的情况下,利用随机图上的GNN模型来计算子图之间的相似度,并将这些相似度用于在服务器端进行模型参数集成。此外,FED-PUB 还利用可学习的稀疏掩码机制来选择并更新只与子图相关的参数集。研究结果表明,该方法在多个数据集上的表现显著优于当前相关基线。
本文的主要内容是介绍了一个名为PerFedRec++的个性化联邦推荐框架,旨在解决个性化推荐系统中的性能退化和通信成本高的挑战。该框架通过预训练过程增强模型性能和减轻通信负担,并利用用户-物品交互数据学习用户表示,并将相似用户分组并分配群集级别和全局推荐模型以获得个性化推荐。实验证明了PerFedRec++在真实数据集上的有效性和高效性。
NeurIPS 2021 CCF-A
本文主要介绍了一种针对跨平台社交推荐的稀疏数据利用方法,提出了一个名为S3 Rec的框架,并通过两个安全的稀疏矩阵乘法协议来提高模型训练的效率。文章通过实验验证了S3 Rec相比于现有方法在计算时间和通信量方面的显著改进。
本文的主要内容是介绍了一种名为PrivateRec的差分隐私联邦新闻推荐系统的训练和在线服务框架。当前的推荐系统依赖于用户行为数据来个性化推荐新闻文章,但这涉及到用户隐私和信任问题。为了解决这个问题,PrivateRec提出了一种隐私保护的联邦训练和在线服务机制
,通过将用户嵌入向量分解为低维注意力向量,并引入随机填充机制来降低噪声影响,从而提高推荐系统的效用和隐私保护性能。
IJCAI-23 CCF-A
本文主要介绍了一种新的个性化联邦推荐框架PFedRec,旨在同时学习部署在终端设备上的多个用户特定的推荐模型。该框架采用了双重个性化机制,即通过个性化的评分函数和个性化的物品嵌入来实现细粒度的个性化。作者通过实验证明,与现有的联邦推荐方法相比,PFedRec在多个数据集上取得了更好的推荐性能。
本文的主要内容是介绍了一种基于图神经网络和联邦学习的跨企业推荐方法。文章通过在Ciao和Epinions两个经典数据集上进行实验,评估了该方法的推荐性能。文章还提出了一种损失加权的联邦聚合算法,用于改善参与者之间的性能不平衡,并设计了一种动态更新的损失注意力方法,提高了系统的公平性和稳定性。
本文主要介绍了一种隐私保护的概念股票推荐方法,该方法利用联邦学习从私人论坛评论和公共社交媒体中学习概念-股票表示。文章提出了两种方法:联邦元嵌入(FedME)和联邦图元嵌入(FedGME),并通过实验证明了这两种方法在推荐准确性和隐私保护方面的优势。
ACM-TIST CCF-B
本文的主要内容是介绍了一种基于图神经网络的联邦社交推荐方法(FeSoG)。该方法旨在解决社交推荐中的异质性、个性化和隐私保护等挑战。文章首先介绍了社交推荐和联邦学习的相关工作和背景知识,然后提出了FeSoG的框架和优化过程。接着,文章进行了大量的实验来评估FeSoG的效果,并与其他方法进行了比较。实验结果表明,FeSoG在多个数据集上显著优于现有的联邦推荐系统。
KDD20 CCF-A
本文主要介绍了一种名为FedFast的方法,用于在联邦学习框架下更高效地训练推荐系统模型。作者提出了一种新的策略来选择训练模型的用户子集,以提高训练速度,同时不损失准确性。作者通过实验证明了FedFast在推荐质量和训练速度方面的优势。文章还介绍了FedFast的两个关键组件:ActvSAMP和ActvAGG。
本文最主要的创新点包括以下两个方面:
这篇文章的主要研究方法是提出了一个名为FedGNN的联邦图神经网络框架,用于保护隐私的推荐。FedGNN可以从分散的用户数据中集体训练图神经网络模型,同时利用高阶用户-项目交互信息,同时保护用户隐私。具体而言,该方法在每个用户客户端基于本地存储的用户-项目图案进行局部训练GNN模型。每个客户端将计算的局部梯度上传到服务器进行聚合,然后将其发送回用户客户端进行本地更新。文章还提出了一种保护用户隐私的用户-项目图扩展方法,以便在保护隐私的方式下寻找具有共同互动项目的邻近用户并交换嵌入以扩展本地用户-项目图。在六个基准数据集上进行的大量实验证明,该方法可以在保护用户隐私的同时,实现与现有基于集中存储用户-项目交互数据的方法相媲美的竞争性能。
本文的主要内容是提出了一种基于图神经网络的个性化联邦推荐框架(PerFedRec),通过联合表示学习、用户聚类和模型适应来实现个性化的联邦推荐。具体而言,作者构建了一个协作图,并通过联邦图神经网络联合学习表示。基于这些学习到的表示,作者将用户划分为不同的用户群组,并为每个群组学习个性化模型。然后,每个用户通过将全局联邦模型、群组级联邦模型和用户的本地模型相结合来学习个性化模型。为了减轻通信负担,作者从每个群组中智能地选择几个代表性用户参与训练。实验结果表明,与现有方法相比,所提出的方法在真实数据集上取得了更好的性能。
论文试图解决的问题是如何在联邦推荐系统中实现个性化推荐,以提高推荐性能并保护用户隐私。为了解决这个问题,作者提出了一个基于图神经网络的个性化联邦推荐(PerFedRec)框架,通过联合表示学习、用户聚类和模型自适应实现个性化推荐。此外,该方法通过从每个聚类中智能地选择几个代表性用户(而不是随机选择的用户)参与训练,以减轻重重的通信负担。在真实世界数据集上的实验证明了所提出方法的优越性能。