【联邦学习论文笔记2】4篇文章摘要和关键

1.Vertical Federated Learning: Challenges, Methodologies and Experiments

• 垂直FL (VFL)能够通过包含来自不同客户端的子模型来构建超ML模型。这些子模型通过具有不同属性的垂直分区数据进行局部训练。在本文中，我们旨在讨论VFL的关键挑战和有效的解决方案，并在真实数据集上进行实验，以阐明这些问题。
• 在此基础上，从安全隐私风险、昂贵的计算和通信成本、模型分裂可能造成的结构破坏、系统异构等4个方面讨论了基于VFL系统的研究挑战。
• 我们还对设计VFL系统时所考虑的问题逐一讨论了可能的解决方案。最后，我们利用两个现实世界的数据集评估了研究的问题和解决方案，例如DP辅助VFL、压缩增强通信效率和资源分配分割设计。
  

2 Semi-Supervised Cross-Silo Advertising with Partial Knowledge Transfer

作为一种利用跨竖井私有数据的新兴安全学习范式，垂直联邦学习(VFL)有望通过联合学习广告商和发布者私有的互补用户属性来改善广告模式。然而，将其应用于广告系统有两个关键挑战:a)标记重叠样本的有限规模，b)实时交叉库服务的高成本。在本文中，我们提出了一个半监督的拆分蒸馏框架VFed-SSD来缓解这两个限制。我们发现:i)在广告系统中存在大量未标记的重叠数据，ii)我们可以通过拆分联邦模型来保持模型性能和推断成本之间的平衡。具体来说，我们开发了一个自监督任务匹配对检测(MPD)来利用垂直分割的未标记数据，并提出了分裂知识蒸馏(SplitKD)模式来避免跨竖井服务。对三个工业数据集的实证研究1表明了我们的方法的有效性，在本地和联邦部署模式下，所有数据集的平均AUC分别提高了0.86%和2.6%。总的来说，我们的框架为跨竖井实时广告提供了一个有效的解决方案，部署成本最低，性能显著提高。

3 Residue-based Label Protection Mechanisms in Vertical Logistic Regression

本文首先提出了一种标签推理攻击方法来研究垂直逻辑回归模型的潜在隐私泄露问题。具体来说，我们发现攻击者可以利用由本地数据集构造的线性方程组和接收到的解密梯度计算出的剩余变量来推断私有标签。为了解决这一问题，我们提出了三种保护机制，即加性噪声机制、乘性噪声机制和利用局部差分隐私和同态加密技术的混合机制，以防止攻击，提高垂直逻辑回归模型的鲁棒性。实验结果表明，加性噪声机制和乘性噪声机制均能实现有效的标签保护，且模型检测精度略有下降，混合机制能实现有效的标签保护，且检测精度没有下降，证明了该保护技术的有效性和高效性。

4 Improving Privacy-Preserving V ertical Federated Learning by Efficient Communication with ADMM

• 提出了一种具有多头(VIM)的高效的VFL优化框架。为了解决我们的优化问题，我们提出了一种基于admm的方法，该方法允许在每个步骤进行多个本地更新，从而降低了通信成本。
• 为的VIM框架提出了DP机制，并证明了其隐私保障。
• 在MNIST、CIFAR、NUS-WIDE和ModelNet40数据集上进行了广泛的实验，并表明基于admm的算法在VIM下比现有的VFL框架收敛更快，实现更高的精度，并在DP下保持更高的效用。
• 基于线性人头权重准则评估VIM下的客户级解释，并演示其支持的功能，如客户去噪和汇总。