联邦学习隐私的方法介绍

Federated Machine Learning: Concept and Applications

#链接 https://arxiv.org/pdf/1902.04885.pdf
#论文笔记链接 （转载！！！）
https://blog.csdn.net/weixin_44002829/article/details/97171151
2.2联邦学习的隐私
隐私是联邦学习的基本属性之一。这需要安全模型和分析来提供有意义的隐私保证。在本节中，我们将简要回顾和比较用于联邦学习的不同隐私技术，并确定防止间接泄漏的方法和潜在挑战。
·安全多方计算(SMC)·
SMC安全模型自然涉及多方，并在定义良好的仿真框架中提供安全证明，以保证完全零知识，即各方除了输入和输出什么都不知道。零知识是非常理想的，但是这种理想的特性通常需要复杂的计算协议，而且可能不能有效地实现。在某些场景中，如果提供了安全保证，则可以认为部分知识公开是可以接受的。在较低的安全要求下，利用SMC技术建立安全模型，可以换来效率的提高。 最近，研究使用SMC框架训练具有两台服务器和半诚实假设的机器学习模型。Ref使用MPC协议进行模型训练和验证，不需要用户透露敏感数据。最先进的SMC框架之一是Sharemind。Ref提出了一个3PC模型，该模型具有诚实的多数，并在半诚实和恶意假设中考虑安全性。这些工作要求参与者的数据在非合谋服务器之间秘密共享。
·差分隐私·
另一项工作是使用差分隐私[18]或k-匿名[63]来保护数据隐私[1,12,42,61]。差分隐私、k-匿名、分散化[3]等方法包括在数据中添加噪声，或者使用泛化方法对某些敏感属性进行模糊处理，直到第三方无法区分个体，从而使数据无法恢复，从而保护用户隐私。然而，这些方法的根仍然要求数据传输到其他地方，这些工作通常涉及准确性和隐私之间的权衡。在[23]中，作者介绍了一种联邦学习的差异隐私方法，以便通过隐藏客户端在培训期间的贡献来增加对客户端数据的保护。
[23] https://arxiv.org/abs/1712.07557
·同态加密·
采用同态加密[53]保护用户数据在机器学习过程中，通过加密机制下的参数交换实现隐私[24,26,48]。与差分隐私保护不同，数据和模型本身不传输，也不能被对方的数据猜测。因此，在原始数据级泄漏的可能性很小。最近的工作采用同态加密对云上的数据进行集中和训练[75,76]。在实际应用中，加法同态加密[2]得到了广泛的应用，在机器学习算法中需要对非线性函数进行多项式逼近，从而在精度和隐私之间进行权衡[4,35]。
拓
·秘密共享·
将秘密以适当的方式拆分，拆分后的每一个份额由不同的参与者管理，单个参与者无法恢复秘密信息，只有若干个参与者一同协作才能恢复秘密消息。更重要的是，当其中任何相应范围内参与者出问题时，秘密仍可以完整恢复。
1.秘密K 被拆分为n 个份额的共享秘密
2.利用任意 t（2≤t≤n）个或更多个共享份额就可以恢复秘密 K
3.任何t – 1或更少的共享份额是不能得到关于秘密SK的任何有用信息
4.强健性：暴露一个份额或多到t – 1个份额都不会危及密钥，且少于 t – 1个用户不可能共谋得到密钥，同时若一个份额被丢失或损坏，还可恢复密钥

·姚式混淆电路·

Alice准备一个混淆的电路版本（或者加密版本，称为混淆电路Garbled Circuit），并连同相关的随机输入密钥一起发送给Bob。Bob可以不用知道Alice的任何输入以及中间值，就可以计算出电路的输出，并发送给Alice，作为双方接受的最终计算结果。

布尔电路的输入\输出线路通常是0或者1的比特串，而对应的混淆电路的线路是随机的密钥值（或者称为混淆值）。每条线路有两个随机密钥值，分别对应0和1，计算时只能使用其中之一。Alice的隐私输入为x，其构造电路时可以根据x的二进制比特位，选择其输入线路对应的随机密钥值，发送电路计算者Bob；而Bob隐私输入y串对应的随机密钥值，需要通过多次OT（Oblivious Transfer）协议从Alice处获取对应的随机密钥值，OT协议可以保证不泄露Bob的隐私输入y给Alice。Alice构造混淆电路时，会采用加密、变换等手段为电路中每个门生成真值表，称为混淆真值表。Bob获得混淆真值表和x，y对应的输入随机密钥值后，就可以应用真值表计算混淆电路，获得最终输出，最后使用解密门电路可以得到实际的输出f(x,y)。