Practical Secure Aggregation for Privacy-Preserving Machine Learning论文阅读笔记

提出了一种安全聚合算法，Secure Aggregation算法，可以使得在多方学习（如联邦学习）中各方client在不暴露各自梯度的情况下实现梯度的聚合。

实验

我们提出了安全计算向量之和的算法，它满足常数迭代轮次、低通信代价、对故障具有鲁棒性、且有一个可信度受限的server。server有两种角色：一是想其他参与方发送信息，二是计算最终结果。
鉴于联邦学习系统的缺点（对于隐私的要求以及终端不同步的问题），急切需要一种安全聚合算法来解决这些问题：

1. 操作高维数据；
2. 提高通信效率；
3. 对终端用户的失联的鲁棒性；
4. 在以server为中心且不被授权的网络模型中实现尽可能强的安全性。

密码学

分别讲了秘密共享、密钥协商、认证加密、伪随机数生成、数字签名、公钥基础设施的知识。
几个算法介绍：
$\mathbf{S}\mathbf{S}.\mathbf{s}\mathbf{h}\mathbf{a}\mathbf{r}\mathbf{e}(s,t,\mathcal{U}):$共享算法，输入为秘密$s$，代表用户ID的$n$个域元素的集合$\mathcal{U}$，和一个阈值$t\le |\mathcal{U}|$，输出为共享$s_u$的集合，其中$u\in \mathcal{U}$。
$\mathbf{S}\mathbf{S}.\mathbf{r}\mathbf{e}\mathbf{c}\mathbf{o}\mathbf{n}(\{(u,s_u){\}}_{u\in \mathcal{V}},t):$，重构函数，输入为阈值$t$，参与共享的用户子集$\mathcal{V}\subseteq \mathcal{U}$且满足$|\mathcal{V}|\ge t$，输出为域元素$s$。

$\mathbf{K}\mathbf{A}.\mathbf{p}\mathbf{a}\mathbf{r}\mathbf{a}\mathbf{m}(k):$生成一些公共参数$pp$
$\mathbf{K}\mathbf{A}.\mathbf{g}\mathbf{e}\mathbf{n}(pp):$参与方$u$根据$pp$生成私-公密钥对$(s_u^{SK},s_u^{PK})$
$\mathbf{K}\mathbf{A}.\mathbf{a}\mathbf{g}\mathbf{r}\mathbf{e}\mathbf{e}(s_u^{SK},s_u^{PK}):$用户使用自身的私钥$s_u^{SK}$和所有其他用户$v$的公钥$s_u^{PK}$生成$u$和$v$之间的私有共享密钥$s_{u,v}$。
在DH密钥协商中使用了哈希函数的密钥协商方案。
$\mathbf{A}\mathbf{E}.\mathbf{e}\mathbf{n}\mathbf{c}:$认证加密的加密算法，输入为密钥$key$和消息$message$，输出为密文$ciphertext$。
$\mathbf{A}\mathbf{E}.\mathbf{d}\mathbf{e}\mathbf{c}:$认证加密的解密算法，输入为密文$ciphertext$和密钥$key$，输出为原始明文或者是错误一个符号。
$\mathbf{P}\mathbf{R}\mathbf{G}(b):$以$b$为随机种子的伪随机数生成算法。

$\mathbf{S}\mathbf{I}\mathbf{G}.\mathbf{g}\mathbf{e}\mathbf{n}(k):$以安全参数$k$作为输入，输出为一个私钥$d_{SK}$和一个公钥$d^{PK}$。
$\mathbf{S}\mathbf{I}\mathbf{G}.\mathbf{s}\mathbf{i}\mathbf{g}\mathbf{n}(d^{SK},m):$以私钥$d^{SK}$和消息$m$作为输入，输出为签名$\sigma$。
$\mathbf{S}\mathbf{I}\mathbf{G}.\mathbf{v}\mathbf{e}\mathbf{r}(d^{PK},m,\sigma ):$输入为公钥$d^{SK}$，消息$m$和签名$\sigma$，验证签名的合法性。

技术直觉

$\mathcal{S}$是服务器，$\mathcal{U}$是$n$个client的集合，每个client $u\in \mathcal{U}$有$m$维的向量$x_u$。要计算${\sum }_{u\in \mathcal{U}}{x}_u$。为了简化运算，是在模$R$剩余系中进行计算。

一次一密掩码

假设对于每对用户$(u,v)$且$u<v$，他们之间有一个随机向量$s_{u,v}$。那么

对$y_n$求和也即是对$x_n$求和。
但是有两个缺点，一是两两进行$s_{u,v}$的交换有通信成本。二是如果client $u$在交换$s_{u,v}$之后，计算$y_n$之前掉队了，那么他的向量掩码仍会被计算。

高效通信并处理掉队用户

不使用掩码$s_{u,v}$但是使用公共种子进行伪随机数生成会减少通信代价。使用DH算法进行计算。

双向掩码保护安全

Sec Agg算法细节

算法在一个server和$n$个users集之间运行，包含有$4$个轮次。每个用户有长度为$m$的输入向量$x_u$。