联邦学习 | 如何使得模型训练精度不受影响的同时,数据隐私也不泄露呢?

在上一节《联邦学习 | 基于加噪的隐私保护算法》我们讲到了可以使用差分隐私训练算法来保护数据隐私,并且其主要的原理是对敏感数据(模型的权重或更新的梯度)进行加噪来隐藏真实的值。确定加噪的多少也是一个技术活,如果加噪太多,隐私保护效果会很好,但是模型训练可能不收敛;如果加噪太少,隐私保护效果可能不太好。那么有没有办法使得模型训练精度不受影响的同时,数据隐私也不泄露呢?

联邦学习 | 如何使得模型训练精度不受影响的同时,数据隐私也不泄露呢?_第1张图片

还真有,那就是这次讲的基于密码学的“安全聚合训练”[1][2]。安全聚合训练的总流程比较复杂,我们接下来从最简单的场景逐步分析。(想直接看完整流程的同学可以跳到第6小节哦!)

联邦学习 | 如何使得模型训练精度不受影响的同时,数据隐私也不泄露呢?_第2张图片

联邦学习 | 如何使得模型训练精度不受影响的同时,数据隐私也不泄露呢?_第3张图片

联邦学习 | 如何使得模型训练精度不受影响的同时,数据隐私也不泄露呢?_第4张图片

联邦学习 | 如何使得模型训练精度不受影响的同时,数据隐私也不泄露呢?_第5张图片

联邦学习 | 如何使得模型训练精度不受影响的同时,数据隐私也不泄露呢?_第6张图片

联邦学习 | 如何使得模型训练精度不受影响的同时,数据隐私也不泄露呢?_第7张图片

联邦学习 | 如何使得模型训练精度不受影响的同时,数据隐私也不泄露呢?_第8张图片

联邦学习 | 如何使得模型训练精度不受影响的同时,数据隐私也不泄露呢?_第9张图片

联邦学习 | 如何使得模型训练精度不受影响的同时,数据隐私也不泄露呢?_第10张图片

联邦学习 | 如何使得模型训练精度不受影响的同时,数据隐私也不泄露呢?_第11张图片

联邦学习 | 如何使得模型训练精度不受影响的同时,数据隐私也不泄露呢?_第12张图片

联邦学习 | 如何使得模型训练精度不受影响的同时,数据隐私也不泄露呢?_第13张图片

参考

  1. Practical Secure Aggregation for Federated Learning on User-Held Data 

    https://arxiv.org/pdf/1611.04482.pdf

  2. Practical Secure Aggregation for Privacy-Preserving Machine Learning 

    https://dl.acm.org/doi/pdf/10.1145/3133956.3133982

 

你可能感兴趣的:(技术博客,算法)