差分隐私与深度学习--联邦学习

项目：
tensorflow官方差分隐私项目：
https://github.com/tensorflow/privacy

论文：
Federated Learning with Differential Privacy:Algorithms and Performance Analysis
给出了联邦学习下差分隐私的定义，数理化地给出高斯噪声的生成过程，并且提出一个K-clients选择策略，进行实验仿真。
//公式推导还没看完。

Differential Privacy Preservation in Deep Learning: Challenges, Opportunities and Solutions
讨论差分隐私能给DL提供多少保护。在哪保护、添加多大噪声？
在深度学习里，对相邻数据集地定义：
如果两个数据集仅有一个图片-标签对仅出现在这个数据集，而不在另一个上，其他的数据一样，那么这两个数据集是相邻数据集。
（Two of databases are adjacent, if only one image-label pair is present in one database and absent in the other.）
#部分提到了组合定理。
敏感性考虑的是相邻数据集查询结果之间的最大差异，即最差情况中单个样本引起的查询输出的变化。
两种常用的机制用在DL中：拉普拉斯机制、指数机制
三种差分隐私部署的位置：
输入层（给输入的数据添加噪声）、隐藏层（给梯度添加噪声）、输出层（给输出的置信度添加噪声）。
##该文章并没有验证给模型添加噪声后仍然满足差分隐私定义。
差分隐私综述_李效光
面向数据发布和分析的差分隐私保护 张啸剑
差分隐私保护及其应用 熊平

拉普拉斯噪声证明：

1. https://blog.csdn.net/MathThinker/article/details/51464273
2. https://blog.csdn.net/GoSantiago/article/details/96139475?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-16.vipsorttest&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-16.vipsorttest
3. https://blog.csdn.net/wenzhu2333/article/details/109892369
4. https://zhuanlan.zhihu.com/p/144318152

书：
【1】
差分隐私基础：The algorithmic foundation of differential privacy
下载地址：https://www.cis.upenn.edu/~aaroth/Papers/privacybook.pdf

顶会：CCS/Usenix/SP
偏理论的：STOC/Crypto/Eurocrypto
SIGMOD 20和Usenix Sec 20 有提出将MPC与差分隐私结合起来的文章。

讯息：
#该文章能够证明给梯度添加噪声优于在输入/输出段加。
微软亚洲研究院与中山大学在最近的工作 Gradient Perturbation is Underrated for Differentially Private Convex Optimization [2] 中介绍了相关的研究工作，该论文被 IJCAI 2020 接收。研究员们发现在梯度扰动算法中加入的噪声和优化算法会相互影响，噪声会让优化算法避开最差曲率方向，而优化算法的收缩性则可以弱化之前步骤所添加的噪声。所以研究员们在分析中利用了这种相互影响，推导出了一个新的基于期望曲率的理论性能，可以显式地看出梯度扰动比另外两种扰动方式（目标扰动和输出扰动）的优势。梯度扰动依赖期望曲率，而目标扰动或输出扰动则依赖最差曲率，在实际中期望曲率往往比最差曲率大得多。研究员们还给出了另外两种扰动无法利用这种相互影响的原因——在目标扰动和输出扰动中，都需要确定单个数据点对最终学到的模型的影响（敏感度），这是由目标函数的 Lipschitz 系数和强凸系数决定，而这些系数又是由问题本身的特征所决定，与优化算法无关。据此，梯度扰动是一种实现差分隐私机器学习的有效算法。在之后的研究中，研究员们也会将重点放在梯度扰动算法（如 DP-SGD）方面。
关注微软亚洲研究院，期待志同道合的伙伴加入微软亚洲研究院一起做更隐私的深度机器学习！简历可发送至 [email protected]。