差分隐私——高斯机制(The Gaussian Mechanism)

最近实验室的师弟汇报高斯机制，自己也经常遇到，所以学习一下。本文来自Dwork女士的《The Algorithmic Foundations of Differential Privacy》的附录A，其中有一些细节没有看懂，期盼有明白的同学能够给予解答，同时也希望能指出本文存在的错误。

高斯机制

$(ϵ,\delta )-DP$

定义一：(隐私损失 privacy loss)对于两个相邻的数据集$D,D^{\prime }$（即 $||D-D^{\prime }|{|}_1=1$)，输出 $o$ 和随机函数 $M$ ，该随机函数造成的隐私损失$c_M(o,D,D^{\prime })$定义为$$c_M(o,D,D^{\prime }):=ln\frac{Pr[M(D)=o]}{Pr[M(D^{\prime })=o]}$$
定理一：随机函数$M$是 $(ϵ,\delta )$-DP 的充分条件是其隐私损失$c_M(o,D,D^{\prime })$满足$Pr[c_M(o,D,D^{\prime })>ϵ]\le \delta$

证明：定义$B=\{o:c_M(o,D,D^{\prime })>ϵ\}$
$$\begin{array}{rl}Pr[M(D)\in S]& =Pr[M(D)\in S\cap B]+Pr[M(D)\in (S-B)]\\ & \le Pr[M(D)\in B]+Pr[M(D)\in (S-B)]\\ & \le Pr[M(D)\in B]+e^{ϵ}Pr[M(D^{\prime })\in (S-B)]\\ & \le Pr[M(D)\in B]+e^{ϵ}Pr[M(D^{\prime })\in S]\end{array}$$
如果$Pr[c_M(o,D,D^{\prime })>ϵ]<\delta$ ,
则Pr[M(D) $\in$ S] $\le$ Pr[M(D) $\in$ B] + e${}^{ϵ}$Pr[M(D’) $\in$ S].
即算法M满足$(ϵ,\delta )-DP$.
说明：$(ϵ,\delta )-DP$的充分条件是隐私损失被限制在$ϵ$之内，同时也允许很小的概率$\delta$打破这个限制。
其中${△}_{2}f=ma{x}_{{adjacent}_{D,D^{\prime }}}||f(D)-f(D^{\prime })|{|}_2$,f为查询函数。
$$\begin{array}{rl}\frac{Pr[M(D)=o]}{Pr[M(D^{\prime })=o]}& =\frac{Pr[f(D)+N=o]}{Pr[f(D^{\prime })+N=o]}\\ & =\frac{Pr[N=o-f(D)]}{Pr[N=o-f(D^{\prime })]}\\ & =\frac{e^{-\frac{[o-f(D){]}^2}{2{\sigma }^2}}}{e^{-\frac{[o-f(D^{\prime }){]}^2}{2{\sigma }^2}}}\\ & =\frac{e^{-\frac{[o-f(D){]}^2}{2{\sigma }^2}}}{e^{-\frac{[o-f(D)+\Delta f{]}^2}{2{\sigma }^2}}}\\ & =\frac{e^{-\frac{x^2}{2{\sigma }^2}}}{e^{-\frac{(x+\Delta f{)}^2}{2{\sigma }^2}}}\end{array}$$
由于概率恒正
$$\begin{array}{rl}|ln\frac{e^{-\frac{x^2}{2{\sigma }^2}}}{e^{-\frac{(x+\Delta f{)}^2}{2{\sigma }^2}}}|& =|ln{e}^{\frac{-1}{2{\sigma }^2}[x^2-(x+\Delta f{)}^2]}|\\ & =|-\frac{1}{2{\sigma }^2}[x^2-(x^2+2x\Delta f+\Delta f^2)]|\\ & =|\frac{1}{2{\sigma }^2}(2x\Delta f+(\Delta f{)}^2)|\\ & <ϵ\end{array}$$

说明：书上少写了一个t
$$\begin{array}{rl}Pr[x>t]& ={\int }_t^{\infty }\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{x^2}{2{\sigma }^2}}dx\\ & \le -\frac{\sigma }{\sqrt{2\pi }}{\int }_t^{\infty }\frac{1}{t}{e}^{-\frac{x^2}{2{\sigma }^2}}d-\frac{x^2}{2{\sigma }^2}\\ & \le \frac{\sigma }{\sqrt{2\pi }t}{e}^{-\frac{t^2}{2{\sigma }^2}}\end{array}$$


$$\begin{array}{rl}\frac{1}{2{\sigma }^2}(\frac{{\sigma }^2ϵ}{\Delta f}-\frac{\Delta f}{2}{)}^2& =\frac{1}{2{\sigma }^2}[\Delta f(\frac{c^2}{ϵ}-\frac{1}{2}){]}^2\\ & =[\Delta f(\frac{c^2}{ϵ}-\frac{1}{2}){]}^2[\frac{{ϵ}^2}{c^2(\Delta f{)}^2}]\frac{1}{2}\\ & =\frac{1}{2}(\frac{c^2}{ϵ}-\frac{1}{2}{)}^2\frac{{ϵ}^2}{c^2}\\ & =\frac{1}{2}(c^2-ϵ+{ϵ}^2/4c^2)\end{array}$$
先讨论第一项$ln(({\sigma }^2ϵ/\Delta f-\Delta f/2)/\sigma )$,得出c的一个不太紧的界，由第二项$({\sigma }^2ϵ/\Delta f-\Delta f/2{)}^2/2{\sigma }^2$得出一个关于c更紧的界(tighter)。不清楚$c\ge 1$这一条件怎么来的，由对数函数的性质可推出$c\ge 3/2$.

这里能去掉第一项的原因是当$c=3/2$时，第一项为0；当$c>3/2$时，第一项大于0.故只留第二项这个不等式也是成立的.

证明结束.

总结

1、为什么$\sigma =c\Delta f/ϵ$要写成这种形式；
2、不清楚$c\ge 1$怎么来的；
3、再看看高斯在DP- SGD中的应用.

references：

The Algorithmic Foundations of Differential Privacy
Composition Theorem