《横向联邦学习中 PCA差分隐私数据发布算法》论文算法原理笔记

论文地址：https://www.arocmag.com/article/01-2022-01-041.html

论文摘要

     为了让不同组织在保护本地敏感数据和降维后发布数据隐私的前提下，联合使用 PCA进行降维和数据发布，提出横向联邦 PCA差分隐私数据发布算法。引入随机种子联合协商方案，在各站点之间以较少通信代 价生成相同随机噪声矩阵。提出本地噪声均分方案，将均分噪声加在本地协方差矩阵上。一方面，保护本地数据隐私;另一方面，减少了噪声添加量，并且达到与中心化差分隐私 PCA算法相同的噪声水平。理论分析表明， 该算法满足差分隐私，保证了本地数据和发布数据的隐私性，较同类算法噪声添加量降低。实验从隐私性和可用性角度评估该算法，证明该算法与同类算法相比具有更高的可用性。

本文算法主要涉及到的几个知识点

1、PCA：pca主成分分析，广泛应用于数据降维，是将原来的n维特征映射到k维特征上，而这k维是全新的正交特征，即主成分。如何求得这k个主成分？通过计算数据矩阵的协方差矩阵，得到特征值和特征向量，选择top k的特征值对应的特征向量就是k个主成分，它们的方差最大，而这些特征值对应的特征向量组成的矩阵，便可以将数据矩阵转化到新的空间中，实现数据特征降维。
协方差公式：$$Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$$上式是两维的情况，多维的话就是一个协方差矩阵：
C o v ( X , Y , Z ) = [ C o v ( X , X ) C o v ( X , Y ) C o v ( X , Z ) C o v ( Y , X ) C o v ( Y , Y ) C o v ( Y , Z ) C o v ( Z , X ) C o v ( Z , Y ) C o v ( Z , Z ) ] Cov(X,Y,Z)=\begin{bmatrix} Cov(X,X) & Cov(X,Y) & Cov(X,Z) \\ Cov(Y,X) & Cov(Y,Y) & Cov(Y,Z) \\ Cov(Z,X) & Cov(Z,Y) & Cov(Z,Z) \end{bmatrix} Cov(X,Y,Z)= ​Cov(X,X)Cov(Y,X)Cov(Z,X)​Cov(X,Y)Cov(Y,Y)Cov(Z,Y)​Cov(X,Z)Cov(Y,Z)Cov(Z,Z)​ ​还有一个概念叫散度矩阵，是衡量数据的分散程度：$$S=(n-1)\times Cov(X,Y)$$这两者求出的特征向量是一致的。因此，整个PCA的求解过程可以如下：

1. 求解整个样本的均值，$\mu =\frac{1}{n}{\sum }_{i=1}^n{X}_i$，这里$\mu$也是一个m维（即m个特征）的向量。
2. 求协方差cov，$cov=\frac{1}{n-1}(X-\mu {)}^T(X-\mu )$
3. 根据协方差求特征值$\Lambda =[{\lambda }_1,{\lambda }_2,...,{\lambda }_m{]}_{m\times 1}$和特征向量$\mathrm{A}=[{\alpha }_1,{\alpha }_2,...,{\alpha }_m{]}_{m\times m}$.
4. 最后利用特征向量进行降维：$Y=[X_{n\times m}{\Lambda }_{m\times k}{]}_{n\times k}$，其中${\Lambda }_{m\times k}$是按照特征值倒排的k个特征向量。

2、差分隐私：($ϵ,\delta$)-差分隐私的定义，假设数据集$X$和$X^{\prime }$是“邻居数据集”，给定一个算法$f，O\subseteq range(f)$，如果$$Pr[f(x)\in O]\le e^{ϵ}Pr[f(x^{\prime })\in O]+\delta$$则算法$f$满足($ϵ,\delta$)-差分隐私，其中$ϵ$为隐私预算，是个经验值，且值越小，隐私保护水平越高，$\delta$是个差分隐私引入的松弛值。白话总结：差分隐私就是在引入噪声的情况下，实现数据的安全性。
具体的原理理解参考：https://zhuanlan.zhihu.com/p/139114240，
这篇文章中使用了差分隐私实现逻辑回归模型：https://zhuanlan.zhihu.com/p/464987876

差分隐私噪声引入机制：Laplace(拉普拉斯)机制、Exponential(指数)机制、Gaussian(高斯)机制。本文使用的是高斯机制

3、PCA高斯机制：假设算法$f(X)=X{X}^T$，对$f(X)$的输出加上满足$N(0,{\tau }^2)$分布$\tau =\Delta f\sqrt{2ln(1.25/\delta )}/ϵ$的随机噪声，则$f(X)$满足$(ϵ,\delta )$-差分隐私。其中 $X^{T}X$是$X$的协方差矩阵。$\Delta f=\underset{X,X^{\prime }}{\max }||f(X)-f(X\prime )|{|}_2$是$f$的$l_2$敏感度，$X$与$X\prime$为邻居数据集。
例如:设$X=(x_1,x_2,...,x_n)$与$X^{\prime }=(x_1,x_2,...,x_n^{\prime })$为邻居数据集，且$||x_i|{|}_2\le 1$，$\forall i\in [n]$，有算法$A=\frac{1}{n}X{X}^T$与$A^{\prime }=\frac{1}{n}{X}^{\prime }{X}^{\prime T}$，满足$\underset{X,X^{\prime }}{\max }||A-A^{\prime }|{|}_2\le \frac{1}{n}$，则此算法敏感度$\Delta f=\frac{1}{n}$，令$\tau =\frac{1}{n}\sqrt{2ln(1.25/\delta )}/ϵ$，对$A$加上满足$N(0，{\tau }^2)$分布的随机噪声，则算法$A$满足$(ϵ，\delta )$-差分隐私。

本地均分扰动联邦PCA算法（ELFedPCA）

算法思想：在本地生成相同的随机噪声矩阵，通过均分随机噪声矩阵的方式，在本地扰动协方差矩阵，使得在服务器相加后的协方差矩阵满足差分隐私定义；设计隐私保护联合中心化方案，保护本地数据均值和总数的隐私。
使用场景如下：sites每个站点有自己的数据，server负责进行汇总pca，publisher负责发布server降维后的数据。

前提：设$X\in {\mathbb{R}}^{n\times d}$为所有s个站点的数据集合，横向划分数据集$X_1,...,X_s$，第$i$个站点的数据$X_i=(x_{i1},...,X_{i{N}_i}{)}^T\in {\mathbb{R}}^{N_i\times d}$，其中$d$为数据集的维度，且各站点的维度相同，$N_i$是站点$i$的数据量。所有站点的总数据量$n=\sum _{i=1}^s{N}_i$
算法流程：
1、中心化（减去均值）：在不泄露各站点的数据信息的情况下，让站点2生成s-1个和为0的小数$a_2,a_3,...,a_s$与和为0的整数$b_2,b_3,...,b_s$，然后将$a_i,b_i$发给对应的站点$i$。各个站点计算自己的sum和count，站点1为：$$sum(s_1)=\sum _{k=1}^{N_1}{x}_{1k}，count(s_1)=N_1$$其他站点$i$为：$$sum(s_i)=\sum _{k=1}^{N_i}{x}_{ik}+a_i，count(s_i)=N_i+b_i$$，最后各站点$i$将计算的sum和count发给站点1进行汇总：$$sum(s)=\sum _{i=1}^{s}sum(s_i)，count(s)=\sum _{i=1}^{s}count(s_i)$$由于${\sum }_{i=2}^s{a}_i=0,{\sum }_{i=2}^s{b}_i=0$，所以sum(s)就算所有站点的真实总和，count(s)就是所有站点的真实数据量。从而所有站点的数据的均值为：$$\mu =\frac{sum(s)}{count(s)}$$站点1在将计算得到的均值$\mu$发给其他站点，做中心化操作:$$x_i=x_i-\mu$$

为什么要去中心化，如图，使得计算主成分时不会受到偏离值的影响。同时中心化是求协方差的一部分，$\frac{1}{n-1}{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$。

2、归一化，由于差分隐私PCA高斯机制要求$||x_i|{|}_2\le 1$，所以需要对数据进行归一化$$x_i=\frac{x_i}{||x_i|{|}_2}$$
前两步就是对数据进行$(0,1)$的标准化操作。

3、每个站点计算自己的协方差矩阵:$$A_i=\frac{1}{N_i-1}{X}_i^T{X}_i$$设所有的站点的数据$X=(X_1,X_2,...,X_s)$的协方差为$\frac{1}{N-1}A$
4、站点1生成一个随机种子seed，并设置合适的$ϵ$和$\delta$，然后发送$[seed,ϵ,\delta ]$给其他站点，各站点便可以生成相同的服从$N(0,{\tau }^2)$分布$\tau =\sqrt{2ln(1.25/\delta )}/nϵ$ ($n$为所有站点数据量总和)的随机噪声矩阵$E\in {\mathbb{R}}^{d\times d}$，将噪声矩阵均分$E^{\prime }=E/s$ ($s$为所有站点的总和)，然后再计算$A_i^{\prime }=A_i+E^{\prime }$。便可以将加入均分随机噪声的的协方差矩阵发给站点1。
5、站点1累计所有站点发送来的加入均分随机噪声的协方差矩阵：$$A^{\prime }=A_1^{\prime }+A_2^{\prime }+...+A_s^{\prime }$$这个协方差$A^{\prime }$和中心化差分隐私PCA加入噪声后的协方差矩阵相同，证明如下：$$A^{\prime }=A_1^{\prime }+A_2^{\prime }+...+A_s^{\prime }=(A_1+E^{\prime })+(A_2+E^{\prime })+...+(A_s+E^{\prime })$$$$=(A_1+A_2+...+A_s)+s\times E^{\prime }=A+E$$

这里有个疑问：就是如果各站点的$E^{\prime }$相同，那个站点1也有，各站点的$A_i$不就可以通过$A_i^{\prime }-E^{\prime }$得到了吗？这在本地做噪声引入就保护本地协方差的没有意义了。

6、随后站点1对$A^{\prime }$进行SVD分解，取top k个特征值对应的特征向量，得到$V^{\prime }\in {\mathbb{R}}^{d\times k}$，并将$V^{\prime }$发送给其他站点。
7、其他站点计算降维后的数据$Y_i=X_i{V}^{\prime }，Y_i\in {\mathbb{R}}^{N_i\times k}$，并将$Y_i$发送给站点1进行汇总：$$Y=(Y_1,Y_2,...,Y_s)$$

实验结果

本文对几个不同的数据集，对比DPdisPCA算法做了CE和SVM分类实验，实验结果如下：

最后本文贡献

1、本文算法ELFedPCA是满足$(ϵ，\delta )$-差分隐私的，可以很好的保护各站点的隐私。
2、本文算法ELFedPCA添加的噪声量比现有文献中的噪声添加量小。因为服从高斯分布的随机噪声方差越大， 噪声越大。现有文献DPdisPCA采用的是在站点本地生成服从$N(0,{\tau }^2)$分布$\tau =\sqrt{2ln(1.25/\delta )}/N_iϵ$的随机噪声，因此本地添加噪声的方差与$\frac{1}{N_i^2}$成正比。而ELFedPCA添加的噪声相当于中心化添加服从$N(0,{\tau }^2)$分布$\tau =\sqrt{2ln(1.25/\delta )}/nϵ$ ($n$为所有站点数据量总和)的随机噪声，其噪声的方差与$\frac{1}{n^2}$成正比。因为$N_i\ll n$，所以$\frac{1}{N_i^2}>\frac{1}{n^2}$。则ELFedPCA添加的噪声量更小。