论文《Privacy-Preserving Ridge Regression on Hundreds of Millions of Records》梳理

线性回归模型

给定数据集： $x_i\in R^d，y_i\in R，i\in [1,n]$ ，其中d也为特征数
回归：为映射 $f:R^d\to R$ 找到 $y_i\approx f(x_i)$
线性回归：找到 $y_i\approx {\beta }^T{x}_i,x\in [n]\equiv \{1,...,n\},\beta \in R^d$
归一化：将x的区间变为有限的区间，归一化方法
岭回归：最小化函数$F(\beta )={\sum }_{i=1}^n(y_i-{\beta }^T{x}_i{)}^2+\lambda \Vert \beta {\Vert }_2^2$，岭回归理解 ，训练 $\lambda$ 使得$\beta$更稳定
sklearn 中 linear_model.Ridge 使用的最小化函数：$||y-wX|{|}_2^2+alpha\ast ||w|{|}_2^2$, w 即为求解后的coef或权重系数

$\Vert \beta {\Vert }_a^b$ 为 $\beta$的a次范式的b次方，范式的理解

最小化函数$F(\beta )$ 即求$A\beta =b,A=X^{T}X+\lambda I,b=X^{T}y,y\in R^{n\times 1},X\in R^{n\times d}$
因为A是正定矩阵，可以使用Cholesky分解

对于一个用户$u_i$而言：$A_i=x_i{x}_i^T,b_i=y_i{x}_i,A={\sum }_{i=1}^n{A}_i+\lambda I,b={\sum }_{i=1}^n{b}_i$

同态加密

Paillier 加密方案

术语	英语	描述	符号表示
同余类	congruence class / residue class	模 n 同余的所有整数组成的集合	$${\overline{a}}_n/[a]$$
余数系统	residue system	模 n 同余类的代表数的集合
完整余数系统	complete residue system	模 n 的全部同余类的代表数的集合
最小余数系统	least residue system	由每个同余类的最小非负整数所组成
简约余数系统	reduced residue system	模 n 的结果与 n 互质的代表数所构成的集合，集合元素个数等于欧拉函数$\varphi (n)$
欧拉定理		$a^{\phi (n)}\equiv 1(\mathrm{m}\mathrm{o}\mathrm{d}n)$
卡迈克尔函数		$a^{\lambda (n)}\equiv 1(\mathrm{m}\mathrm{o}\mathrm{d}n)$
乘法群		模 n 的互质同余类，即为简约余数系统，也称为整数模 n 乘法群；在环理论中，一个抽象代数的分支，也称这个群为整数模 n 的环的单位群	$Z_n$
群的阶数		群的阶数由欧拉函数给出：$\Vert Z_n^{\ast }\Vert =\varphi (n)$
循环群		设(G，)为一个群，若存在一G内的元素g，对属于G的任意x，都存在整数k，使x = g^k ,称(G，)为循环群，g为群的生成元。若存在最小正整数n,使得$g^n=e$，称n为生成元的阶（e为幺元，即g^0）。参考资料：https://www.zhihu.com/question/23353412/answer/24329687

有时候 $Z_n$与$Z_n^{\ast }$相同，但有时$Z_n^{\ast }$特指简化剩余类，即模n互质余数的集合，$Z_n$特指[0, n-1]，也就是$\Vert Z_n\Vert =n,\Vert Z_n^{\ast }\Vert =\varphi (n)$

Garbled 电路

使用C语言实现Regev算法，然后通过软件生成电路图，再进行Garbled化，就可以获得Garbled电路
输入定义为$GI(x)$

各方交互步骤

假设用户$u_i$与$u_j$提供数据

1. $c_i=E_{pk}(A_i;b_i),c_j=E_{pk}(A_j;b_j)$，$u_i$与$u_j$将数据$c_i$与$c_j$传给Evaluator
2. Evaluator计算$c_i⨂c_j=E_{pk}(A_i;b_i)⨂E_{pk}(A_j;b_j)=E_{pk}(A_i+A_j;b_i+b_j)$

第一种协议

准备阶段：

Evaluator提供给CSP输入数据集的特征数d，数据集的数据范围，代表数据整数部分和小数部分的比特数
CSP准备Garbled电路，生成同态加密使用的秘钥(pk，sk)，将$GI(sk)$嵌入Garbled电路

阶段一：

每个$u_i$计算$A_i,b_i,c_i=E_{pk}(A_i;b_i)$，然后将$c_i$发送给Evaluator，假设user与Evaluator之间存在一个安全的通道，比如TLS
Evaluator计算$c_{\lambda }=E_{pk}(\lambda I;0)$，然后可以计算$$c=(\underset{i=1}{\overset{n}{⨂}}{c}_i)⨂c_{\lambda }=E_{pk}(\sum _{i=1}^n{A}_i+\lambda I;\sum _{i=1}^n{b}_i)=E_{pk}(A;b)$$

阶段二：

使用Garbled电路(输入$GI(c)$)解出c，可以获取A和b，然后可以解出$\beta$

备注：

同态加密可以使用Regev，使用Garbled电路解c时比较简单

第二种协议

准备阶段：

Evaluator提供给CSP输入数据集的特征数d，数据集的数据范围，代表数据整数部分和小数部分的比特数
CSP准备Garbled电路，生成同态加密使用的秘钥(pk，sk)
Evaluator选择一个随机的mask $({\mu }_A;{\mu }_b)\in M$，并通过不经意传输从CSP获取 $GI({\mu }_A;{\mu }_b)$

阶段一：

Evaluator和第一种协议一样获取c，然后计算$\hat{c}=c⨂E_{pk}({\mu }_A;{\mu }_b)$

阶段二：

Evaluator 发送 $\hat{c}$给CSP
CSP解密获取$(\hat{A},\hat{b})$，然后将$GI(\hat{A},\hat{b})$发送给Evaluator
Evaluator根据$GI(\hat{A},\hat{b}),GI({\mu }_A;{\mu }_b)$可以获取$A,b$
Evaluator获取$\beta$

备注：

此种协议解密算法没有嵌入Garbled电路，因此可以使用多种同态加密算法，比如Paillier

参考资料：

1. Paillier 加密方案
2. 安全多方计算(阿里)