《NTP-VFL - A New Scheme for Non-3rd Party Vertical Federated Learning》模型原理

一、概要

目前现存算法的三个局限性：

1. 理论上的可信三方现实不存在，通常是联邦学习的主要瓶颈。
2. 通信和计算成本随着迭代次数的提升，增长很快。
3. 扩展性不好，隐私保护的最优模型在两方和多方中不兼容。

本文提出一个没有第三方的联邦学习LR算法，使用同态加密计算，该算法允许多方模型训练，并保证数据隐私。使用泰勒展开式作为梯度的近似形式和使用最小批量SGD更新参数训练模型。

二、模型详情

1、推导逻辑回归模型：
$$P(y=1|X)=\frac{1}{1+e^{-w^{T}x}}$$
通过将y标转换成{-1,1}，可以得到似然函数如下：
$$L(w)=\prod _{i=1}^m(\frac{1}{1+e^{-y_i{w}^{T}x}})$$
取对数，得到log损失函数：
$$J(w)=-\frac{1}{m}ln(L(w))=\frac{1}{m}\sum _{i=1}^{m}ln(1+e^{-y_i{w}^{T}x})$$
加密后的安全loss:
$$J(w)=\frac{1}{m}\sum _{i=1}^{m}ln(1+e^{[[-y_i{w}^{T}x]]})$$
对$ln(1+e^{-z})$进行在0处的泰勒展开：
$$ln(1+e^{-z})\approx ln2-\frac{1}{2}z+\frac{1}{8}{z}^2$$
将其带入loss函数：
$$J(w)\approx \frac{1}{m}\sum _{i=1}^m(ln2-\frac{1}{2}{y}_i{w}^{T}x+\frac{1}{8}(w^{T}x{)}^2)$$
最后得到梯度：
$$g_{w_j}=\frac{1}{m}\sum _{i=1}^m(-\frac{1}{2}{y}_i+\frac{1}{4}(w^T{x}_i))x_i^j$$
加密计算公式：
$$g_{w_j}=\frac{1}{m}\sum _{i=1}^m([[-\frac{1}{2}{y}_i+\frac{1}{4}(w^T{x}_i)]])x_i^j$$

2、模型训练过程：
假设各方为A，Bs，C，其中Bs为可以扩展为多方的设计，A方生成密钥对，并将公钥发送给Bs和C。
各方计算本方的$[y]$：

C接收各方发送$的[y]$，并作如下计算：

B接收$[y_{forward}]$计算$[g_{Bs}+R_{Bs}]$发送给A。
A接收B和C发送的$[g_{forward}],[gwx{]}^{\ast },[g_{Bs}+R_{Bs}],[g_C+R_C]$，并作如下计算：

将$g_{Bs}+R_{Bs}$,$g_C+R_C$分别发送给B和C，然后各方更新各自的权重。