基于同态加密和秘密共享的无第三方纵向逻辑回归

基于同态加密和秘密共享的逻辑回归方案

0,写在前面

Fate升级1.7.0版本之后,实现了阿里2021KDD的一篇论文,When Homomorphic Encryption Marries Secret Sharing: Secure Large-Scale Sparse Logistic Regression and Applications in Risk Control。当然他这里做了一定的修改,比如sigmod函数优化那里的一个变化,没有采用多项式近似的方式。

本篇文章的主要目的是,对比FATE上逻辑回归无第三方方案和有第三方方案的模型效益。

1,方案分析

论文中原始方案:
论文中有许多创新点,比如稀疏矩阵问题,对中间值的秘密共享,模型的拆分等。
基于同态加密和秘密共享的无第三方纵向逻辑回归_第1张图片
基于同态加密和秘密共享的无第三方纵向逻辑回归_第2张图片

基于同态加密和秘密共享的无第三方纵向逻辑回归_第3张图片

Fate上的实现:

基于同态加密和秘密共享的无第三方纵向逻辑回归_第4张图片

基于同态加密和秘密共享的无第三方纵向逻辑回归_第5张图片

基于同态加密和秘密共享的无第三方纵向逻辑回归_第6张图片

2,实验过程

实验采用examples/dsl/v2下的配置项,测试了LR在breast数据集上的表现。

控制的一些参数:学习率0.15,max_iter30

有第三方LR,全过程耗时5分47

基于同态加密和秘密共享的无第三方纵向逻辑回归_第7张图片
基于同态加密和秘密共享的无第三方纵向逻辑回归_第8张图片

有第三方LR,全过程耗时8分18

基于同态加密和秘密共享的无第三方纵向逻辑回归_第9张图片
image-20211222201715933

3,实验结论

  • 可以看到不同的方案,在实验数据上得到的模型指标、模型参数以及训练时长都不是一样的。这里就根据需要选取合适的方案了。

4,补充

Fate提供了Benchmark 测试模块,使用Fate-TEST工具完成。

Benchmark Performance:对HOST方的特征贡献度做评判,涉及到一些特征工程;

Benchmark quality:对比联邦模型和其他模型优劣。

参考链接:

https://github.com/FederatedAI/FATE/blob/master/doc/federatedml_component/logistic_regression.md

Benchmark Performance

你可能感兴趣的:(联邦学习理论及实践,同态加密,逻辑回归,fate1.7,无第三方,秘密共享)