FATE开源项目向可信联邦学习进发

题图摄于北京798艺术区

2019年初，微众银行开源了全球首个工业级联邦学习框架FATE（Federated AI Technology Enabler），大幅降低联邦学习的应用门槛。

根据中国信通院等单位联合发布的《隐私计算白皮书（2021年）》，在国内隐私计算产品中，开源类占比约为55%，很多联邦学习类产品都吸收和借鉴了 FATE 的成果。截至 2021 年末，已经有 3000 多位来自近千家企业及科研机构的开发者参与社区生态共建。

展望 FATE 社区今后的工作，可信联邦学习将是主要的内容之一，下面部分内容来自杨强教授关于可信联邦学习的阐述。

可信联邦学习

据加拿大皇家科学院及工程院两院院士杨强教授介绍，可信联邦学习是安全可信的联邦学习，是能够满足用户和监管等各方面需求的分布式机器学习范式。

在此范式中，隐私保护、模型性能、算法效率是核心的三角基石，并且与模型的决策可解释性和模型的可监管性两大支柱，共同构成了更加安全可信的联邦学习。数据安全可证明、模型性能可使用、机器学习效率可控、决策可解释、模型可监管和普惠是可信联邦学习的核心特征。

可信联邦学习概念的提出，是对以往业界对隐私计算技术误解的澄清，也是对联邦学习概念的新的发展。

过往有部分观点认为，安全多方计算（MPC）、同态加密（HE）、可信执行环境（TEE）、差分隐私（DP）、联邦学习（FL）等，各技术分支之间是“非此即彼”的关系。一种更极端片面的观点甚至认为，联邦学习技术是通过牺牲安全性来追求效率，并以此作为反对联邦学习的理由。

对此，杨强教授及团队提出了隐私与模型性能的"No-free-lunch安全-收益恒定"定律，从信息论的角度为隐私泄露和效用损失的权衡提供了一个通用的理论框架。

这一理论框架揭示了对于满足“贝叶斯隐私”的多方计算系统而言，都满足“｜安全｜+｜效能｜≤常数” 这一“安全-效益恒定定律”，表明天下没有免费的午餐，想同时不泄露隐私和不降低模型性能是不可能的，但可以找到均衡点。

杨强指出，利用该定律，可信联邦学习将安全-性能-效率三者形成有机整体，以实现更高质量的隐私保护，同时达到既不牺牲数据安全,也不致使模型性能和学习效率的大幅下降的效果。良好运用该定律，各方能够量化分析隐私计算各种技术保护方案的优劣，优化隐私保护算法设计。

与传统的联邦学习相比，可信联邦学习在三个方面进行了拓展：其一，致力于实现安全-性能-效率三者的平衡；其二，更好地保护模型的知识产权；其三，更大范围推进联邦学习的普惠，以进一步降低技术使用门槛。

与可信联邦学习的拓展思路相对应，FATE平台将主要在三个方面发生改变：

第一，通过算法的改进来实现安全-性能-效率的平衡。目前有办法设计对于攻击者成本极大、收益极小、并且效率极高的算法，这种算法在实际当中使用就可以解决安全、性能和效率三者有效的结合，既能保护隐私，实现反向激励。通俗地解释，如果有人在数据或者模型里面“下毒”，新设计的算法可以使得下毒的成本远远大于它得到的收益。

第二，通过给模型打“水印”的方式来保护模型的知识产权，从而建立联邦学习的激励机制。联邦学习可以实现“数据不动模型动”，因此未来的数字经济很有可能是模型流通的世界。所以，未来对模型的后期管理非常重要，其中模型的知识产权保护是一个关键点，因为它可以确定模型的归属，这是建立联邦学习激励机制的基础。

给模型打“水印”，意味着可以使模型在整个生命周期都受到保护和监管，其所带来的价值是多方面的。其一，可以使得模型不被盗用；其二，在事故发生后可以对相关责任方进行溯源；其三，模型的收益可以给到模型贡献者，从而激励模型的创造；其四，可以客观评价模型的贡献，因为联邦学习是多个模型一起起作用，通过水印可以分析各方的贡献大小。

值得注意的是，FATE 打“水印”的方式，并不是运用区块链技术，而是应用杨强团队首创的方法——在模型参数中加入有特点的矢量，插入是保密的，但是却是可以被检测的。一个检测方拿到数据模型之后，可以探测这个模型的水印矢量到底来自于哪里。但是偷盗者不知道水印的操作细节，没办法改变水印。杨强团队已经在今年发表了该方法的相关论文。

第三，2022年FATE社区将大力推动互联互通的工作。目前，隐私计算的商业市场蓬勃发展，市场上出现了多种隐私计算解决方案，但是这些方案之间缺乏互通，形成了“数据群岛”。杨强认为，大部分的解决方案都能够无缝插入开源FATE，这样FATE的作用就类似一个“转换器”，可以帮助实现互通互联。

可信联邦学习的提出，更多是从技术角度提升联邦学习在真实业务场景中的表现。互联互通的推进，则对FATE平台在更大范围内落地应用至关重要。

FATE 在可信联邦学习方面的发展

FATE 近期将在开源社区中，增加可信联邦学习的相关成果，开发者和用户可以持续关注。FATE 社区正在开发的版本 v1.9 将增加 GPU 加速、图形化管理平台等功能，感兴趣的读者可在 Github 中关注相关的发展进程，或者参加开发专委会双周的例会。社区开发专委会会议纪要：

https://github.com/FederatedAI/FATE-Community/tree/master/meeting-minutes/FATE_Dev_Meeting

FATE 社区近期的技术展望如下：

关注“亨利笔记”，后台回复 FMLDev 可获取参 FATE 双周社区会议的时间和链接。欢迎参与 FATE 开源社区的建设。

---

要想了解云原生、机器学习和区块链等技术原理，请立即长按以下二维码，关注本公众号亨利笔记 （ henglibiji )，以免错过更新。