杨强教授：希望2022年实现从联邦学习到可信联邦学习的跨越
题图摄于北京景山：CBD远眺
本期转发杨强教授关于“可信联邦学习”的演讲内容，来自可信联邦学习最新论文，从信息论角度，提出隐私与模型性能的 No-free lunch 定理，值得大家学习。
关注联邦学习的朋友，推荐使用 FATE 开源项目开发联邦学习应用。
导读
随着隐私计算相关政策的落地和商业化进程加快，隐私计算技术也在需求端推动下快速迭代。可预见 2022 年将是一个新的分水岭。近日，加拿大工程院及加拿大皇家科学院两院院士、微众银行首席人工智能官、FATE开源社区技术指导委员会主席杨强教授受邀出席了机器之心举办的「AI科技年会」，并在会议上分享了“可信联邦学习”相关精彩内容，为联邦学习的进一步发展指明了方向。
2022 年，隐私计算商业化和技术迭代双提速。近日，在“机器之心”举办的「AI科技年会」上，联邦学习FATE开源社区技术指导委员会主席、加拿大工程院及加拿大皇家科学院两院院士杨强教授提出，联邦学习研究进入新阶段，下一个重点目标是如何实现“可信联邦学习”。
可信联邦学习的核心特征
2022 年将成为一个新的技术分水岭——从联邦学习到可信联邦学习。
针对近两年来隐私计算和联邦学习发展和应用中面临的安全、效率等挑战，杨强教授及团队对联邦学习的理论进行了持续丰富和拓展，形成了“可信联邦学习”。据杨强教授介绍，可信联邦学习是安全可信的联邦学习，是能够满足用户和监管等各方面需求的分布式机器学习范式。
在此范式中，隐私保护、模型性能、算法效率是核心的三角基石，并且与模型的决策可解释性和模型的可监管性两大支柱，共同构成了更加安全可信的联邦学习。数据安全可证明、模型性能可使用、机器学习效率可控、决策可解释、模型可监管和普惠是可信联邦学习的核心特征。
隐私安全方面，需要可证的隐私安全，并且具有抗攻击能力；模型性能方面，参与联邦学习的模型性能效用最优，不能因为保护隐私而导致模型性能的大幅下降；算法效率方面，联邦学习应该是一个高效的过程，要尽可能地提升通讯和计算的效率；可解释和可监管方面，则需要机制透明，结果可说明、可溯源、可审计、可追责；普惠方面，利用开源等方式，降低隐私保护AI应用的门槛。
可信联邦学习是技术融合的必然走向
隐私计算有多个技术分支，近年来，研究者在每个细分领域都付出了大量努力，实现隐私计算从0到1的开拓。在技术不断发展成熟过程中，“可信联邦学习”的提出，是首次将安全、性能，效率等要素统一在共同的理论框架下。
过往有部分观点错误地认为，安全多方计算（MPC）、同态加密（HE）、可信执行环境（TEE）、差分隐私（DP）、联邦学习等，各技术分支之间是“非此即彼”的关系。一种更极端片面的观点甚至认为，联邦学习技术是通过牺牲安全性来追求效率，并以此作为反对联邦学习的理由。
对此，杨强教授及团队提出了隐私与模型性能的"No-free-lunch安全-收益恒定"定律（论文链接：https://arxiv.org/abs/2203.05816），从信息论的角度为隐私泄露和效用损失的权衡提供了一个通用的理论框架。
针对多方机器学习中不同的潜在攻击行为和对安全可能的威胁，这一理论框架揭示了对于满足“贝叶斯隐私”的多方计算系统而言，都满足“｜安全｜+｜效能｜≤常数” 这一“安全-效益恒定定律”，表明天下没有免费的午餐，想同时不泄露隐私和不降低模型性能是不可能的，但可以找到均衡点。
基于这一理论框架的可信联邦学习，既不会牺牲对数据的安全保护，也不会放任模型性能和学习效率的大幅下降，而是利用安全-效益恒定定律所揭示的内在关系，将安全-性能-效率三者形成有机整体，以实现更高质量的隐私保护。
杨强教授表示，任何多方参与进行人工智能建模的过程，都绕不开可信联邦学习这一通用的机器学习范式。基于此理论框架，能够量化分析隐私计算各种技术保护方案的优劣，进而指导隐私保护算法设计。合理运用包括安全多方计算（MPC）、同态加密（HE）、可信执行环境（TEE）、差分隐私（DP）等技术手段来进行合理配置，结合分布式机器学习和人工智能算法，找到联合建模可信、可行及可控的解决方案，这就是“可信联邦学习”的核心命题。
此外，通过可信联邦学习中模型的“版权保护”(FedIPR)，实现数据版权的保护和结果可溯源、可审计、可解释；通过开源、开放和共享，实现普惠。这些方面将共同构建起可信联邦学习的内涵和外延。可信联邦学习将在各种场景下使隐私计算应用成为现实，极大降低隐私计算的成本，提升隐私计算应用质量，推动隐私计算的加速发展。
-- 完 --
关注联邦学习的朋友，推荐参考和使用 FATE 开源项目。FATE（Federated AI Technology Enabler）开源社区是面向隐私计算、联邦学习开源生态中的开发者、贡献者、用户及生态伙伴建立的学习与交流平台，是全球首个隐私计算、联邦学习开源社区，拥有全球首个工业级安全联邦学习框架。
FATE 社区以“开源开放，共力创新”为愿景，不断汇集更多创新力量，现有 3000+ 位来自近千家企业及科研机构的开发者参与社区生态共建。根据中国信息通讯研究院等单位发布的《隐私计算白皮书（2021）》中显示，目前，55%的国内隐私计算产品是基于或参考开源项目开发的，其中开源项目以 FATE 为主。
FATE 项目代码库及文档：
https://github.com/FederatedAI/FATE
相关文章：
FATE开源社区开发工作最新进展
要想了解联邦学习、隐私计算、云原生和区块链等技术原理，请立即长按以下二维码，关注本公众号亨利笔记 （ henglibiji )，以免错过更新。
