微众银行AI首席科学家2019 NeurIPS大会论文揭示“神经网络防盗最新技术”

随着深度神经网络（DNN）的快速发展，机器学习服务(MLaaS)等有潜力的商业模式迅速崛起，AI产业化进入发展快车道。然而，保护训练好的DNN模型免于被非法复制，重新分发或滥用（即知识产权侵权）是AI产业化进程中必须要面临和解决的问题。尤其是当下各国企业在深度学习模型和平台方面进行巨额研发投入，对知识产权的保护刻不容缓。没有保护的神经网络，如同不上锁的车子，谁都可以开走；一旦网络被非法拷贝及使用，原主人无法证明和维护其发明的合法知识产权。这样企业的创新动力会受到伤害，进而给整个产业的发展前景蒙上阴影。

在近日公布的2019年神经信息处理系统大会（Conference and Workshop on Neural Information Processing Systems，NeurIPS）论文入选完整名单中，微众银行AI首席科学家范力欣博士与马来亚大学的陈志胜副教授和吴锦合作的论文《对深度神经网络所有权验证的重新思考：嵌入数字护照以抵御模糊攻击》创造性地提出了利用“数字护照”保护深度神经网络知识产权的新方法。NeurIPS是全球最受瞩目的AI、机器学习顶级学术会议之一，官方数据显示，大会今年共计收到6743篇论文投稿，创下新纪录，其中共有1428篇论文接收入选，入选率仅为21.1%

据范力欣博士介绍，传统用于保护神经网络所有权的水印方法存在缺陷：在训练过程当中，嵌入数字水印的神经网络，如同贴了主人姓名标签的车子，但别人还是可以把车开走，甚至可以贴上伪造的标签。这种情况下，被拷贝网络可以被检测出多个真假难辨的数字水印，其知识产权归属莫衷一是。

 

数字护照，神经网络防盗新技术

能否通过新的机制杜绝这种情况？论文提出了在训练过程当中，嵌入了数字护照的神经网络，如同加了锁的车子，必须使用与神经网络配套的数字护照，才能解锁来正常使用网络；实验证实一旦使用了经过修改或伪造的护照，网络性能会严重退化，以致无法使用。使用数字护照的另一个优点是，即使剽窃者进一步盗取并运用了原来的数字护照，来解锁正常使用网络，原主人也可以凭借数字护照上的个人签名ID，来举证其知识产权的归属。

在上述原理的基础上，研究者们还设计了黑盒，白盒和混合保护机制，来针对不同的应用场景，提供了一系列完善的知识产权保护方法。

新方法使得DNN模型的性能依赖于护照的真实性，对于去除攻击具有鲁棒性，能够抵御模糊攻击，并保证了原主人对神经网络所有权的可证明性。而使用了不同的护照而使网络性能有不同表现的这种思维也是非常新颖的，并通过了大量的实验验证，具有可操作性。

论文全文链接：https://arxiv.org/abs/1909.07830 

论文源代码：https://github.com/kamwoh/DeepIPR

 

有效机制，创建AI创新良性生态

基于数字护照保护机制，剽窃者将处于两难境地：一方面，如使用伪造数字护照, 则网络性能大幅下降几乎无用。而且伪造护照需要从新训练网络，耗时耗电，经济上无利可图。另一方面，如非法使用原数字护照，则面临原主人的法律诉讼及追责索赔。

当今巨头公司和创业公司几乎每秒都在投资数十亿美元来探索新的DNN模型，论文中提出的数字护照在保护保护知识产权，不被滥用，防伪，防止被竞争对手利用方面有着重要作用。AI创新，只有在保护企业或发明人的切实权益下才能正常前进，才能打造真正良性的创新环境。

 

走在前沿，微众银行在AI科研领域的探索

该研究是由微众银行首席人工智能科学家范力欣博士发起，而范博士所在的微众银行AI团队在前沿科研领域有诸多探索，包括联邦学习、迁移学习等。今年8月，在国际数据科学和数据挖掘领域最顶级的学术会议KDD大会上，微众银行AI团队与香港科技大学等高校联合提交的与AI精准营销、智能推荐相关的研究论文《Beyond Personalization: Social Content Recommendation for Creator Equality and Consumer Satisfaction》被收录，论文提出了用去中心化模型Social Attentive Exploration Network（SAEN）解决社交内容推荐的公平性问题，目前该研究成果已成功运用于微众银行AI营销解决方案的智能推荐业务板块。

（论文全文链接：https://dl.acm.org/citation.cfm?id=3330965）

而微众银行作为联邦学习的引领者，不仅提出“联邦迁移学习”的新方向，更是在全球范围内引领和推动数据隐私保护下的AI协作生态建设。

作为一种基于多方安全计算的分布式机器学习技术，联邦学习能让参与各方可以在不披露底层数据和底层数据的加密(混淆)形态的前提下共建模型，在行业应用中帮助不同机构打破隔阂，进行AI协作，同时各方的数据都不出本地，让用户隐私得到保护。这样一种共赢的机器学习方式，让联邦学习成为了AI时代大数据安全及隐私保护的必备技术。

今年8月召开的国际人工智能联合会议（IJCAI 2019）期间，微众银行与IBM等知名机构联合举办了首届联邦学习国际研讨会，超过100位国际专家和学者参与，共探联邦学习的当下难题与未来发展趋势。

不仅在学术研究上进行前沿探索，微众银行AI团队也在积极推进联邦学习产业落地的步伐。今年2月在GitHub上开源了全球首个联邦学习工业级开源框架FATE（Federated AI Technology Enabler），并于今年6月贡献给全球最大开源社区Linux Foundation，近期又发布了一系列贡献者激励机制，以开放的姿态，鼓励开发者加入共建联邦学习生态。同时，牵头联邦学习国际标准（IEEE标准）与国内标准的建立，为更大范围内的产业应用提供统一的技术标准语言。据悉，IEEE标准工作组已召开三次会议，第四次会议将于10月召开，相关标准草案有望明年出台。

 

蓄势待发，NeurIPS 2019大会联邦学习研讨会

据范力欣博士介绍，微众银行AI团队将在今年的NeurIPS 2019大会上和Google等知名企业、高校联合举办联邦学习研讨会（workshop），这也是首次在NeurIPS上举办联邦学习研讨会，目前已收到数十篇论文投稿。随着加入联邦学习生态的企业和研究机构越来越多元化，在金融、医疗、零售等多场景落地场景越来越多，联邦学习的相关研究也跨越到新阶段，此次研讨会必定会带来更多令人惊喜的新思考与探索。

了解更多：http://federated-learning.org/fl-neurips-2019/?from=timeline