3 月 24 日,微众银行联合VMware及机器之心开设的公开课《联邦学习 FATE 入门与应用实战》 第五讲结课,微众银行人工智能部系统架构师曾纪策为大家介绍了 FATE 的整体架构、系统关键数据流以及如何实践。第五讲回顾视频:
【联邦学习FATE课程第五期】FATE整体架构介绍与系统实践
3 月 26 日(周四),我们将迎来本系列公开课最后一讲,详情如下:
课程主题:联邦推荐算法及其应用
课程时间:3 月 26 日 20:00 主题讲解+在线答疑
课程讲师:谭奔 微众银行人工智能部高级研究员
讲师简介:博士毕业于香港科技大学,主要研究方向为迁移学习、推荐系统、机器学习等,目前在微众银行人工智能部门负责推荐算法研发工作,曾就职于腾讯,负责广告转化率预估、商品推荐等工作。在 KDD、AAAI、SDM、TIST 等国际学术期刊会议上发表论文 10 余篇,多次在国际数据挖掘大赛中名列前茅。
课程摘要:课程主要介绍联邦推荐系统背景、联邦推荐系统分类以及现有工作、联邦推荐算法实现和联邦推荐在新闻推荐的应用。
1、问一下当前联邦学习框架中心服务器由谁负责?还是不需要中心服务器汇集各方参数?
目前FATE支持的计算引擎不需要中心服务器
2、fate怎么把模型转换成protobuf?
1.) 模型的protobuf定义文件请参考:federatedml/protobuf/proto/
2.) 模型数据的生成请参考每个算法component的export_model函数:federatedml/model_base.py(基类),federatedml/tree/hetero_secureboosting_tree_guest.py(树模型)
3、合作两方交互通信方式?
加密GRPC协议
4、federation调用metaservice,metaservice从mysq里读取存储的namespace?
1. ) MetaService是一个数据库读写的接口服务
2. ) Dtable分片存储于各个Egg节点(storage-service),数据库(例如MySQL)里面存储了DTable的分片地址,Federation需要取得分片地址。
5、guest如何配置可拿到host数据呢?
1.) 没有办法,FATE是一个基于多方安全计算的数据隐私保护机器学习框架
2.) 对于训练中间数据,federatedml/transfer_variable/definition/定义了每个组件可以交换传输的数据定义,是一种自我保护机制
3.) 对于联邦调度,交换的是调度命令以及任务状态信息
4.) 同时FATE提供自我鉴权白名单机制的高级功能,目前支持role、party id、component维度
6、fate和pysyft的对比?
1.) 两者有许多侧重点不一样,例如PySyft侧重学术研究及横向联邦;FATE重于工业应用、纵向联邦、横向联邦、迁移联邦。
2.) 调度机制不一样,PySyft采取了类似指针的方式进行多方调度,安全性及广域网下的稳定性需要探讨。
7、灰度上线是怎么实现的?
1.) 两种方式
2.) 使用不同的service id对应不同的模型,由上游调用系统依据实际需求传参不同的service id实现,优点是灰度策略上比较灵活,缺点是需要上游调用系统配合
3.) 使用同样的service id,使用fate flow的bind命令,给不同的seving实例绑定不同的模型,那么请求到达不同的serving实例会使用不同的模型进行推理
8、是不是HOST有数据并且可以通过ID查到,否则无法推理?
无论哪一方没有对应的样本,合并的推理结果就缺少该方模型的推理结果,最终推理请求可以返回,但是需要关注状态码
提前添加FATE开源社区助手(FATEZS001),锁定【联邦学习FATE开源社区】,第一时间加入《联邦学习FATE入门与应用实战》课程学习。连续四周,6节课程,为你全方位讲解《联邦学习FATE入门与应用实战》课程。主题讲解、项目实践、在线答疑,干货满满哦!