近日,国际人工智能领域顶级学术会议AAAI2021(第35届AAAI)论文收录结果出炉。在国内AI阵营前列的京东数科以高达16篇论文的入选量成为本届AAAI的一大黑马。其研究方向包含了联邦学习、对抗学习、深度学习、序列推荐、社交推荐、图神经网络、风险管理的反因果推断,以及智能城市领域的时空AI等尖端技术领域。
在AAAI今年整体录取率仅为21%的激烈竞争中,京东数科的高入选量极为难得。一系列研发成果的集中爆发,也充分显示了京东数科在以AI驱动产业数字化的实践中,在人工智能领域具备的国际顶尖技术实力,以及高科技人才储备方面的领先布局。不仅如此,京东数科的系列研发能力已走出了单纯实验室阶段,转化为在智能城市、农业、大宗商品、零售、以及AI机器人等产业场景的落地应用,助力整个行业的产业数字化进程。
AAAI(Association for theAdvance of Artificial Intelligence)是人工智能领域中历史最悠久、涵盖内容最广泛的的国际顶级学术会议之一,每年都会吸引大量研究员、开发者投稿和参会,论文竞争更是异常激烈。在中国计算机学会的国际学术会议排名中,AAAI被列为人工智能领域的A类顶级会议,是未来人工智能产业发展方向的重要风向标。据了解,新一届 AAAI 2021 将全程在线上举办,时间为2月2日-2月9日。
AAAI 2021联合主席Kevin Leyton-Brown在Twitter上表示,今年接受的投稿论文总数达到“惊人的高技术水平”。9034篇投稿论文中,7911篇接受评审,最终仅有1692篇论文被录取,录取率为21%。
如何在数据共享基础上破解“数据孤岛”难题,是业界近年来在联邦学习方向上的重点探索。京东数科此前也推出自主研发的联邦学习平台——Fedlearn,融合了密码学、机器学习、区块链等联邦学习算法,搭建出一套安全、智能、高效的链接平台,在各机构数据不用向外传输的前提下,通过联合多方机构数据,实现共同构建模型等多方数据联合使用场景,获得加成效应。
凭借在联邦学习平台上的前沿技术投入,京东数科此次在该领域有两篇论文入选AAAI 2021。《Secure Bilevel Asynchronous Vertical Federated Learning withBackward Updating 基于反向更新的双层异步安全垂直联邦学习》,提出一种新颖的融合了反向更新和双层异步并行的垂直联邦学习框架(VFB2),以及在此框架下的VFB2-SGD,VFB2-SVRG和VFB2-SAGA三种新算法,助力多方协同训练模型并且不泄漏数据隐私,并在一定程度上破解垂直联邦学习算法不够高效的难点。
基于反向更新的双层异步安全垂直联邦学习
《On the Convergence of Communication-Efficient Local SGD forFederated Learning联邦学习中高效通信的本地随机梯度算法的收敛性分析》,在联邦学习最经常使用的模型训练算法“本地随机梯度”之外,提出一种新的高效通信分布式随机梯度算法,可以通过错误补偿双重压缩机制,解决在联邦学习大规模模型有效训练中通信开销较大的难题,显著降低通信成本。
而在城市管理中,如何精准预测城市交通流量峰值、智能监管危化品全流程、“领导驾驶舱”实时查看城市运行全貌,这些背后支撑的都是智能城市领域的一系列领先技术。京东数科核心聚焦“时空AI”技术,此次也有论文入选AAAI 2021。如《Traffic Flow Forecastingwith Spatial-Temporal Graph Diffusion Network基于时空图扩散模型的交通流量预测》,设计了一种基于异构图神经网络的深度学习模型, 分别从时间和空间上对不同区域的流量信息进行建模。相较于现有仅考虑局部空间关系的流量预测算法有一定优越性, 可以实现整个城市不同区域更加精确的预测结果。
此外,《Robust Spatio-Temporal Purchase Prediction via Deep Meta Learning基于深度元学习的鲁棒时空销量预测》,提出了时空元学习预测(STMP)模型,用于零售行业在购物节期间的销量预测。STMP是基于元学习的时空多任务深度生成模型,采用具有少量学习能力的元学习框架来捕获销量数据的时空表示。然后,生成模块使用提取的时空表示和当前的销量数据来推断预测结果,从而助力商家基于爆发式销量的预测提前做好充分准备。
值得注意的是,京东数科推出的智能城市操作系统,作为政府数字化服务的数字基石和技术底座,实际上包含了时空数据引擎、以时空AI为核心的时空智能引擎、基于联邦学习的数字网关技术以及莫奈可视化平台等诸多前沿科技,可以让城市中海量数据高效、安全“对话”,AI算法模块化输出。以“时空大数据引擎”为例,“智能城市操作系统”的实现处理速度相比传统数据平台要快10—100倍,并且还不断迭代;依托时空智能引擎,以前一个20人团队做空气质量分析和预测AI模型开发需要花费两年时间。现在,“智能城市操作系统”只需要一个人花两天时间即可完成,极大降低了人工智能开发成本,加快AI落地的步伐。
在一系列技术领先应用下,京东数科的智能城市操作系统在雄安落地为块数据平台,成为雄安新区城市大数据资源中心的实际载体;基于京东数科“智能城市操作系统”,江苏省南通市也建成了全国首个市域治理现代化指挥中心,汇聚南通市75个部门数十亿量级的数据。全南通市交通运行、公共安全、环境污染等情况都在一张大屏幕上实时呈现,从而实现一屏统览。
如何基于用户已有的行为标签,为其推荐真正需要的商品智能化服务,进行千人千面的智能营销?这背后则是推荐算法。京东数科此次围绕推荐方向亦有论文入选AAAI 2021。
现有基于会话的序列推荐算法目前被广泛应用,但它仅仅只是考虑了每个会话内商品的点击转换模式,忽略了不同会话间商品的潜在关联性。论文《Graph-Enhanced Multi-TaskLearning of Multi-Level Transition Dynamics for Session-based Recommendation 基于图模式增强多任务学习的会话序列推荐系统》提出了一种基于图模式增强多任务学习的框架,运用异构的注意力机制对每个会话内的商品转换模式进行学习,来实现基于会话的序列推荐;还引入了跨越不同会话的图学习模型,在商品的表征学习中增加了其全局关系的建模,因此可以实现对商品的短期以及长期序列关系同时进行学习。
基于图模式增强多任务学习的会话序列推荐系统
论文《Knowledge-aware CoupledGraph Neural Network for Social Recommendation基于知识关系的联结图神经网络的社交推荐系统》则是在社交推荐场景中引入商品的关系,并提出了一种基于知识关系的联结图神经网络模型,从而学习到更加精确的用户偏好,可以在一定程度上缓解稀疏用户在推荐中带来的影响,以增强推荐模型的鲁棒性。
此外,在风控领域京东数科也有论文入选,《The Causal Learning ofRetail Delinquency消费违约场景的因果学习》探讨了额度对用户风险的因果效应方法,通过前沿的双重机器学习,克服了现有数据中的“幸存者偏差”问题,构造出能够反映“策略——风险”因果关系的无偏估计量,促进风险管理与机器学习理论更深地结合,帮助信贷机构制定更科学的授信策略。
此次16篇论文入选AAAI 2021,是京东数科技术实力集中爆发的一大例证。事实上,截至2021年1月,京东数科在AAAI、IJCAI、CVPR、KDD、NeurIPS、ICML等国际AI顶级会议上共发表相关论文近150篇,在机器学习、计算机视觉、语音与自然语言处理等领域均取得世界级研究突破。此外,京东数科还持续加大对技术研发的投入力度,目前公司研发及专业人员占比近70%,2020年上半年公司用于技术研发的投入占比接近16%,该比例已与国际互联网科技巨头持平甚至更高。
未来,京东数科还将继续沿着以AI推动产业数字化的方向,在国际顶尖研发领域不断探索突破,打好坚实的科技基础,以科技(Technology)+产业(Industry)+生态(Ecosystem)为客户提供全方位数字服务,与实体产业共进。