今日头条 User Profile 系统架构实践

概要
推荐系统中最核心的数据之一是 user profile 数据。我们需要从大量历史用户行为中分析和挖掘各种维度的特征,来刻画用户的兴趣偏好。这个分享中会介绍今日头条 user profile 系统的现状,面临的问题,系统演进,以及技术架构中的关键问题: 1. 如何结合 batch 计算与 streaming 计算模型,实现 user profile 的分钟级更新; 2. 如何设计 user profile 的在线存储系统,支持高吞吐、低延迟的更新和访问; 3. 如何存储海量的用户行为数据并支持不同的应用场景和访问模式。 听众受益: 1. 了解大规模推荐系统中 user profile 面临的挑战和问题,以及我们的解决思路; 2. 了解 user profile 系统设计中对存储、计算、队列等基础设施的需求,问题和方案,以及生产环境中的最佳实践。

个人简介

丁海峰,今日头条数据部资深工程师。毕业于北京航空航天大学,先前在百度网页搜索部任职,从事网页搜索检索端架构相关的工作。目前在今日头条负责推荐系统架构与基础设施,解决海量数据规模下个性化推荐系统面临的计算、存储、实时性等各方面技术挑战。关注大数据基础设施、大规模机器学习系统、可伸缩服务架构设计、站点可用性、DevOps 等领域。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

你可能感兴趣的:(今日头条 User Profile 系统架构实践)