移动大数据平台架构实践

概要
TalkingData从两年前开始探索挖掘与利用移动互联网数据的价值，并开始构建自己的大数据处理平台。在整个移动大数据平台构建架构的过程中，从日志数据的汇集，到移动互联网数据相关的清洗、标准化工作，再到相关移动互联网的价值挖掘探索，都曾遇到了不同的技术挑战。而通过本次分享，将可以了解到TalkingData是如何通过架构演进来应对诸多技术挑战的，其中关键内容涉及包括如何更好的进行分布式数据收集，基于Kafka的统一日志汇集，针对多维分析的高效Bitmap存储，以及基于Spark的大数据计算框架等等。

个人简介

阎志涛,TalkingData研发副总裁,现任TalkingData研发副总裁，领导研发了公司的数据管理平台(DMP)、数据观象台等产品，并且负责公司大数据计算平台的研发。目前专注于构建一个融合多种计算模型，支持机器学习和数据挖掘的大数据计算平台。关注Spark、Hadoop、HBase、MongoDB等技术。超过15年的IT领域从业经验，一直从事大规模分布式计算系统、中间件、BI等相关工作。 本科毕业于北京大学大气物理专业，硕士毕业于华北计算计算技术研究所，研究方向为分布式计算系统。在加入TalkingData之前，历任IBM CDL资深架构师，Oracle亚太区首席中间件技术顾问，BEA亚太区首席中间件技术顾问等职务。参与一系列跨国以及大型的国内的中间件、BI等项目。

全球架构师峰会（International Architect Summit，下简称ArchSummit）是由InfoQ中文站主办的一次全球性架构师峰会。ArchSummit专门针对架构师人群，讲述与架构和架构师相关的各方面趋势、技术和案例。这也是继QCon之后，InfoQ中文站主办的又一次高端技术盛会。