SQL-on-Hadoop方案在FreeWheel的实践

概要
FreeWheel是一家主要服务于北美和欧洲客户的视频广告技术公司，为大型电视媒体和优质内容供应商提供企业级的视频广告解决方案，每天完成近10亿次视频广告投放，积累了大量的视频观看和广告投放数据。 如何从海量数据中挖掘有价值的信息，帮助客户分析并改进其广告业务，是FreeWheel数据平台需要解决的主要问题之一。为此，我们引入了基于Presto查询引擎的SQL-on-Hadoop解决方案，为客户提供一种在秒到分钟的时间级别上灵活分析PB量级数据的能力。 根据业务需要，我们对数据存储、分片以及查询速度等方面做了诸多优化，并提供了对半结构化数据的查询接口。同时我们还把Presto集群与YARN集成，提高了Hadoop集群资源利用率，实现了集群资源的统一管理以及Presto集群的动态伸缩。本次分享主要介绍我们在以上方面的一些经验。

个人简介

林明，2008年毕业于清华大学，获计算机硕士学位，曾供职于IBM、SUN和美团等公司。技术涉猎广泛，对分布式系统、大数据平台、消息队列和中间件等领域有深入的理解和丰富的经验。现任FreeWheel主任工程师，全面负责大数据平台的架构和研发工作。

全球架构师峰会（International Architect Summit，下简称ArchSummit）是由InfoQ中文站主办的一次全球性架构师峰会。ArchSummit专门针对架构师人群，讲述与架构和架构师相关的各方面趋势、技术和案例。这也是继QCon之后，InfoQ中文站主办的又一次高端技术盛会。