Wing - 新一代百度大数据查询引擎

概要
查询引擎(QueryEngine)是大数据处理的利器，极低的学习成本和高效的查询实现极大提高了数据分析的效率，将数据分析领入大数据时代。 Wing是百度自研的查询引擎，提供SQL-Like的HQL接口和以关系操作为API的C++接口。目前业界广泛使用的查询引擎Hive模块耦合较高，不易移植到其他计算框架，限制了二次开发的效率。开源界后续涌现的adhoc场景查询引擎如Impala、Spark SQL等，不得不重复实现查询处理逻辑。为满足不同场景而引入多个系统将会是很大的运维负担。 Wing目前已经在百度内部推广使用，在常见的查询场景下即展现出优越性能，成为大数据处理的核心组件。

个人简介

刘成，毕业于北京大学计算机系，2013年加入百度，现任百度大数据部资深研发工程师。在硕士期间我一直在做大数据处理、云计算方向的研究。2011年利用在腾讯实习机会，我参与了台风系统MapReduce框架的开发，此后就对大数据领域保持浓厚兴趣，后来还参与了key-value存储系统、网络通信框架研发工作。 来到百度后，我在百度biglog平台做QueryEngine服务的研发。QueryEngine服务是百度SQL类离线数据处理的基础，此前一直使用Hive作为查询引擎。在QueryEngine服务长期的运营和开发期间，我积累了许多宝贵的数据处理经验。在这里我作为核心人员参与开发了百度新一代查询引擎——Wing。通过一年的开发，Wing项目已经能够基于MR框架完成替换现有Hive框架的能力，并保证了足够的灵活性来适配其他框架以满足不同场景的查询需求。

QCon是由InfoQ主办的全球顶级技术盛会，每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来，已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。