基于Hadoop生态技术构建阿里搜索离线系统

概要
一、计算平台架构 平台架构 集群规模 集群特点 二、支撑的搜索业务 搜索业务 处理流程 三、YARN计算平台 iStream计算模型 Schedule改进 AppHistoryServer改进 HStats资源用量统计 四、未来发展

个人简介

任春德，花名瓦力。从2010年开始专注于Hadoop及其生态圈相关技术，成功应用于阿里巴巴集团搜索的离线数据处理业务中，并较早（2012年底开始）将Hadoop-2.x推向生产应用；主导开发、维护、升级搜索自有的版本，同时在运维搜索集群过程中也积累了丰富的经验，尤其是与HBase的协同，在YARN上的计算模型、资源调度及管理； 2006年西安电子科技大学硕士毕业加入阿里巴巴集团，先后在雅虎中国、阿里云、淘宝一淘子公司从事社区、搜索、云计算等技术研发，现为一淘及搜索事业部搜索离线系统团队搜索研发专家从事Hadoop方面技术研发。

QCon是由InfoQ主办的全球顶级技术盛会，每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来，已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。