doop开源云计算平台》、《Hadoop核心技术》作者翟周伟

个人感觉一篇很不错的文章-----《Hadoop核心技术》作者翟周伟 ：我与Hadoop的不解之缘 - 似水流年 - CSDN博客 http://blog.csdn.net/xiaoshunzi111/article/details/49075715

摘要：翟周伟，资深hadoop技术专家，《Hadoop开源云计算平台》、《Hadoop核心技术》作者。日前，CSDN记者对他进行了采访，请他解读Hadoop发展现状、特性及发展前景，以及这一路走来的心路历程。
翟周伟，资深Hadoop技术专家，专注于Hadoop&大数据，数据挖掘，自然语言处理领域，目前就职于百度。2009年，利用Hadoop构建商业级大数据系统，是国内该领域最早的一批人之一；负责设计多个基于Hadoop的大数据平台和分析系统；2011年合著出版《Hadoop开源云计算平台》，并在自然语言处理领域申请过一项发明专利；2015年，完成著作《Hadoop核心技术》一书。
日前，CSDN记者采访了翟周伟，请他解读Hadoop发展现状、特性及发展前景，分享创作《Hadoop核心技术》一书的灵感来源以及经验感悟。

---

//
对于Hadoop的发展前景我从以下几个方面谈谈：
第一个方向就是统一资源管理与调度方向，目前各大互联网公司商用的Hadoop集群还是以Hadoop-1.X版本为主，Hadoop-1.X版本的有效性和稳定性已经得到验证，但是Hadoop-1.X也存在很多问题，例如资源分配以槽位为基本单元，没有考虑到应用实际需要的内存，CPU等资源；还有就是Hadoop-1.X仅仅只支持MapReduce模型，计算资源利用率不高，一个MR任务只能包含一个map和一个reduce任务，而实际需求往往是一个DAG任务。针对这些问题社区版Hadoop-2.X提出了YARN框架，在资源管理层来解决这些问题，同时各大商用发行版以及互联网公司也提出类似的框架来解决Hadoop-1.X中的问题。
第二个发展方向就是Hadoop高可用性解决方案，目前的Hadoop还是单Master节点设计，因此集群的规模受到主节点的硬件配置限制，同时可靠性上存在单点故障（SPOF ）问题，这一点目前各大Hadoop商业发行版以及各大互联网公司都在研发多Master节点设计的解决方案，因此也是未来重点方向。
第三个发展方向就是Hadoop生态系统集成，目前Hadoop已经发展为一个完备的生态系统，这个生态系统最底层以HDFS和MapReduce为核心，上层为各种存储，计算，分析等应用系统，如何将这些系统很好的集成起来形成一个类似完善的分布式操作系统和云计算应用系统是一个非常诱人的发展方向。
第四点就是灵活性上，目前的Hadoop为用户提供了非常便利的并行计算框架，但是这个框架本身的流程过于复杂，用户实际的需求往往很简单，例如Hadoop中在map的输出和reduce的输入都需要进行排序，而实际上并不是所有的任务都需要排序，因此对于那些不需要排序的应用就会造成资源的浪费又消耗了时间。如果可以提供是否配需的可控制参数就可以很好的解决类似的问题。因此Hadoop的灵活性上也是一个发展方向。