Hadoop 真特么难用

在本周的大数据研讨会上，Continuuity的首席执行官指出Hadoop实施难度大，极为难用，如果不解决技术复杂性问题，Hadoop将被自己终结。

Continuuity的首席执行官Todd Papaioannou曾经是雅虎的首席云计算架构师，当年他和120个弟兄接到一个艰巨的任务：在拥有40万个节点的雅虎私有云中配置4.5万台 Hadoop服务器，为5000位雅虎开发人员创建一个稳定的开发平台。在Papaioannou的回忆中，当时的场景非常不堪：

负责建设Hadoop平台的团队个个手忙脚乱，互相从代码库中翻找可供粘贴整合的代码，就像一群中学生在车库中做手工。当基础架构总算搭好的时候，开发者又花了4-5个月才开始发布应用，这也严重影响了雅虎的产品创新进度。

“那段时间如果你留意的话，yahoo的产品时不时会出一些状况”，Papaioannou说道。他认为从雅虎的Hadoop实施中学到了重要的一课：

Hadoop实在太难用了。它属于底层基础软件，而今天大多数IT人员都不熟悉底层基础软件。

有过帮雅虎实施Hadoop项目的痛苦经历后，Papaioannou下决心创办一家能够降低Hadoop部署和应用开发门槛的公司—Continuuity，在Hadoop和HBase的基础上创建一个抽象层—AppFabric，屏蔽掉Hadoop底层技术的复杂性，让更多的开发者能够开发大数据应用，而不仅仅是Hadoop（Mapreduce）应用。利用YARN和HBase，Continuuity开发出了能实时处理流数据的方法，并且能在任务不中断的情况下动态扩展Hadoop集群的规模。

Papaioannou认为Hadoop开发者不应该为节点、集群、数据块等本应由工程师处理的事担心。这有些类似Heroku、Cloud Foundry和Windows Azure提供的PaaS服务，事实上Continuuity计划在2013年推出AppFabric的公共云服务，以配合目前企业内部使用的版本。