英特尔：将Hadoop“固化”到Xeon中

摘要：Hadoop近期热点很多：Hortonworks提供Hadoop big-data platform for Windows测试版，EMC针对Cloudera发布名为“Pivotal HD”的Hadoop发行版，HP加入Hadoop并提供安全插件ArcSight。

作者：来源：CSDN | 2013年02月27日

关键字：Hadoop 大数据 至强 英特尔

Hadoop近期热点很多：Hortonworks提供Hadoop big-data platform for Windows测试版，EMC针对Cloudera发布名为“Pivotal HD”的Hadoop发行版，HP加入Hadoop并提供安全插件ArcSight。2月26日，Intel提出了将Hadoop直接集成到Xeon芯片 中，进而实现速度、安全与可管理性的大幅提升。

大数据有多热，Hadoop就有多热。

与AWS在私有云市场动作频仍一样，Hadoop近期热点事件也不少。 Hortonworks提供Hadoop big-data platform for Windows测试版， EMC针对Cloudera发布名为“Pivotal HD”的Hadoop发行版， HP加入Hadoop并提供安全插件ArcSight。2月26日，在Hadoop无数的商业版和开源版中，同时拥有在Apache开源版基础上修订的发行版和免费版两个Hadoop版本的Intel 再次爆料：要将Hadoop直接集成到Xeon中。

对于大数据分析而言，最基础的需求就是对于大量的结构化和非结构化数据，可以支持可变的数据结构和高效的数据导入、查询、统计分析。Hadoop在这些方面“当仁不让”。作为被称为“或可媲美Linux”的项目，Hadoop吸引了诸多顶级玩家的加入。

以至于，目前市场上Hadoop发行版与开源版种类繁多。其中，不仅有Cloudera、HortonWorks、Amazon的EMR、MapR，也有IBM、Oracle、Microsoft、Intel、EMC等诸多版本的Hadoop。对Intel而言，其拥有在Apache开源版基础上修订的发行版和免费版两个Hadoop版本。前者锁定行业客户，如电信、视频监控、生产制造等，后者核心代码和核心功能与前者相同，区别是支持节点数量和存储容量。此外，Intel还在GitHub维护着Project Panthera开源项目，其中包括即时分析、基于HBase的文档存储、基于Hive/MapReduce的分析SQL引擎、HiBench和HiTune等子项目。

      Intel Hadoop发行版

Intel架构部门副总裁Boyd Davis说：“大数据生成很容易，但关键是要用起来。”围绕这一点，EMC和HP本周都有所动作。但Intel所做的更为直接：将Hadoop直接固化到芯片中。“Hadoop架构具有巨大的潜力，其完全可以做为硬件基础层存在，并在此之上构建可以实现水平分布的各式各样的堆栈。”如此，对于IT经理而言，自动配置与评估，调优和管理自然更为简便。

芯片就是Xeon，并在网络和I/0方面针对数据分析“新应用层”有特别的优化。

例如，通过固化Hadoop的Xeon处理器，Intel预计1TB的数据分析可以在7分钟内完成，而采用其他方案，预计将需要4小时以上。

除了使用AES-NI指令集有希望20倍的提升加密速度以外，Intel的Hadoop分布式框架还将通过固态驱动器与缓存加速来实现优化，查询速度将比Hive快8.5倍；Intel Labs通过AVX和SSE 4.2进行硬件增强压缩以及Active Tunner对集群进行自动调优。

而在安全方面，将提供一个“完整，加密”的Xeon处理器方案，从而使得用户不需求牺牲性能即可实现数据的高安全性。

差不多24个合作伙伴可以帮助Intel将“固化Hadoop的Xeon解决方案”推广到公有云和私有云中，比如Cisco，Dell和SAP。而为了加快部署，Intel还透露，会投资规模较小的大数据公司，如MongoDB和Guavus Anaytics，这样在基于Apache Hadoop的数据分析解决方案方面将更加丰富。

写在最后：

众所周知，Hadoop底层硬件平台多为Intel芯片，如此模式，是否会使Hadoop的竞争更加白热化？！这让译者想到2012年7月一次会议中，中国联通研究院副院长黄文良的介绍：

联 通Hadoop系统的后台是178台基于英特尔至强5600处理器的两路刀片服务器，每台服务器配备了14TB存储容量。此外，系统还有3台 NameNode节点服务器、入库服务节点服务器24台、Zookeeper节点服务器7台、集群监控节点1台和Web查询应用服务节点20台。这些也都 是IA架构的x86服务器。

“我们也试过用Hadoop的开源版本，但是确实在性能上不如英特尔的Hadoop发行版，无论是监控能力还是稳定性都有很大区别。”